从程序员到架构师 大数据技术金融级全场景应用实战-王伟杰 赵世辉 pdf下载

本书以功能更广更深、可靠性和安全性要求更高的金融级大数据平台为参照，介绍大数据平台的架构过程及各种大数据技术，不仅包含数据采集、数据集成、作业调度、数据加工、实时数据仓库、数据服务、数据可视化、数据挖掘等常见的应用场景，还加入了数据质量、数据安全、三态投产等广受关注的内容。本书以业务场景、技术选型、技术架构对主要章节进行划分，让读者在理解大数据业务需求的基础上，了解各种大数据技术，并能够选取合适的技术来构建大数据平台。

　　本书内容丰富，图文并茂，实战性强，适合大数据技术初学者，政府、金融机构的大数据应用决策和技术人员，以及IT经理、CTO、CIO等快速学习大数据技术，并能快速提升读者的大数据平台架构能力。

前言

第1部分 概述及数据处理

第1章 金融大数据应用概述/

1.1 金融大数据技术发展历程/

1.2 大数据技术分类/

1.3 金融大数据技术应用场景/

第2章 数据采集/

2.1 数据采集业务场景/

2.2 存储到HDFS的采集技术方案/

2.2.1 前端渠道用户行为数据采集/

2.2.2 服务端应用层数据采集/

2.2.3 数据库层的采集/

2.2.4 基于HDFS的数据采集整体架构/

2.3 T+0的采集技术方案/

2.3.1 T+0采集架构与基于HDFS的采集架构的不同点/

2.3.2 T+0采集架构在前端、后端以及数据库端的设计/

2.3.3 T+0数据采集整体架构/

2.4 全域数据实时采集的技术挑战/

2.5 实现全域数据实时采集的技术思路/

2.5.1 数据库数据实时采集/

2.5.2 基于Flink的采集平台和采集类型算子化/

2.5.3 如何保证实时采集链路数据的一致性/

2.6 全域数据实时采集的整体技术方案/

2.6.1 数据源层/

2.6.2 数据采集层/

2.6.3 数据存储层/

2.6.4 如何选择合适的采集模式/

2.7 本章小结/

第3章 数据离线处理/

3.1 数据离线处理业务场景/

3.2 数据离线处理架构的主要难点/

3.2.1 数据传输标准/

3.2.2 可以快速自由组合大数据处理动作的架构/

3.2.3 数据离线处理的整体技术架构/

3.2.4 数据离线处理各环节的技术要点/

3.3 企业级数据传输标准/

3.3.1 标准文件定义/

3.3.2 模型演进下的数据传输标准/

3.4 快速自由组合大数据作业流的架构要点/

3.4.1 大数据离线处理作业开发流程/

3.4.2 大数据离线处理作业开发流程技术要点/

3.5 数据离线处理整体架构要点/

3.5.1 大数据开发人员是写代码还是写SQL语句/

3.5.2 是否使用单一的计算引擎/

3.5.3 如何解决事务的场景问题/

3.5.4 整体架构/

3.6 离线处理动作实现要点/

3.6.1 数据卸载/

3.6.2 数据传输/

3.6.3 数据预处理/

3.6.4 数据加载/

3.6.5 数据加工/

3.6.6 数据复制/

3.7 本章小结/

第4章 流式数据处理/

4.1 流式数据处理业务场景/

4.2 流式数据处理简介/

4.2.1 什么是流式处理/

4.2.2 流计算和实时计算有什么区别/

4.2.3 流处理引擎/

4.2.4 引擎选型思路/

4.3 整体方案/

4.4 方案难点和解决思路/

4.4.1 如何处理延迟与乱序数据/

4.4.2 如何实现维表关联/

4.4.3 计算结果存在哪里/

4.4.4 如何保证数据一致性/

4.5 运维注意事项/

4.5.1 监控哪些指标/

4.5.2 优化并行度/

4.5.3 做好数据补偿的准备/

4.6 本章小结/

第2部分 数据使用

第5章 数据服务/

5.1 数据服务业务场景/

5.1.1 构建联机同步数据服务的案例/

5.1.2 案例扩展/

5.1.3 数据服务的需求/

5.2 规划的功能架构/

5.3 建设思路/

5.3.1 服务访问代理层/

5.3.2 网关层/

5.3.3 服务管理层/

5.3.4 数据服务/

5.3.5 数据访问代理（查询引擎）/

5.4 整体架构和时序图示例/

5.4.1 整体架构/

5.4.2 时序图示例/

5.4.3 注意事项/

5.5 本章小结/

第6章 数据加速/

6.1 数据加速业务场景/

6.2 技术选型/

6.2.1 选型维度介绍/

6.2.2 ClickHouse、Kylin、Elasticsearch和Doris的对比/

6.2.3 ClickHouse和Doris的对比/

6.2.4 ClickHouse和Kylin的对比/

6.2.5 选型结论/

6.3 整体架构介绍/

6.3.1 功能架构介绍/

6.3.2 业务流程介绍/

6.4 基于ClickHouse的实战介绍/

6.4.1 基于ClickHouse的数据链路/

6.4.2 ClickHouse部署架构/

6.4.3 部署规划/

6.4.4 配置经验/

6.5 基于Kylin的实战介绍/

6.5.1 基于Kylin的数据链路/

6.5.2 配置经验/

6.6 本章小结/

第3部分 数据治理

第7章 元数据管理/

7.1 元数据管理的业务背景/

7.1.1 元数据管理的目标/

7.1.2 元数据管理的功能需求/

7.2 详细设计思路和实现方案/

7.2.1 元数据模型/

7.2.2 元数据存储/

7.2.3 元数据采集与登记/

7.2.4 元数据设计与发布/

7.2.5 数据权限管理/

7.2.6 元数据应用/

7.3 整体技术架构介绍/

7.4 本章小结/

第8章 数据安全管理/

8.1 数据安全管理业务背景/

8.1.1 需求讨论/

8.1.2 数据安全流程/

8.2 识别和脱敏的技术难点/

8.2.1 如何快速扫描和识别成千上万张表/

8.2.2 如何即时解析用户的SQL语句获取查询的表字段/

8.2.3 如何保存识别出来的数据保密等级/

8.3 识别大量数据/

8.3.1 识别数据的主要步骤和思路/

8.3.2 自动识别的技术方案/

8.4 动态脱敏的技术方案/

8.4.1 动态脱敏的主要流程/

8.4.2 使用Calcite解析SQL/

8.4.3 动态脱敏接口设计/

8.5 用MySQL保存识别出来的数据保密等级/

8.6 本章小结/

第9章 数据质量管理/

9.1 数据质量管理业务背景/

9.2 技术语言业务化/

9.2.1 完善数据字典/

9.2.2 元数据信息可视化/

9.2.3 检核规则模板化/

9.3 数据技术检核任务的自动化生成/

9.3.1 技术检核的难点/

9.3.2 技术检核任务的自动化/

9.4 大数据文件的检核/

9.4.1 检核数据方法/

9.4.2 大文件快速检核技术实现方案/

9.4.3 方案的权衡点/

9.5 端到端的架构/

9.6 本章小结/

第4部分 数据部署与运维

第10章 大数据作业调度/

10.1 作业调度的技术难点/

10.1.1 架构设计/

10.1.2 作业编排/

10.1.3 资源管理/

10.1.4 作业监控运维/

10.1.5 非功能要求/

10.2 作业调度整体架构/

10.2.1 经典两层作业调度架构/

10.2.2 早期分布式作业调度架构/

10.2.3 基于MQ/Redis的分布式作业调度架构/

10.3 作业排程/

10.3.1 作业排程的主要步骤和思路/

10.3.2 基于Redis的智能化作业排程方案/

10.4 作业资源管理/

10.5 调度运维服务/

10.5.1 作业影响性分析/

10.5.2 故障诊断/

10.6 调度非功能设计/

10.6.1 性能/

10.6.2 可靠性/

10.7 业务使用效果及局限性总结/

10.8 作业调度发展趋势与未来规划/

10.9 本章小结/

第11章 大数据计算资源管理/

11.1 大数据计算资源管理业务场景/

11.1.1 资源管理业务背景/

11.1.2 资源类型/

11.1.3  大数据平台资源规划/

11.1.4 跨AZ资源管理/

11.1.5 资源使用监控/

11.2 资源管理技术实现思路/

11.2.1 资源管理技术实现简介/

11.2.2 基于Kubernetes的资源管理实现/

11.2.3 基于YARN的Hadoop资源管理实现/

11.3 资源管理解决方案设计/

11.3.1 资源管理整体流程/

11.3.2 资源管理整体实现架构/

11.3.3 资源管理中灵活资源配置场景介绍/

11.4 资源管理设计不足探讨/

11.5 本章小结/

第12章 三态投产/

12.1 三态投产业务场景/

12.1.1 大数据三态/

12.1.2 常规软件投产/

12.1.3 自研投产部署方案的技术难点/

12.2 解决思路/

12.2.1 要在三态中投产的大数据应用内容/

12.2.2 导入导出的范围控制/

12.2.3 导入导出的性能问题/

12.2.4 制品和平台及其组件版本的兼容性/

12.2.5 制品的数据完整性/

12.3 整体方案介绍/

12.3.1 整体架构/

12.3.2 方案要点/

12.4 本章小结/

第5部分 综合应用场景

第13章 流批一体/

13.1 流批一体业务背景/

13.2 流批一体初步架构/

13.2.1 场景问题解决思路/

13.2.2 架构方案/

13.2.3 Lambda架构/

13.2.4 存在的问题/

13.3 流批同写一张表的架构/

13.3.1 什么是流批同写一张表/

13.3.2 技术选型/

13.3.3 Hudi原理介绍/

13.3.4 架构方案/

13.3.5 要点和技术难点/

13.3.6 待解决的问题/

13.3.7 使用效果/

13.4 处理层面的流批一体/

13.4.1 技术选型/

13.4.2 流批处理一体架构方案/

13.4.3 关于Kappa架构/

13.5 选择什么样的流批一体架构方案/

13.5.1 3种流批一体架构方案对比/

13.5.2 流批一体是否会取代流处理或批处理/

13.6 本章小结/

第14章 数据湖应用/

14.1 什么是数据湖/

14.2 为什么要建设数据湖/

14.3 数据湖的规划设计/

14.3.1 数据湖和数据仓库的区别与关系/

14.3.2 数据湖架构规划/

14.4 数据湖的技术选型/

14.4.1 数据获取/

14.4.2 数据存储/

14.4.3 数据处理/

14.4.4 访问分析/

14.4.5 数据管理/

14.5 数据湖的整体架构/

14.5.1 技术架构/

14.5.2 数据链路介绍/

14.6 数据湖建设中的问题/

14.7 本章小结/

第15章 建设自主可控的信创大数据平台/

15.1 建设大数据平台的业务背景/

15.1.1 为什么要建设大数据平台/

15.1.2 建设大数据平台的架构需求/

15.1.3 待解决的架构问题/

15.2 组件划分及设计/

15.2.1 组件划分/

15.2.2 各组件设计思路/

15.2.3 组件间协同/

15.3 信创适配/

15.3.1 什么是信创/

15.3.2 信创环境适配常见问题/

15.3.3 适配工作/

15.4 整体架构/

15.5 本章小结/

第16章 大数据发展趋势与未来规划/

16.1 大数据领域新技术的发展/

16.1.1 新型数据存储与计算架构/

16.1.2 实时数据处理技术/

16.1.3 数据治理和安全隐私保护技术/

16.2 大数据与其他技术领域的融合发展/

16.2.1 大数据技术领域内部融合/

16.2.2 大数据与人工智能技术/

16.2.3 大数据与物联网技术/

16.2.4 大数据与云原生技术/

16.3 技术人员的应对措施/

16.3.1 创新思维和跨界思维/

16.3.2 持续学习的态度/

16.3.3 关注技术的业务价值而不是技术本身/

16.4 大数据开发中的几个误区/

16.4.1 重“技术”不重“业务”/

16.4.2 重“继承”不重“创新”/

16.4.3 重“功能”不重“非功能”/

16.4.4 技术上重“深度”不重“广度”/

后记/