企业级DevOps实战（Linux开发书系）

《企业级DevOps实战》从实用的角度出发，详细介绍了DevOps相关的理论与应用知识，包括Zookeeper服务及MQ服务、Ceph企业级分布式存储实战、Hadoop分布式存储企业实战、Mesh及Service Istio服务治理、企业级DevOps应用实战、部署流水线与DevOps主流工具。

《企业级DevOps实战》免费提供与书中内容相关的视频课程讲解，以指导读者深入地进行学习，详见前言中的说明。

《企业级DevOps实战》既可作为高等学校计算机相关专业的教材，也可作为系统管理员、网络管理员、Linux运维工程师及网站开发、测试、设计人员等的参考用书。

吴光科,京峰教育CEO，Linux运维实战专家，高级运维经理，京东商城运维架构师，51CTO学院Linux特级讲师，京峰Linux云计算教学总监，担任国内多家知名社区运维专家网站Linux版主。专注于Linux服务器架构运维近10年，擅长系统高并发、超万台级别的服务器维护、服务器性能调优、企业安全运维、Openstack、Docker、KVM及Kubernetes云计算、自动化运维等核心技术领域。长期从事国企机关、图吧、宜信、京东商城等知名企业的千万级、亿万级PV门户网站维护工作。

第 1 章 Zookeeper 服务及 MQ 服务 1

1.1 Zookeeper 概念1

1.2 Zookeeper 用途1

1.3 Zookeeper 集群角色 .2

1.4 Zookeeper 应用场景 .3

1.4.1 数据的发布/订阅系统3

1.4.2 命名服务 .3

1.4.3 Master 选举 .3

1.4.4 分布式锁 .3

1.4.5 其他 .4

1.5 Zookeeper 单实例实战 .4

1.6 Zookeeper 分布式集群实战 .5

1.6.1 Zookeeper 分布式集群 .5

1.6.2 Zookeeper 分布式集群节点设置 .6

1.6.3 Zookeeper 分布式集群部署实战 .7

1.7 Zookeeper Web 平台实战 .10

1.8 MQ 概念 14

1.9 MQ 简介 15

1.10 MQ 应用解耦应用场景16

1.11 MQ 异步消息应用场景17

1.12 MQ 流量削峰应用场景18

1.13 RabbitMQ 概念剖析 .18

1.14 RabbitMQ 安装实战 .19

1.15 RabbitMQ 管理配置 .20

1.16 RabbitMQ 消息测试 .22

1.16.1 安装 Python 依赖组件23

1.16.2 部署 Pika 程序模块24

1.16.3 编写 RabbitMQ 发送消息脚本 24

1.16.4 编写 RabbitMQ 接收消息脚本 25

1.16.5 测试 RabbitMQ 消息发送和接收 25

VI 企业级 DevOps 实战

1.17 Kafka 概念剖析.27

1.17.1 Zookeeper 简介27

1.17.2 Kafka 简介.27

1.18 Kafka 消息队列优点.28

1.19 消息传递模式分类.29

1.20 常见的 MQ 系统 .31

1.21 Kafka 单机版实战.32

1.21.1 Kafka 环境准备.33

1.21.2 Zookeeper 服务实战 .33

1.21.3 Kafka 服务实战.34

1.21.4 Kafka 案例实战.35

1.21.5 Kafka 消息测试案例.36

1.21.6 Kafka Web 管理实战 37

1.22 Kafka 分布式集群实战 40

1.22.1 Kafka 节点的 hosts 文件设置 40

1.22.2 Kafka 分布式环境准备 41

1.22.3 Kafka 分布式服务实战 41

1.23 Kafka 常见故障排错.43

第 2 章 Ceph企业级分布式存储实战 45

2.1 Ceph 概念简介45

2.2 Ceph 工作原理46

2.3 Ceph 优点简介49

2.4 Ceph 必备组件50

2.5 Ceph 环境准备51

2.6 hosts 及防火墙设置52

2.7 Ceph 网络源管理52

2.8 Ceph-deploy 管理工具 .53

2.9 Ceph 软件安装54

2.10 部署 Monitor（监控）54

2.11 创建 OSD 存储节点 .55

2.12 激活 OSD 存储节点 .56

2.13 检查 OSD 状态57

2.14 部署 MDS 服务 .58

2.15 查看 Ceph 集群状态.58

2.16 Ceph 创建存储池59

2.17 创建文件系统.59

目录 VII

2.18 Ceph 集群管理命令60

2.19 添加 Ceph 节点.62

2.20 删除节点.66

2.21 CephFS 企业应用案例 .67

2.22 Ceph RBD 企业应用案例.69

2.23 Ceph 部署常见故障排错一 .70

2.24 Ceph 部署常见故障排错二 .71

2.25 LNMP+Discuz+Ceph 案例实战 72

第 3 章 Hadoop 分布式存储企业实战 . 78

3.1 Hadoop 概念剖析78

3.2 Hadoop 服务组件79

3.3 Hadoop 工作原理81

3.4 HDFS 分块与副本机制83

3.5 HDFS 读写机制剖析 85

3.5.1 读文件 .85

3.5.2 写文件 .86

3.6 Hadoop 环境要求87

3.7 hosts 及防火墙设置88

3.8 配置节点免密钥登录.88

3.9 配置节点 Java 环境88

3.10 Hadoop 部署实战89

3.11 node1 Hadoop 配置 .89

3.12 启动 Hadoop 服务.91

3.13 Hadoop 集群验证92

3.14 Hadoop Web 测试 .93

3.15 Hadoop 命令实战95

3.16 Hadoop 节点扩容102

3.16.1 hosts 及防火墙设置102

3.16.2 配置节点免密钥登录.102

3.16.3 配置节点 Java 环境103

3.16.4 Hadoop 服务部署103

3.16.5 添加 Hadoop 新节点.103

3.16.6 删除 Hadoop 节点.105

3.17 HBase 概念剖析 .108

3.18 HBase 应用场景 .110

3.18.1 搜索引擎应用.110

Linux 是当今三大操作系统（Windows、macOS、Linux）之一，其创始人是林纳斯·托瓦兹①。

林纳斯·托瓦兹 21 岁时用 4 个月的时间首次创建了 Linux 内核，于 1991 年 10 月 5 日正式对

外发布。Linux 系统继承了 UNIX 系统以网络为核心的思想，是一个性能稳定的多用户网络操

作系统。

20 世纪 90 年代至今，互联网飞速发展，IT 引领时代潮流，而 Linux 系统是一切 IT 的基石，

其应用场景涉及方方面面，小到个人计算机、智能手环、智能手表、智能手机等，大到服务器、

云计算、大数据、人工智能、数字货币、区块链等领域。

为什么写《企业级 DevOps 实战》这本书？这要从我的经历说起。我出生在贵州省一个贫困

的小山村，从小经历了砍柴、放牛、挑水、做饭，日出而作、日落而归的朴素生活，看到父母

一辈子都生活在小山村里，没有见过大城市，所以从小立志要走出大山，要让父母过上幸福的

生活。正是这样的信念让我不断地努力。大学毕业至今，我在“北漂”的 IT 运维路上已走过了

十多年：从初创小公司到国有企业、机关单位，再到图吧、研修网、京东商城等 IT 企业，分别

担任过 Linux 运维工程师、Linux 运维架构师、运维经理，直到现在创办的京峰教育培训机构。

一路走来，很感谢生命中遇到的每一个人，是大家的帮助，让我不断地进步和成长，也让

我明白了一个人活着不应该只为自己和自己的家人，还要考虑到整个社会，哪怕只能为社会贡

献一点点价值，人生就是精彩的。

为了帮助更多的人通过技术改变自己的命运，我决定和团队同事一起编写这本书。虽然市

面上关于 Linux 的书籍有很多，但是很难找到一本包含 Zookeeper 服务及 MQ 服务、Ceph 企业级

分布式存储实战、Hadoop 分布式存储企业实战、Mesh 及Service Istio 服务治理、企业级 DevOps

应用实战、部署流水线与 DevOps 主流工具等内容的详细、全面的主流技术书籍，这就是编写本

书的初衷。

① 创始人全称是 Linus Benedict Torvalds（林纳斯·本纳第克特·托瓦兹）。

II 企业级 DevOps 实战

配套资源

程序代码、面试题目、学习路径、工具手册、简历模板等资料，请扫描下方二维码下载

或者到清华大学出版社官方网站本书页面下载。

配套资源

作者精心录制了与 Linux 开发相关的视频课程（3000 分钟，144 集），便于读者自学，扫

描封底“文泉课堂”刮刮卡中的二维码进行绑定后即可观看（注：视频内容仅供学习参

考，与书中内容并非一一对应）。

虽然已花费了大量的时间和精力核对书中的代码和内容，但难免存在纰漏，恳请读者批评

指正。

吴光科

2023 年 4 月

前 言

致谢

ACKNOWLEDGEMENT

感谢 Linux 之父 Linus Benedict Torvalds，他不仅创造了 Linux 系统，还影响了整个开源世界，

也影响了我的一生。

感谢我亲爱的父母，含辛茹苦地抚养我们兄弟三人，是他们对我无微不至的照顾，让我有

更多的精力和动力去工作，去帮助更多的人。

感谢感谢潘彦伊、周飞、王志军、谭陈诚、王振、杨浩鹏、张德、刘建波、金鑫、石耀文、

梁凯、彭浩、唐彪、余伟斌、焦振楠及其他挚友多年来对我的信任和鼓励。

感谢腾讯课堂所有的课程经理及平台老师，感谢 51CTO 学院院长一休及全体工作人员对我

及京峰教育培训机构的大力支持。

感谢京峰教育培训机构的每位学员对我的支持和鼓励，希望他们都学有所成，最终成为社

会的中流砥柱。感谢京峰教育培训机构 COO 蔡正雄，感谢京峰教育培训机构的辛老师、朱老师、

张老师、关老师、兮兮老师、小江老师、可馨老师等全体老师和助教、班长、副班长，是他们

的大力支持，让京峰教育能够帮助更多的学员。

最后要感谢我的爱人黄小红，是她一直在背后默默地支持我、鼓励我，让我有更多的精力

和时间去完成这本书。

吴光科

2023 年 4 月