数据挖掘 大数据管理与应用系列丛书-国防科技大学-吕欣 pdf下载

目录
第1章 绪论
1.1 大数据时代 2
1.2 大数据基本概念 3
1.2.1 大数据定义与内涵 3
1.2.2 大数据的主要特征 4
1.3 大数据与数据挖掘 6
1.3.1 大数据挖掘相关概念 6
1.3.2数据挖掘基本流程 7
1.3.3数据挖掘技术体系 9
1.3.4 大数据时代的挑战 15
1.4 大数据挖掘的典型应用 17
1.4.1 金融大数据 17
1.4.2 医疗大数据 18
1.4.3 制造业大数据 19
1.4.4 社交媒体大数据 20
1.5 大数据挖掘隐私与伦理问题 20
1.5.1 数据挖掘隐私问题 20
1.5.2 数据挖掘伦理问题 22
1.5.3 数据挖掘行为规范 22
本章小结 24
第2章 数据描述与统计指标
2.1 数据预处理 26
2.1.1 数据预处理概要 26
2.1.2 数据清洗 27
2.1.3 数据集成 32
2.1.4 数据獅 33
2.1.5 数据变换 37
2.1.6 实践案例：线上零售交易数据预处理 39
2.2 数据属性 40
2.2.1 标称属性 40
2.2.2 系数属性 41
2.2.3 数值属性 42
2.2.4 离散属性与连续属性 43
2.3 数据描述性统计 43
2.3.1 集中趋势度量 44
2.3.2 离散程度度量 46
2.3.3 分布形态度量 50
2.3.4 描述性统计常用工具 52
2.3.5 实践案例：化妆品销售数据描述性统计分析 53
2.4 数据可视化 54
2.4.1 条形图 55
2.4.2 饼图 56
2.4.3 箱线图 56
2.4.4 直方图 57
2.4.5 折线图 57
2.4.6散点图 58
2.4.7 气泡图 59
2.4.8 数据可视化常用工具 60
2.4.9 实践案例：钻石属性数据可视化分析 60
本章小结 64
第3章 相关分析
3.1 认识函数关系与相关关系 67
3.1.1 函数关系 67
3.1.2 相关关系 67
3.2 线性相关分析 69
3.2.1 相关分析的正态性检验 70
3.2.2 Pearson 相关系数 72
3.2.3 Spearman 秩相关系数 72
3.2.4 Kendall等级相关系数 74
3.2.5 实践案例：网络直播大数据和亚马逊评论数据相关分析 76
3.3 非线性相关分析 79
3.3.1 认识非线性相关性 79
3.3.2 互信息 80
3.3.3 *大信息緣 82
3.3.4 实践案例：桥梁振动的相关分析 83
3.4 偏相关分析 85
3.4.1 偏相关分析概述 85
3.4.2 实践案例：国内主要城市年度统计指标数据偏相关分析 87
3.5 距离相关分析 89
3.5.1 距离度量方法 89
3.5.2 实践案例：用户相似性度量 94
本章小结 98
第4章 回归分析
4.1 回归分析概论 101
4.1.1 高尔顿身高回归研究 101
4.1.2 回归分析概述 102
4.1.3 回归模型的评价指标 103
4.2 线性回归 105
4.2.1 一元线性回归 105
4.2.2 实践案例：直播平台观众数预测 108
4.2.3 多元线性回归 110
4.2.4 实践案例：基于多元线性回归的汽车燃油效率预测 114
4.3 多重共线性 117
4.3.1 认识多重共线性 117
4.3.2 多重共线性的诊断 118
4.3.3 多重共线性的解决方案 119
4.4 岭回归 120
4.4.1 岭回归概述 120
4.4.2 岭参数的选择 121
4.4.3 实践案例：基于岭回归的汽车燃油效率预测 122
4.5 LASSO 回归 123
4.5.1 LASSO 回归概述 123
4.5.2 坐标下降法 124
4.5.3 实践案例：基于LASSO回归的汽车燃油效率预测 125
4.6 非线性回归 127
4.6.1 本质线性模型 127
4.6.2 本质非线性模型 129
4.6.3 实践案例：基于工龄的月薪预测 129
本章小结 133
第5章 数据降维
5.1 降维的基本概念 136
5.1.1 降维的定义及原理 136
5.1.2 降维算法分类 136
5.2 奇异值分解 137
5.2.1 奇异值分解基本原理 137
5.2.2 奇异值分解算法评价 140
5.2.3 实践案例：基于奇异值分解的图像压缩 140
5.3 主成分分析 142
5.3.1 主成分分析基本原理 142
5.3.2 主成分分析算法评价 146
5.3.3 实践案例：基于主成分分析的鸢尾花数据集分析 147
5.4 因子分析 150
5.4.1 因子分析基本原理 150
5.4.2 因子分析算法评价 156
5.4.3 实践案例：基于因子分析的人格特征潜在因子挖掘 156
5.5 多维尺度变换 158
5.5.1 多维尺度变换基本原理 158
5.5.2 多维尺度变换算法评价 160
5.5.3 实践案例：基于多维尺度变换的人脸数据集降维 160
5.6 等距特征映射 163
5.6.1 等距特征映射基本原理 163
5.6.2 等距特征映射算法评价 165
5.6.3 实践案例：基于等距特征映射的S状流形模型降维 165
5.7 线性判别分析 167
5.7.1 线性判别分析基本原理 167
5.7.2 线性判别分析算法评价 170
5.7.3 实践案例：基于线性判别分析的三维数据集降维 170
5.8 t-SNE 172
5.8.1 t-SNE基本原理 172
5.8.2 t-SNE算法评价 175
5.8.3 实践案例：基于t-SNE的手写数字数据集降维 175
5.9 UMAP 177
5.9.1 UMAP算法基本思想 177
5.9.2 UMAP算法评价 179
5.9.3 实践案例：基于UMAP的手写数字数据集降维 179
本章小结 181
第6章 关联规则挖掘
6.1 关联规则挖掘概要 184
6.1.1 关联规则的含义 184
6.1.2 频繁项集 186
6.1.3 闭频繁项集和极大频繁项集 187
6.1.4 从频繁项集到关联规则 189
6.1.5 关联模式的评估 191
6.2 Apriori 算法 197
6.2.1 Apriori算法基本原理 197
6.2.2 Apriori算法应用与评价 198
6.2.3 Apriori算法的优化 200
6.2.4 实践案例：基于Apriori算法的超市商品购买记录关联分析 202
6.3 FP-growth 算法 204
6.3.1 FP-growth算法基本原理 204
6.3.2 FP-growth算法应用与评价 209
6.3.3 实践案例：基于FP-growth算法消费者购物时间偏好关联分析 209
6.4 Eclat 算法 211
6.4.1 Eclat算法基本原理 211
6.4.2 Eclat算法应用与评价 213
6.4.3实践案例：基于Eclat算法的糖尿病症状关联分析 213
6.5 H-mine 算法 216
6.5.1 H-mine算法基本原理 216
6.5.2 H-mine算法应用与评价 221
6.5.3 实践案例：基于H-mine算法的新闻** 221
本章小结 224
第7章 分类
7.1 分类霞概要 227
7.1.1 分类定义及原理 227
7.1.2 常用分类算法 227
7.1.3 分类算法评价指标 228
7.2 K-近邻 232
7.2.1 K-近邻基本原理 232
7.2.2 K-近邻主要参数 233
7.2.3 K-近邻算法应用与评价 234
7.2.4 实践案例：基于K-近邻的广告点击预测 234
7.3 朴素贝叶斯分类 237
7.3.1 贝叶斯分类基本原理 237
7.3.2 朴素贝叶斯分类原理 238
7.3.3 零频现象的拉普拉斯修正 240
7.3.4 朴素贝叶斯算法应用与评价 241
7.3.5 实践案例：基于朴素贝叶斯预测恒星类型 241
7.4 决策树 244
7.4.1 决策树基本原理 245
7.4.2 ID3 247
7.4.3 C4.5 250
7.4.4 CART 252
7.4.5 决策树算法应用与评价 254
7.4.6 实践案例：基于决策树的旅游业客户流失预测 255
7.5 Logistic 回归 258
7.5.1 从线性回归到Logistic回归 258
7.5.2 Logistic回归的损失函数 260
7.5.3 通过梯度下降求解*优参数 260
7.5.4 OvR和OvO 262
7.5.5 Logistic回归算法应用与评价 263
7.5.6 实践案例：基于Logistic回归的肝病预测 263
7.6 支持向量机 265
7.6.1 支持向量机概述 266
7.6.2 线性可分支持向量机 266
7.6.3 线性支持向量机 270
7.6.4 非线性支持向量机 273
7.6.5 支持向量机算法应用与评价 276
7.6.6 实践案例：不良用户识别 277
7.7 人工神经网络 278
7.7.1 感知机 278
7.7.2 XOR问题 280
7.7.3 多层感知树莫型 281
7.7.4 误差反向传播算法 284
7.7.5 深度神经网络 288
7.7.6 实践案例：基于面部特征的性别分类 290
本章小结 293
第8章 聚类
8.1 聚类算法概要 295
8.1.1 聚类的基本原理 295
8.1.2 聚类算法的分类 296
8.1.3 聚类算法评价指标 297
8.1.4 簇数量的确定 303
8.2 层次聚类 305
8.2.1 层次聚类算法基本原理 305
8.2.2 层次聚类算法应用与评价 307
8.2.3 实践案例：基于层次聚类的小麦种子聚类 307
8.3 K-means聚类 309
8.3.1 K-means算法基本原理 309
8.3.2 质心的初始化 310
8.3.3 K-means算法应用与评价 311
8.3.4 实践案例：基于K-means消费者画像构建 311
8.4 高斯混合聚类 313
8.4.1 高斯混合聚类基本原理 314
8.4.2 高斯混合聚类流程 315
8.4.3 高斯混合聚类应用与评价 316
8.4.4 实践案例：基于高斯混合聚类的食品聚类 316
8.5 DBSCAN算法 318
8.

第1章绪论
　　本章学习目标
　　掌握大数据的概念与特征
　　掌握数据挖掘的基本流程
　　理解数据挖掘的技术挑战
　　了解大数据挖掘的隐私和伦理问题
　　随着全球数字化进程的快速发展，尤其是以互联网、物联网、社交网络为代表的信息技术呈现日新月异的更新速度，手机、平板电脑等各式各样的信息载体和传感设备随处可见，虚拟网络快速发展，数据的来源和规模正以前所未有的速度增长，信息化向社会各行各业与公众生活快速渗透，人类已进入大数据时代。大数据中隐藏的极富价值的知识，以及这些知识可撬动的经济和社会价值，不断驱动着人们在大数据挖掘领域进行探索。然而，大数据的海量规模、复杂结构、多源异质特点，使得传统的数据分析方法面临诸多挑战。因此，深入研究和应用大数据挖掘技术对于把握当今大数据时代的机遇和挑战至关重要。
　　本章介绍大数据技术的基本概念，围绕大数据价值发现，介绍大数据时代下的数据挖掘基本流程、技术体系与应用场景等，并提出大数据挖掘的伦理与隐私问题，形成数据挖掘行为规范。
　　1.1大数据时代
　　随着互联网、大数据、云计算等技术和应用的飞速发展，数字信息已经渗透到社会生活的方方面面，其影响还将进一步深化。据国际数据公司（International Data Corporation，IDC）发布的报告，全球数据产量将由2018年的33ZB（1ZB=1021B）增长至2025年的175ZB，复合年均增长率达61%。在大数据时代，每个人、每件物品都能成为数字化的个体，每时每刻都在生产大量数据，使得数据量以迅猛速度增长。表1-1为数据计量单位换算关系。
　　互联网行业在数据量上的增长更为显著。全球每天有50亿次在线搜索；微博用户每日发博量超过2500万条，平均每秒生成785条微博；每天有超过6亿用户活跃在抖音上，日均视频搜索次数超过4亿次。在移动支付领域，2022年全球个人支付的交易规模为4.08万亿笔，平均每秒可产生近13万笔交易数据。科学研究数据也已达到极大规模，“中国天眼”FAST（five-hundred-meter aperture spherical radio telescope，500米口径球面射电望远镜）每秒采集的数据量可达38GB，每天接收到的观测数据量达到30？40TB，每年新增数据量达到10PB。
　　按照1汉字=2字节（B）的方式换算，一本8万字的图书含有的数据量大概为160KB。2021年我国出版图书110亿册，数据量约为1.76PB。2021年我国数据产量为6.6ZB，相当于同年图书出版数据量的300万倍。如果使用厚度为1.2mm、内存700MB的VCD（video compact disc，视频压缩盘片）光盘储存我国2021年的数据产量，需要约9.4万亿张光盘，这些光盘的总厚度为1100万km，相当于地球到月球距离的近30倍。数据量说明见图1-1。
　　大数据在社会经济发展中扮演的角色也日益重要。美国在2012年正式对外发布了《大数据研究与发展计划》，率先将大数据从商业概念上升至国家战略。英国也尤其重视大数据对经济增长的拉动作用，发布了《数字战略2017》和《产业战略：建设适应未来的英国》等政策，希望到2025年数字经济对本国经济总量的贡献值可达2000亿英镑。我国工业和信息化部在《“十四五”大数据产业发展规划》中指出“数据是新时代重要的生产要素，是国家基础性战略资源”。此外，我国大数据产业规模在“十三五”时期年均复合增长率超过30%，2020年超过1万亿元，预计到2025年，大数据产业测算规模将突破3万亿元，年均复合增长率保持在25%左右。2023年，中共中央、国务院印发了《数字中国建设整体布局规划》，指出“建设数字中国是数字时代推进中国式现代化的重要引擎，是构筑国家竞争新优势的有力支撑。加快数字中国建设，对全面建设社会主义现代化国家、全面推进中华民族伟大复兴具有重要意义和深远影响”。各国已正式采纳大数据概念，积极展开相关战略部署，大数据时代已然到来。
　　1.2 >大数据基本概念
　　1.2.1大数据定义与内涵啦
　　大数据的概念目前仍处于不断演进之中，维基百科将大数据定义为传统数据处理应用软件不足以处理的大或复杂的数据集，IDC则认为大数据应涉及2种或2种以上的数据类型或数据源，且数据量超过100TB。本书对大数据的定义如定义1-1所示。
　　定义1-1大数据是指数据规模和增长速度使常用软件工具无法在短时间内获取、存储、分析和管理，而需要新的处理模式，如并行化、分布式等，来实现更可靠决策支撑，更深刻洞察发现和更迅捷流转优化的数据集。
　　我国将数据视为关键生产要素和新型生产要素，并衍生出多个定义、概念和理论。数据经济将数据视为一种新的生产要素，通过采集、传输、存储、处理和分析数据来创造经济价值的经济形态。数据要素资源概念将数据看作一种能够被挖掘、加工和利用以产生经济和社会价值的资源资产，强调数据在信息时代的战略地位。此外，数据资本理论认为数据不仅仅是一种生产要素，更是一种资本形式，能够提高生产效率、创造新的商业模式和市场机会。
　　数据：是原始的、未经处理的事实和数字，其本身没有任何特定意义，可以是数值、文本、图像、音频或视频等形式。数据通常是孤立的、无意义的，只有在特定的上下文中进行处理和解释后才能变得有用。
　　信息：是对数据的理解和解释，具有特定的意义，可以用来支持决策和行动。信息的价值在于能够回答具体问题或提供特定洞察。
　　知识：是通过对信息的理解、分析和总结，形成的关于某一领域的系统性理解。知识是对信息的深层次理解和应用，是人们在经验和学习过程中积累的，能够帮助人们进行预测、决策和创新。
　　1.2.2大数据的主要特征彤
　　大数据的共同特性决定了它与传统数据的区别，大数据特征包括规模性（volume）、多样性（variety）、高速性（velocity）、价值性（value）。这四个特征也合称为大数据的4V特征。
　　1.规模性
　　规模性指的是大数据在其数据规模上的庞大程度。在互联网出现之前，数据的流通性不强，只有政府部门、企业和一些机构能通过统计抽样、人口普查等方法收集数据，可利用的数据非常有限。随着技术进步，数据的生成和传播速度都显著提升。互联网的出现大大增加了数据的流通能力，移动智能设备的普及使得每个人都能成为数据的创作者和传播者。此外，传感器能够自动、精准、实时地收集数据，数字孪生技术基于传感器收集制造全流程的数据，在数字世界中复制生产制造的全流程，其收集数据的规模可达到TB级别。在大数据时代，数据洪流无处不在，如航天空间站、海洋勘探、生物工程、卫星气象预报、经济预测、商业领域、通信行业等各个领域都在源源不断地产生海量数据。人类社会活动产生的生产数据、气象数据和生物数据等多种数据的总量已达到ZB级别，且数据量还在逐年爆炸式递增。
　　2.多样性
　　多样性指的是大数据涉及结构化数据、非结构化数据、半结构化数据等多种类型的数据。结构化数据是以明确定义的格式和结构存储的数据，通常以行和列的形式呈现，容易进行分析和查询，如数据库中的表格、电子表格中的数据等。传统数据可能在数据规模上非常显著，但在数据类型上仍然是结构化数据。非结构化数据是以自由形式存储的数据，缺乏明确定义的表格或字段结构，通常包含丰富的内容和语境，如文本文档、图像、音频和视频文件。半结构化数据介于结构化数据和非结构化数据之间，具有一定的结构，但不像完全结构化数据那样规范，如XML文件、JSON数据、HTML网页。由于来自物联网传感设备与社交媒体的数据逐渐增多，非结构化数据与半结构化数据所占比例大幅提升，结构化数据所占比例已低于10%，且还在逐渐降低。
　　3.高速性
　　高速性指的是大数据具有快速变化的特性，需要在实时或接近实时的情况下进行处理，以保持数据的准确性和时效性。社交媒体和互联设备，如可穿戴设备、智能汽车、医疗设备、工业设备等，源源不断地高速产生数据流并上传到系统中。此外，数据是现实世界的反映，由于现实情况的多变性，数据的价值随着时间在逐渐流失，这要求必须以尽可能快的速度进行数据处理与数据分析。大数据时代下，许多业务都有对数据进行及时处理的需求，即使不要求即时处理，仍然要求越快越好，如**系统重视用户对推送内容的及时反馈，银行强调对交易数据进行实时监控和异常行为检测。
　　流数据是指以连续不断的方式生成和传输的数据流，这些数据需要在生成的同时被处理和分析，以便及时获取洞察和采取行动。流数据广泛应用于实时监控、金融交易、社交媒体分析、物联网（Internet of things，IoT）设备数据采集等场景。流数据具有以下特点。
　　实时性：流数据要求在数据生成时就进行处理分析，以提供实时或近实时的反馈。
　　连续性：流数据以连续不断的方式到达，而不是批量到达。
　　高吞吐量：流数据通常量大且生成速度快，需要高效的处理系统来进行处理。
　　低延迟：流数据处理系统需要在低延迟的条件下快速处理和响应数据。
　　4.价值性
　　价值性指的是大数据中包含的信息对于实现目标和解决问题的潜在价值。数据量的增长进一步提升了数据包含的价值，并驱动着研究方式从“以计算为中心”向“以数据为中心”转变，作为重要的生产要素，数据被称为数据经济时代的“石油”，推动技术发展与社会进步。与此同时，大数据的价值呈现出稀疏性，其中有用的信息相对于数据规模较少。以监控视频为例，这类数据通常规模庞大，有价值的视频片段通常只在事故发生时才出现，而事故是否会发生以及具体情况通常是不确定的。为了确保有价值的信息不会丧失，需要不断地收集更多的数据，这导致了大数据的总价值较高，但单位数据的价值密度相对较低。此外，大数据的产生通常具备自主性，例如，传感器和其他设备以自动方式收集数据，而这些数据未经过人为的精心筛选和处理，使得大数据价值密度低。
　　大数据的其他特征
　　真实性（veracity）:指的是数据的准确性、一致性和可信性，即数据在反映实际情况时的可靠程度。低质量的数据可能导致错误的分析结果和决策，因此数据的真实性至关重要。为了保证数据的真实性，需要进行数据清洗、验证和治理等工作，确保剩余数据的高质量和可靠性。真实性也与“4V”合称为大数据的5V特征。
　　可变性（variability）:指的是数据在意义、格式和生成速率上的不稳定性和变化。大数据的性质和模式可能随时间、情境或事件而变化。例如，社交媒体上的情感分析
　　可能会因热点话题的不同而呈现出不同的结果。
　　复杂性（complexity）:指的是大数据的多种来源、形式和内容，并且其内部关系和交互非常复杂。大数据不仅有企业系统、社交媒体、物联网设备等多种来源，还包括结构化、半结构化和非结构化数据。处理和分析这些数据需要高级的数据管理与分析技术，以理解和利用数据之间的复杂关系。
　　1.3大数据与数据挖掘
　　1.3.1大数据挖掘相关概念
　　1.大数据挖掘
　　定义1-2大数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含的具有应用价值的模式或规则等有用知识的过程。
　　数据挖掘的起源可以追溯到20世纪下半叶。随着数据库技术的发展，商业和工业数据迅速增长，传统的简单数据索引和统计分析已不再能够满足用户的需求，如何更好地挖掘隐藏在数据中的知识成为学术界和企业不断探索的课题。然而，许多传统数据分析方法在处理中等样本量的数据时表现良好，但在处理海量数据时则显得力不从心。此外，许多原本适用于低维数据的统计方法在处理高维数据时面临挑战。因此，大数据对数据处理模式提出了新的要求。在接下来的几十年中，针对不同任务的数据挖掘技术不断涌现，包括聚类和关联规则挖掘等，这些技术逐渐发展成熟，创造了巨大的社会和经济价值。