本书为“十四五”高等学校计算机教育新形态一体化系列教材之一。随着大数据时代的到来， 数据成为第五大生产要素，也是发展新质生产力的优质生产要素。本书由浅入深、循序渐进地论述了 培养复合型大数据专业人才所需要的数据意识、数据思维、数据伦理和数据能力等概念和理论。全书 分为基础篇、技术篇、数据管理篇和应用篇四大部分，包括绪论、大数据技术概述、数据采集与数据 预处理、数据存储与管理、数据分析与挖掘、数据可视化、大数据安全、大数据思维、数据开放与共 享、大数据的法律政策规范、大数据应用、综合案例共12章。为避免理论论述的抽象，本书融入丰富 案例，同时引入浪潮数据管理平台为拓展仿真实训平台，使读者转换学习场景，直观地理解相应理论 的具体内涵。

本书适合作为高等院校数据科学与大数据及计算机专业的导论课程教材，也可以作为高等院校非 计算机专业（尤其文科）数据科学类课程教材，亦可作为职业院校大数据类课程教材，还可供对大数 据感兴趣的读者自学。 

       当前，数字化技术迅猛发展，数字经济成为推动全球经济增长的新引擎，数据也已经 成为第五大生产要素，科技创新、产业形态和应用格局已悄然变化，人类社会进入了大数 据时代。金融、医疗、交通、医学、安防、零售、政务、科研等多个领域都受到了大数据 的影响。从国家治理到企业运营，从经济生产到社会生活，从趋势预测到决策支持等，大 数据的身影无处不在，深刻影响和改变着人类社会的生产、生活及思维方式。

        伴随着国家对数据要素价值的高度重视，数据的基础资源作用和创新引擎作用日益凸 显，在以创新为主要引领和支撑的数字经济新格局构建中，大数据人才的培养成为新一轮 科技较量的基础。

        尽管各方都意识到了大数据人才培养的重要性，但是如何培养好大数据人才以满足社 会的需要，还是亟待解决的问题。大数据专业知识体系涵盖了计算机、数学、统计学等多 个学科，同时结合了诸多领域的理论和技术，包括模式识别、人工智能、数据存储、分布 式技术深度学习、数据可视化等复杂的专业知识体系。高等院校中除了计算机及大数据专 业，像数学、管理学、金融、应用化学等其他专业的学生以及有志于从事大数据方向的IT人员也需要系统了解大数据技术及其应用，因此编者根据高等学校数据科学与大数据计算 专业的培养目标和现状，基于企业多年的大数据应用的实际业务案例和在高校从事大数据 人才培养的实际经验，同时结合多年从事大数据前沿技术的研究和对社会发展的影响，从 导论的角度编写了本书。本书力图使读者通过学习，能够对大数据建立一个全局的认知， 包括专业知识体系、专业技能、应用领域等，并能基本理解大数据的关键技术、掌握大数 据技术并解决实际问题、了解大数据在各个行业的应用场景，同时建立起数据意识、数据 思维和数据伦理等复合型大数据人才的数据素养能力，更好地理解大数据对社会发展带来 的影响，同时也更好地掌握科学思维和方法。

       大数据技术具有很强的实用性。本书坚持应用为先的原则，将基本概念与实例相结 合，由浅入深、循序渐进地对大数据的基础知识、大数据的处理流程以及大数据管理和大 数据应用进行了全面系统的论述。全书分为基础篇、技术篇、数据管理篇和应用篇四大部分共12章。第1章绪论，介绍了数据的基本知识、大数据时代的发展历程，以及大数据的 技术挑战和科学意义。第2章简述了大数据技术，包括基本流程和主要模式。第3章系统地介绍了数据采集及数据预处理的相关技术和原则等。第4章介绍了数据存储与管理，阐述 了从传统存储技术到大数据时代存储技术的变迁、常用的存储技术等。第5章介绍了数据分 析与挖掘的理论和方法，并简单介绍了几种常用技术的概念、处理流程、算法等。第6章介 绍数据可视化技术的概念、原则等，不同的可视化技术在不同场景的应用，以及几种可视 化工具的使用。第7章讨论了大数据的安全问题，包括大数据保护的基本原则、支撑技术、 策略等，全方位地介绍了国家对数据安全做出的努力。第8章介绍大数据时代新的思维方 式，并给出典型应用案例来加强认识思维变化对社会生活带来的变革。第9章介绍数据开 放与共享，大数据时代数据也成为一种资产，从政策、分类、平台等方面介绍保障数据的 交易。第10章介绍大数据的法律政策规范。第11章介绍大数据在各大领域的典型应用，包 括互联网、城市交通、物流、生物医学、金融、安防等领域。第12章介绍了大数据在企业 应用中的真实案例。

       为了能够更加直观地体验大数据的应用，本书以浪潮数据管理平台为载体，以企业 真实案例为背景，让读者真实地感受数据采集、数据处理、数据存储、数据分析以及可视 化展示等各个环节的操作场景，揭开数据的神秘面纱。同时本书配有电子课件和课后习 题，读者可登录中国铁道出版社教育资源数字化平台https://www.tdpress.com/51eds获得相 关资源。

        本书由刘爱芹、杜建彬任主编，闫乐林、周杨姊、侯燕、王相成、张明任副主编。

        本书在编写的过程中，参考了大量的资料、国内外文献，在此谨向相关文献作者表示衷心 感谢。 由于编者水平有限，兼之时间仓促，书中免存在不足之处，恳请广大读者批评指正。 

                                                                                                                                                            编 者

                                                                                                                                                      2024 年 4 月

第1章 绪论 . 2

1.1 数据  2

1.1.1 数据的定义 2

1.1.2 数据的类型 2

1.1.3 数据的组织形式 3

 1.1.4 数据的生命周期 4

 1.1.5 数据的价值 5

1.1.6 大数据的特征 6

1.2 大数据  7

1.2.1 大数据的发展历程 8

1.2.2 大数据时代 9

1.2.3 大数据时代的驱动力 10

1.2.4 大数据的影响 11

1.3 大数据的挑战和科学意义  13

1.3.1 大数据带来的思维模式的变革 13

1.3.2 大数据计算面临的挑战 14

1.3.3 大数据专业与职业 15

1.3.4 大数据与其他新兴技术的 关系 19

小结 25

习题 26

技 术 篇 

第2章 大数据技术概述 28

2.1 大数据处理的基本流程 28

2.1.1 数据采集与预处理 28

2.1.2 数据存储与管理 28

2.1.3 数据分析与挖掘 28

2.1.4 数据可视化 29

2.2 大数据处理的主要模式 .29

2.2.1 流处理模式 29

2.2.2 批处理模式 29

小结 30

习题 30

第3章 数据采集与数据预处理  31

3.1 概述  31

 3.2 数据采集  31

3.2.1 数据采集概述 31

 3.2.2 数据采集的原则 32

 3.2.3 数据采集的来源 33

3.2.4 数据采集的方法 34

3.3 数据预处理  36

3.3.1 数据清洗 37

3.3.2 数据集成 40

 3.3.3 数据转换 42

3.3.4 数据脱敏 42

3.4 拓展实训  43

小结 55

习题 55

第4章 数据存储与管理 56

4.1 数据存储与管理技术的发展  56

4.2 传统的数据存储和管理技术  58

4.2.1 文件系统 58

4.2.2 关系数据库 58

4.2.3 数据仓库 59

4.2.4 并行数据库 59

4.3 大数据时代的数据存储和管理技术  59

4.3.1 分布式文件系统 59

4.3.2 非结构化数据库 62

4.3.3 几款新型数据库产品介绍 64

4.4 拓展实训  68

小结 77

习题 77

第5章 数据分析与挖掘  78

5.1 概述  78

5.1.1 数据分析的基础知识 78

5.1.2 数据分析关联技术 79

5.2 机器学习和数据挖掘算法  79

5.2.1 分类 80

5.2.2 聚类 81

5.2.3 回归分析 82

5.2.4 关联规则 83

5.3 大数据分析技术  84

5.3.1 技术分类 84

5.3.2 大数据分析的代表性作品 86

5.4 拓展实训  88

小结 99

习题 99

第6章 数据可视化  100

6.1 概述  100

6.1.1 数据可视化的概念 100

6.1.2 数据可视化的原则 100

6.1.3 可视化的发展历程 101

6.1.4 可视化的重要作用 102

6.2 数据可视化主要技术  103

6.2.1 高维数据可视化 103

6.2.2 网络数据可视化 106

6.2.3 层次结构数据可视化 106

6.2.4 时空数据可视化 107

6.2.5 文本数据可视化 108

6.2.6 高扩展可视化 109

6.3 数据可视化工具 111

6.3.1 入门级工具 112

6.3.2 信息图表工具 112

6.3.3 地图工具 112

6.3.4 时间线工具 113

6.3.5 高级分析工具 113

6.4 拓展实训 113

小结 125

习题 126

数据管理篇 

第7章 大数据安全  128

7.1 概述  128

7.1.1 大数据安全与传统信息安全的异同 128

7.1.2 隐私和个人信息安全问题 129

7.1.3 国家安全问题 130

7.1.4 数据采集及治理的安全问题 131

7.1.5 数据存储与管理的安全问题 133

7.1.6 数据分析及处理的安全问题 133

7.1.7 数据交互、共享与服务的安全与隐私 134

7.2 大数据保护的基本原则  134

7.2.1 数据主权原则 135

7.2.2 数据保护原则 135

7.2.3 数据自由流通原则 135

7.2.4 数据安全原则 136

7.3 数据安全与隐私保护的支撑技术  136

7.3.1 密码学基础及关键技术 136

7.3.2 公钥基础设施 140

7.3.3 数字证书 142

 7.3.4 访问控制 142

7.4 数据安全与隐私保护的对策  143

7.4.1 使用隐私保护技术 143

7.4.2 定期备份数据 144

7.4.3 定期审计数据安全状态 144

7.4.4 注重对大数据和隐私保护的监督和管理 144

小结 144

习题 145

第8章 大数据思维  146

8.1 传统的思维方式  146

8.2 大数据时代的思维方式 147

8.2.1 全样而非抽样 147

8.2.2 效率而非精确 147

8.2.3 相关而非因果 148

8.2.4 以数据为中心 149

8.2.5 我为人人，人人为我 149

8.3 运用大数据思维的典型案例  150

8.3.1 商品比价网站 150

8.3.2 啤酒与尿布 150

8.3.3 基于大数据的药品研发 150

8.3.4 基于大数据的微信朋友圈广告 151

8.3.5 搜索引擎“单击模型” 151

8.3.6 流感趋势预测 152

8.3.7 大数据的简单算法比小数据的 复杂算法更有效 152

8.3.8 百度翻译 153

小结 153

习题 154

第9章 数据开放与共享  155

9.1 概述  155

9.1.1 数据开放与共享的发展历程 155

9.1.2 数据开放与共享的概念 157

9.2 数据开放与共享原则  158

9.3 我国数据开放与共享的政策  159

9.3.1 中国数据开放与共享的政策发展历程 159

9.3.2 数据开放与共享实施指南 160

9.4 数据开放与共享的分类 161

9.4.1 政府数据开放与共享 161

9.4.2 公共财政资助产生的科学数据开放与共享 162

9.4.3 企业数据开放与共享 162

9.4.4 个人数据开放与共享 163

9.5 数据开放与共享平台  163

9.5.1 数据开放与共享综合平台 163

9.5.2 数据开放与共享领域平台 164

9.5.3 数据开放与共享平台的基本功能 165

9.5.4 数据开放与共享平台的产权保护 166

小结 166

习题 166

第10章 大数据的法律政策规范  167

10.1 概述  167

10.2 我国大数据政策法规  167

10.3.1 数据主权 170

10.3.2 数据权利 171

10.4 数据交易监管  171

10.4.1 数据交易的特殊性 171

10.4.2 数据交易中蕴含的法律问题 172

10.4.3 我国数据交易政策法规现状 173

10.5 个人信息立法保护  173

10.5.1 “个人信息”的界定 174

 10.5.2 《中华人民共和国个人信息保护法》的实施 174

10.6 数据跨境流动监管机制  175

10.6.1 数据跨境流动的现状与风险 175

10.6.2 我国立法应对数据跨境流动安全隐患 175

小结 176

习题 176

应 用 篇 

第11章 大数据应用  178

11.1 大数据在互联网领域的应用  178

11.1.1 推荐系统概述 178

11.1.2 推荐机制 178

11.1.3 推荐系统的应用 181

11.2 大数据在城市交通领域的应用 183

11.2.1 智慧交通大数据概述 183

11.2.2 大数据技术在城市交通拥堵治理中的作用 183

10.2.1 我国大数据政策法规发展过程 167

10.2.2 我国数据保护监管机构 168

10.2.3 我国数据安全立法监管 169

10.3 数据主权与权利  170

11.3 大数据在物流行业的应用  184

11.3.1 物流大数据的作用 184

11.3.2 物流大数据应用 184

11.3.3 物流大数据应用案例 186

11.4 大数据在生物医学领域的应用  186

11.4.1 生物医学大数据的特点及发展现状 186

 11.4.2 生物医学领域大数据的价值应用 186

 11.4.3 生物医疗大数据的应用案例 187

11.5 大数据在金融领域的应用  188

11.5.1 银行领域 188

11.5.2 保险行业 188

11.6 大数据在安防领域的应用  189

11.6.1 大数据安防应用的关键技术 189

11.6.2 大数据在安防领域的应用案例 190

11.6.3 大数据安防面临的挑战 191

小结 192

习题 192

第12章 综合案例 193

参考文献  223

刘爱芹，就职于齐鲁师范学院信息科学与工程学院副教授。主持山东省自然科学基金重点项目一项；参与国家863计划项目一项；主持或参与其他省级项目多项；主持教育部协同育人项目3项。杜建彬，2005年本科毕业于聊城大学计算机学院，获得计算机科学与技术专业理学学士；2009年毕业于山东大学网络信息安全所，获得计算机软件与理论工科硕士。就职于齐鲁师范学院信息科学与工程学院、人工智能学院院长，副教授。2005年参加教学管理和教学工作，承担计算机应用、计算机文化基础、大数据分析与应用、网络信息安全管理等课程教学工作。出版著作2部：《产学研用结合协同育人模式研究——以互联网金融人才培养为例》（ISBN：978-7-5688-8062-6），延边大学出版社，2019年9月；《大数据时代互联网金融信息安全》，新疆（伊犁）人民出版社，2015年9月第1版。发表教育教学论文多篇；《基于普通本科院校应用转型视角下“慕课”教学模式研究—以新建师范类本科院校为例》,齐鲁师范学院学报，2015（4）；《基于网络环境下本科生导师制探究_以计算机专业为例》，齐鲁师范学院学报，2014（6）；《谈跨学科通选课体系的构建_以高师院校为例》，齐鲁师范学院学报，2013（3）。

本书由浅入深、循序渐进地论述了 培养复合型大数据专业人才所需要的数据意识、数据思维、数据伦理和数据能力等概念和理论。