这是一个大数据爆发的时代。面对信息的激流、多元化数据的涌现，大数据为个人生活、企业经营，甚至国家与社会的发展带来了机遇和挑战，大数据已经成为IT信息产业中最具潜力的蓝海。



        “大数据导论”是一门理论性和实践性都很强的课程。本书是为高等职业院校相关专业“大数据导论”课程全新设计编写的，具有丰富的实践特色。针对高等职业院校学生的发展需求，本书分8个项目，系统、全面地介绍了关于大数据技术与应用的基本知识和技能，详细介绍了大数据与大数据时代、大数据时代思维变革、大数据促进行业发展、大数据方法的驱动力、大数据存储技术、大数据处理技术、大数据分析技术、大数据在云端等内容，具有较强的系统性、可读性和实用性。

项目1大数据与大数据时代1

任务1.1进入大数据时代1

【导读案例】 准确预测地震1

【任务描述】2

【知识准备】 进入大数据时代3

1.1.1天文学——信息爆炸的起源3

1.1.2大数据的发展7

1.1.3重新认识数据9

1.1.4数据集与数据分析10

【作业】14

【实训操作】15

任务1.2熟悉大数据的定义19

【导读案例】 得数据者得天下19

【任务描述】21

【知识准备】 定义大数据21

1.2.1大数据的定义21

1.2.2大数据的3V和5V特征22

1.2.3广义的大数据24

1.2.4大数据的结构类型25

【作业】26

【实训操作】27

项目2大数据时代思维变革31

任务2.1理解思维转变之一：样本=总体31

【导读案例】 亚马逊推荐系统31

【任务描述】33

【知识准备】 分析更多数据而不再是只依赖于随机采样33

2.1.1小数据时代的随机采样34

2.1.2大数据与乔布斯的癌症治疗37

2.1.3全数据模式：样本=总体38

【作业】39

【实训操作】40

任务2.2理解思维转变之二：接受数据的混杂性42

【导读案例】 数据驱动≠大数据42

【任务描述】44

【知识准备】 不再热衷于追求精确度44

2.2.1允许不精确45

2.2.2大数据的简单算法与小数据的复杂算法47

2.2.3纷繁的数据越多越好48

2.2.4混杂性是标准途径49

2.2.5新的数据库设计50

2.2.6 5%的数字数据与95%的非结构化数据51

【作业】52

【实训操作】54

任务2.3理解思维转变之三：数据的相关关系55

【导读案例】 美国百亿美元望远镜主镜安装完毕55

【任务描述】58

【知识准备】 不再热衷于寻找因果关系58

2.3.1关联物，预测的关键58

2.3.2“是什么”，而不是“为什么”61

2.3.3通过因果关系了解世界62

2.3.4通过相关关系了解世界63

【作业】64

【实训操作】65

项目3大数据促进行业发展67

任务3.1理解大数据促进医疗与健康67

【导读案例】 大数据变革公共卫生67

【任务描述】69

【知识准备】 大数据促进医疗与健康69

3.1.1大数据促进循证医学发展69

3.1.2大数据带来医疗保健新突破71

3.1.3医疗信息数字化76

3.1.4超级大数据的最佳伙伴——搜索78

3.1.5数据决策的成功崛起79

【作业】82

【实训操作】83

任务3.2理解大数据激发创造力84

【导读案例】 脸书的设计决策84

【任务描述】86

【知识准备】 大数据激发创造力87

3.2.1大数据帮助改善设计87

3.2.2大数据操作回路90

3.2.3大数据资产的崛起92

【作业】93

【实训操作】95

项目4大数据方法的驱动力96

任务4.1理解采用大数据的商业动机96

【导读案例】 大数据企业的缩影——谷歌（Google）96

【任务描述】97

【知识准备】 将数据变成竞争优势98

4.1.1大数据的跨界年度98

4.1.2谷歌的大数据行动99

4.1.3亚马逊的大数据行动100

4.1.4将信息变成一种竞争优势102

4.1.5市场动态105

4.1.6业务架构106

4.1.7业务流程管理108

【作业】109

【实训操作】110

任务4.2理解大数据规划考虑111

【导读案例】 Google搜索算法告诉你，如何将一个人变成傻瓜111

【任务描述】112

【知识准备】 大数据的规划考虑112

4.2.1信息与通信技术113

4.2.2万物互联网114

4.2.3数据获取与数据来源114

4.2.4不同的性能挑战116

4.2.5不同的管理需求116

【作业】117

【实训操作】118

任务4.3熟悉大数据商务智能120

【导读案例】 微信支付新广告，讲了一个支付之外的故事120

【任务描述】123

【知识准备】 熟悉大数据商务智能123

4.3.1 OLTP与OLAP123

4.3.2抽取、转换和加载技术124

4.3.3数据仓库与数据集市124

4.3.4传统商务智能125

4.3.5大数据商务智能125

4.3.6大数据营销126

【作业】132

【实训操作】133

项目5大数据存储技术136

任务5.1熟悉大数据存储概念136

【导读案例】 2018未来交通峰会召开，高德地图升级易行平台136

【任务描述】139

【知识准备】 大数据存储的主要概念139

5.1.1数据清理139

5.1.2集群139

5.1.3文件系统和分布式文件系统140

5.1.4分片与复制143

5.1.5 CAP定理149

5.1.6 ACID设计原则150

5.1.7 BASE设计原理153

【作业】155

【实训操作】157

任务5.2了解大数据存储技术159

【导读案例】 基础领域突破非一日之功，是数十年耕耘159

【任务描述】162

【知识准备】 大数据存储的核心技术162

5.2.1 RDBMS数据库163

5.2.2 NoSQL数据库165

5.2.3 NoSQL与RDBMS的主要区别171

5.2.4 NewSQL数据库173

5.2.5内存存储设备174

【作业】178

【实训操作】179

项目6大数据处理技术182

任务6.1熟悉大数据处理技术182

【导读案例】 Cloudera领衔大数据基础设施182

【任务描述】184

【知识准备】 大数据处理的内容与技术184

6.1.1开源技术的商业支援184

6.1.2大数据的技术架构185

6.1.3 Hadoop数据处理基础186

6.1.4处理工作量190

6.1.5批处理模式190

6.1.6 SCV原则196

6.1.7实时处理模式197

【作业】199

【实训操作】200

项目7大数据分析技术203

任务7.1了解大数据预测分析203

【导读案例】 葡萄酒的品质203

【任务描述】207

【知识准备】 大数据预测分析的内容与技术207

7.1.1什么是预测分析208

7.1.2数据具有内在预测性210

7.1.3定量分析与定性分析210

7.1.4数据挖掘211

7.1.5统计分析212

【作业】215

【实训操作】216

任务7.2数据的内在预测性219

【导读案例】 英国脱欧：精英主义的历史性溃败219

【任务描述】224

【知识准备】 数据的内在预测能力224

7.2.1机器学习224

7.2.2语义分析227

7.2.3视觉分析229

7.2.4情感分析233

7.2.5神经网络240

【作业】241

【实训操作】243

任务7.3大数据分析的生命周期245

【导读案例】 摩拜单车96小时“生死”博弈245

【任务描述】249

【知识准备】249

7.3.1商业案例评估250

7.3.2数据标识250

7.3.3数据获取与过滤250

7.3.4数据提取251

7.3.5数据验证与清理252

7.3.6数据聚合与表示252

7.3.7数据分析254

7.3.8数据可视化254

7.3.9分析结果的使用254

【作业】255

【实训操作】256

项目8大数据在云端262

任务8.1熟悉云时代背景下的大数据262

【导读案例】 亚马逊，数据在云端262

【任务描述】264

【知识准备】 大数据的云技术264

8.1.1云端大数据264

8.1.2计算虚拟化268

8.1.3存储虚拟化268

8.1.4网络虚拟化272

8.1.5数据即服务275

8.1.6云的挑战275

【作业】276

【实训操作】278

任务8.2把握大数据发展的未来280

【导读案例】 智能大数据分析成热点280

【任务描述】281

【知识准备】 数据科学的发展281

8.2.1数据科学282

8.2.2数据科学家与数据工作者286

8.2.3隐私权与安全性291

8.2.4连接开放数据293

8.2.5数据市场的兴起296

8.2.6将原创数据变为增值数据297

8.2.7大数据未来展望298

【作业】302

【实训操作】303

附录310

参考文献312

        “大数据导论”是一门理论性和实践性都很强的课程。本书是为高等职业院校相关专业“大数据导论”课程全新设计编写，具有丰富实践特色的主教材。针对高等职业院校学生的发展需求，本书系统、全面地介绍了关于大数据技术与应用的基本知识和技能，详细介绍了大数据与大数据时代、大数据时代思维变革、大数据促进行业发展、大数据方法的驱动力、大数据存储技术、大数据处理技术、大数据分析技术、大数据在云端等内容，具有较强的系统性、可读性和实用性。