大数据分析”是一门理论性和实践性都很强的课程。本书是为高等职业院校相关专业“大数据分析”课程全新设计编写，针对职业教育学生的发展需求，系统、全面地介绍了关于大数据分析的基本知识和技能，以项目/任务方式详细介绍了大数据基础、大数据分析基础、大数据技术与大数据分析的应用、大数据分析基本原则、构建大数据分析路线、大数据分析方法的运用、大数据分析的用例、预测分析方法、预测分析技术、数据清洗与处理、大数据分析模型、大数据分析的工具与平台等内容，具有较强的系统性、可读性和实用性

前言
大数据（Big Data）的力量，正在积极地影响着社会的方方面面，冲击着许多主要的行业，如零售业、电子商务和金融服务业等，同时也正在彻底地改变人们的学习和日常生活：如人们的教育方式、生活方式、工作方式，以及寻找爱情的方式等。如今，通过简单、易用的移动应用和基于云端的数据服务，人们能够追踪自己的行为以及饮食习惯，还能提升个人的健康状况。因此，有必要真正理解大数据这个极其重要的议题。
中国是大数据最大的潜在市场之一。截至2020年3月，中国网民规模约为9.04亿，这就意味着中国的企业拥有绝佳的机会来更好地了解其客户并提供更个性化的体验，同时，为企业增加收入并提高利润。阿里巴巴就是一个很好的例子，它不但在其商业模式上具有颠覆性，而且还掌握了与购买行为、产品需求和库存供应相关的海量数据。除了阿里巴巴高层的领导能力之外，大数据必然是其成功的一个关键因素。
然而，仅有数据是不够的。对于身处大数据时代的企业而言，成功的关键还在于找出大数据所隐含的“真知灼见”。以前，人们总说信息就是力量，但如今，对数据进行分析、利用和挖掘才是力量之所在。
在不同行业中，那些专门从事行业数据的搜集、整理和进行深度分析，并依据分析结果做出行业研究、评估和预测的工作称为数据分析。所谓大数据分析，是指用适当的方法对收集来的大量数据进行分析，提取有用信息并形成结论，从而对数据加以详细研究和概括总结的过程。或者，顾名思义，大数据分析是指对规模巨大的数据进行分析，是大数据到信息，再到知识的关键步骤。大数据分析结合了传统统计分析方法和计算分析方法，在研究大量数据的过程中寻找模式、相关性和其他有用信息，帮助企业更好地适应变化并做出更明智的决策。
■ 课程学习方法
面对学科的发展，知识的进步，编者一直在努力创作教材和资源，力图为广大教师和学生准备一份较好的课程学习载体，线上线下融合发展，构造一个全新的新形态“智慧教学”环境。
为此，编者除了努力使本书知识结构全面、阐述流畅之外，还建设了与教材内容相配套的PPT文件，并录制了按教材内容组织的教学音频文件。于是，除了传统的线下课堂教学之外，本教材的使用方式也可以如图0-1所示。即打开教材对应章节的教学PPT文件或者翻到本教材的对应章节，用手机扫描教材内容对应的二维码，打开和收听相应的教学音频文件，并在“听”课的同时做好学习笔记。通过这样的学习，不仅可以帮助我们强化学习效果（看与听结合），也可以帮助我们减轻阅读负担（改看为听）。平时，教学音频文件也可以在课前、课后来帮助学生预习或者复习课程内容。
 

                                           教学PPT + 教学音频                                            教科书 + 教学音频
图0-1  课程学习方法
■ 课程学习安排
对于大数据技术及其相关专业的大学生来说，大数据分析的理念、技术与应用是一门理论性和实践性都很强的核心课程。在长期的教学实践中，我们体会到，坚持“因材施教”的重要原则，把实践环节与理论教学相融合，抓实践教学促进理论知识的学习，是有效地改善教学效果和提高教学水平的重要方法之一。本书的主要特色是：理论联系实际，结合一系列了解和熟悉大数据分析理念、技术与应用的学习和实践活动，把大数据分析的概念、知识和技术融入到实践当中，使学生保持浓厚的学习热情，加深对大数据分析的兴趣、认识、理解和掌握。
本书是为高等职业院校相关专业开设“大数据分析”相关课程而设计编写的，是具有丰富实践特色的主教材，也可供有一定实践经验的IT应用人员、管理人员参考并作为继续教育的教材。
本书系统、全面地介绍了大数据分析的基本知识和应用技能，包括大数据分析基础、分析应用与用例分析、预测分析技术、大数据分析与处理等4个项目共11个学习任务（见图0-2），具有较强的系统性、可读性和实用性。

图0-2　学习内容与顺序
结合课堂教学方法改革的要求，全书设计了课程教学过程，教学内容按“项目—任务”安排，要求和指导学生在课前阅读导读案例和课后阅读课文并完成相应的作业与实训，在网络搜索浏览的基础上，延伸阅读，深入理解课程知识内涵。附录中提供了课程作业参考答案、课程学习与实训总结等。
为了引导读者学习，本书还设计了实训案例与思考环节，如图0-3所示。建议让学生自由组织（头脑风暴）学习小组，以小组讨论和个人相结合的形式积极参与，努力完成实训任务。

图0-3　课程实训案例与思考环节
教学进度设计请参考《课程教学进度表》，实际执行应按照教学大纲和校历中关于本学期节假日的安排，确定本课程的实际教学进度。
■ 本书编写要点
本课程的教学评测可以从以下几个方面入手：
（1）每个项目的作业（紧密结合课文教学内容的标准选择题，11个）；
（2）每个项目课后的“实训与思考”（11项）；
（3）课程学习与实训总结（附录B）；
（4）结合平时考勤；
（5）任课老师认为必要的其他考核方法。
本书是“十三五”（第二批）浙江省普通高校新形态教材项目“高职大数据技术与应用（系列教材）”的建设成果之一，是浙江安防职业技术学院2018年度课程建设项目“高职大数据系列教材”的成果之一。本书的编写工作得到温州市2018年数字经济特色专业建设项目“大数据技术与应用”的支持，得到浙江安防职业技术学院2018年度特色专业建设项目“大数据技术与应用专业”的支持。
本书的编写得到浙江安防职业技术学院、浙江商业职业技术学院、浙大城市学院等多所院校师生的支持。本书由周苏、戴海东主编，傅贤君、张大力、周恒、张丽娜、王文、乔凤凤、丁增辉等参与了本书的教材设计、教学规划、案例设计等编写工作。与本书配套的教学PPT课件等丰富教学资源可从中国铁道出版社有限公司网站（http://www.tdpress.com/51eds/） 的下载区下载，欢迎教师与作者交流并索取本书教学配套的相关资料：zhousu@qq.com；QQ：81505050。
课程教学进度表
（20　　—20　　学年第　　学期）
课程号：　　　　　　　　　　　课程名称：大数据分析　　学分：2　　　　　　　　　　　周学时：2 
总学时：32  （其中理论学时：32 　　课外实践学时：22）
主讲教师：　　　　　　
序号	校历
周次	章节（或实验、习题课等）
名称与内容	学时	教学方法	课后作业布置
1	1	引言
任务1.1  熟悉大数据的概念	2	导读案例
理论教学	作业，实训与思考
2	2	任务1.2  掌握大数据分析基础知识	2		作业，实训与思考
3	3	任务1.2  掌握大数据分析基础知识	2		
4	4	任务1.3  熟悉大数据分析基本原则	2		作业，实训与思考
5	5	任务2.1  构建大数据分析路线	2		作业，实训与思考
6	6	任务2.2  运用大数据分析方法	2		作业，实训与思考
7	7	任务2.3  建立大数据分析用例	2		作业，实训与思考
8	8	任务3.1  运用预测分析方法	2		作业，实训与思考
9	9	任务3.2  熟悉预测分析技术	2		作业，实训与思考
10	10	任务3.2  熟悉预测分析技术	2		作业，实训与思考
11	11	任务4.1  执行数据清洗与处理	2		作业，实训与思考
12	12	任务4.1  执行数据清洗与处理	2		
13	13	任务4.2  建立大数据分析模型	2		作业，实训与思考
14	14	任务4.2  建立大数据分析模型	2		
15	15	任务4.3  了解分析工具与分析平台	2		作业，实训与思考
16	16	任务4.3  了解分析工具与分析平台	2		

　　填表人（签字）：　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　日期：
　　系（教研室）主任（签字）：　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　日期：



周　苏
2020年春·温州

目录
项目1　大数据分析基础	1
任务1.1　熟悉大数据的概念	1
导读案例　葡萄酒的品质分析	1
任务描述  	5
知识准备  	5
1.1.1　信息爆炸的社会	5
1.1.2　大数据的发展	7
1.1.3　大数据的定义	9
1.1.4　大数据的结构类型	10
1.1.5　大数据应用改变生活	11
【实训与思考】案例企业ETI的背景信息	14
【作业】    	18
任务1.2　掌握大数据分析基础知识	20
导读案例　数据工作者的数据之路：从洞察到行动	20
任务描述  	24
知识准备  	24
1.2.1　大数据对分析的影响	24
1.2.2　数据具有内在预测性	25
1.2.3　大数据分析的定义	25
1.2.4　四种数据分析方法	26
1.2.5　大数据分析的行业作用	30
1.2.6　分析团队的文化与建设	32
【实训与思考】企业大数据准备度自我评价	34
【作业】  	38
任务1.3　熟悉大数据分析基本原则	40
导读案例　得数据者得天下	40
任务描述  	42
知识准备  	42
1.3.1　大数据的现代分析原则	42
1.3.2　原则1：实现商业价值和影响	43
1.3.3　原则2：专注于最后一公里	44
1.3.4　原则3：持续改善	45
1.3.5　原则4：加速学习能力和执行力	46
1.3.6　原则5：差异化分析	46
1.3.7　原则6：嵌入分析	47
1.3.8　原则7：建立现代分析架构	47
1.3.9　原则8：构建人力因素	48
1.3.10　原则9：利用消费化趋势	48
【实训与思考】熟悉大数据规划方法	49
【作业】  	50
项目2　分析应用与用例分析	53
任务2.1　构建大数据分析路线	53
导读案例　大数据时代，别用“假数据”自嗨	53
任务描述  	55
知识准备  	55
2.1.1　什么是分析路线	55
2.1.2　第1步：确定关键业务目标	59
2.1.3　第2步：定义价值链	59
2.1.4　第3步：头脑风暴分析解决方案机会	60
2.1.5　第4步：描述分析解决方案机会	63
2.1.6　第5步：创建决策模型	63
2.1.7　第6步：评估分析解决方案机会	64
2.1.8　第7步：建立分析路线图	65
2.1.9　第8步：不断演进分析路线图	65
【实训与思考】确定数据特征与类型	66
【作业】  	69
任务2.2　运用大数据分析方法	71
导读案例　数据驱动≠大数据	71
任务描述  	73
知识准备  	73
2.2.1　企业分析的分类	74
2.2.2　战略分析	74
2.2.3　管理分析	76
2.2.4　运营分析	78
2.2.5　科学分析	79
2.2.6　面向客户的分析	80
2.2.7　案例：大数据促进商业决策	81
【实训与思考】IT团队采用的大数据分析技术	83
【作业】  	84
任务2.3　建立大数据分析用例	86
导读案例　疫情之后的变化	86
任务描述  	89
知识准备  	89
2.3.1　什么是用例	90
2.3.2　预测用例	91
2.3.3　解释用例	93
2.3.4　预报用例	93
2.3.5　发现用例	94
2.3.6　模拟用例	95
2.3.7　优化用例	95
【实训与思考】ETI大数据分析采用的技术平台	95
【作业】  	98
项目3　预测分析技术	101
任务3.1　运用预测分析方法	101
导读案例　用手机信令大数据科学控制疫情	101
任务描述  	103
知识准备  	103
3.1.1　预测分析方法论	103
3.1.2　定义业务需求	104
3.1.3　建立分析数据集	107
3.1.4　建立预测模型	111
3.1.5　部署预测模型	113
3.1.6　预测分析软件系统	116
【实训与思考】预测分析项目的方案设计	116
【作业】  	117
任务3.2　熟悉预测分析技术	119
导读案例　日本中小企业的“深层竞争力”	119
任务描述  	122
知识准备  	123
3.2.1　统计分析	123
3.2.2　生存分析	124
3.2.3　有监督和无监督学习	125
3.2.4　机器学习	127
3.2.5　神经网络	133
3.2.6　深度学习	135
3.2.7　语义分析	137
3.2.8　视觉分析	141
【实训与思考】智能学习的熟悉度评估	142
【作业】  	144
项目4　大数据分析与处理	149
任务4.1　执行数据清洗与处理	149
导读案例　公共数据开放的探索实践	149
任务描述  	154
知识准备  	154
4.1.1　数据标识	155
4.1.2　数据抽样	155
4.1.3　数据过滤	156
4.1.4　数据标准化	157
4.1.5　数据提取	158
4.1.6　数据清洗	159
4.1.7　数据聚合与表示	161
4.1.8　降维与特征工程	162
4.1.9　成分分析	165
【实训与思考】　大数据分析的数据预处理	166
【作业】  	169
任务4.2　建立大数据分析模型	171
导读案例　行业人士必知的十大数据思维原理	171
任务描述  	179
知识准备  	179
4.2.1　关联分析模型	179
4.2.2　分类分析模型	183
4.2.3　聚类分析模型	189
4.2.4　结构分析模型	192
4.2.5　文本分析模型	193
【实训与思考】建立大数据分析模型	194
【作业】  	196
任务4.3　了解分析工具与分析平台	198
导读案例　包罗一切的数字图书馆	198
任务描述  	201
知识准备  	201
4.3.1　数据工作者	201
4.3.2　分析的成功因素	205
4.3.3　分析编程语言	205
4.3.4　业务用户工具	207
4.3.5　分布式分析	210
4.3.6　预测分析架构	212
4.3.7　现代SQL平台	214
【实训与思考】ETI企业的大数据之旅（总结）	217
【作业】  	220
附　　录	223
附录A　部分作业参考答案	223
附录B　课程学习与实训总结	225
参考文献	229

周苏，戴海东，浙江安防职业技术学院院长

大数据分析”是一门理论性和实践性都很强的课程。本书是为高等职业院校相关专业“大数据分析”课程全新设计编写，针对职业教育学生的发展需求，系统、全面地介绍了关于大数据分析的基本知识和技能，以项目/任务方式详细介绍了大数据基础、大数据分析基础、大数据技术与大数据分析的应用、大数据分析基本原则、构建大数据分析路线、大数据分析方法的运用、大数据分析的用例、预测分析方法、预测分析技术、数据清洗与处理、大数据分析模型、大数据分析的工具与平台等内容，具有较强的系统性、可读性和实用性。
本书适合作为高等职业院校相关专业开设“大数据分析”课程的教材，也可供有一定实践经验的IT应用人员、管理人员参考并作为继续教育的教材。