当今是大数据与人工智能的时代。面对信息的激流，多元化数据的涌现，大数据已经为个人生活、企业经营，甚至国家与社会的发展都带来了机遇和挑战，成为IT产业中最具潜力的蓝海。
大数据存储是一门理论性和实践性都很强的课程。本书针对大数据、人工智能、信息管理、经济管理和其他相关专业学生的发展需求，系统、全面地介绍了大数据存储与管理的基本知识和技能，介绍了大数据存储基础、关系型数据库、键值数据库、文档数据库、列族数据库、图数据库和NewSQL数据库。全书具有较强的系统性、可读性和实用性。
本书针对高等职业院校相关专业“大数据存储”“大数据存储与管理”“大数据管理”等课程设计编写，是具有丰富实践特色的教材，也可供有一定实践经验的软件开发人员、管理人员参考和作为继续教育的教材。
？

当今是一个大数据和人工智能蓬勃发展的时代，大数据的力量正在积极地影响着我们社会的方方面面，它冲击着许多主要的行业，同时也正在彻底地改变我们的学习和日常生活，改变我们的教育方式、生活方式、工作方式。如今，通过简单、易用的移动应用和基于云端的数据服务，人们能够追踪自己的行为以及饮食习惯，还能提升个人的健康状况。因此，人们有必要真正理解大数据这个极其重要的议题。对于身处大数据时代的企业而言，成功的关键还在于找出大数据所隐含的真知灼见。“以前，人们总说信息就是力量，但如今，对数据进行分析、利用和挖掘才是力量之所在。”
在大数据生态系统中，基础设施主要负责数据存储以及处理公司掌握的海量数据，应用程序则是供人类和计算机系统从数据中获知关键信息的程序。
在传统的数据存储、处理平台中，需要将数据从CRM、ERP等系统中，通过ELT工具提取出来，并转换为容易使用的形式，再导入像数据仓库和RDBMS等专门用于分析的数据库中。当管理的数据超过一定规模时，用现有的数据处理平台已经很难处理具备3V特征的大数据，即便能够处理，在性能方面也很难有良好的表现。对这些时时刻刻都在产生的非结构化数据进行实时分析，并从中获取有意义的观点，是十分困难的。为了应对大数据时代新的需求，需要从根本上重新考虑用于数据存储和处理的平台。
实际工作中的数据管理问题，促使数据库管理领域的专业人士和软件设计者开始研发NoSQL数据库。关系型数据库和NoSQL数据库是数据库演化过程中的两个里程碑。NoSQL数据库就是为了解决关系型数据库的局限而创设的。不同的应用程序需要使用不同类型的数据库，而这恰恰是数据管理系统在过去二十年间得到不断发展的动力所在。
■ 课程学习安排
对于大数据技术及其相关专业的大学生来说，大数据及其分析、处理和存储的理念、技术与应用是理论性和实践性都很强的必修课程。在长期的教学实践中，我们体会到，坚持因材施教的重要原则，把实践环节与理论教学相融合，抓实践教学促进理论知识的学习，是有效地改善教学效果和提高教学水平的重要方法之一。本书的主要特色是：理论联系实际，结合一系列了解和熟悉大数据存储的理念、技术与应用的学习和实践活动，把相关概念、基础知识和技术技巧融入实践当中，使学生保持浓厚的学习热情，加深对大数据存储技术的兴趣，促进学生进一步认识、理解和掌握。
本书是为高等职业院校相关专业，尤其是大数据、人工智能、信息管理、经济管理类专业开设“大数据存储”相关课程而设计编写，是具有丰富实践特色的教材，也可供有一定实践经验的IT应用人员、管理人员参考和作为继续教育的教材。
本书系统、全面地介绍了大数据存储与管理的基本知识和技能，介绍了大数据存储基础、关系型数据库、键值数据库、文档数据库、列族数据库、图数据库和NewSQL数据库，以及Redis键值数据库、MongoDB文档数据库、HBase列族数据库和Neo4j图数据库等NoSQL数据库的实例，共7个项目14个学习任务（见图0-1），具有较强的系统性、可读性和实用性。
结合课堂教学方法改革的要求，全书设计了课程教学过程，教学内容按“项目-任务”安排，要求和指导学生在课前阅读导读案例和课后阅读课文并完成相应的作业与实训，在网络搜索浏览的基础上，延伸阅读，深入理解课程知识内涵。附录中提供了课程作业参考答案、课程学习与实训总结等。
图0-1学习内容与顺序
教学进度设计请参考《课程教学进度表》，实际执行应按照教学大纲和校历中关于本学期节假日的安排，确定本课程的实际教学进度。
■ 本书编写要点
本课程的教学评测可以从以下几个方面入手：
（1）每项学习任务的导读案例阅读（14次）；
（2）每项学习任务的课后作业（14个）；
（3）每项学习任务的实训与思考（14次）；
（4）课程学习与实训总结（附录B）；
（5）结合平时考勤；
（6）任课老师认为必要的其他考核方法。
课程教学进度表
（20学年第学期）
课程号：            课程名称：        大数据存储         学分：  2   周学时：  2 
总学时：    32       （其中理论学时：   32    课外实践学时：   22   ）
主讲教师：                     
序号 校历周次 章节（或实验、习题课等）名称与内容 学时 教学方法 课后作业布置
1 1 引言
任务1.1  了解大数据与分布式系统 2 导读案例
理论教学 作业，实训与思考
2 2 任务1.2  熟悉数据管理系统 2  作业，实训与思考
3 3 任务1.3  熟悉数据管理技术的发展 2  作业，实训与思考
4 4 任务1.4  熟悉NoSQL数据模型 2  
5 5 任务1.4  熟悉NoSQL数据模型 2  作业，实训与思考
6 6 任务2  关系型数据库 2  
7 7 任务2  关系型数据库 2  作业，实训与思考
8 8 任务3.1  掌握键值数据库基础 2  作业，实训与思考
9 9 任务3.2  熟悉键值数据库的设计 2  作业，实训与思考
10 10 任务4.1  掌握文档数据库基础 2  作业，实训与思考
11 11 任务4.2  熟悉文档数据库的设计 2  作业，实训与思考
12 12 任务5.1  掌握列族数据库基础 2  作业，实训与思考
13 13 任务5.2  熟悉列族数据库的设计 2  作业，实训与思考
14 14 任务6.1  掌握图数据库基础 2  作业，实训与思考
15 15 任务6.2  熟悉图数据库的设计 2  作业，实训与思考
16 16 任务7  进入NewSQL数据库
总复习 2  作业，实训与思考
课程学习与实训总结
填表人（签字）：     日期：
系（教研室）主任（签字）：    日期：
本书是“十三五”（第二批）浙江省普通高校新形态教材项目“高职大数据技术与应用（系列教材）”的建设成果之一，是浙江安防职业技术学院2018年度课程建设项目“高职大数据系列教材”的成果之一。本书的编写工作得到温州市2018年数字经济特色专业建设项目“大数据技术与应用”的支持，得到浙江安防职业技术学院2018年度特色专业建设项目“大数据技术与应用专业”的支持。
本书的编写得到浙江安防职业技术学院、浙江商业职业技术学院、浙江大学城市学院等多所院校师生的支持。乔凤凤、陈培余、余强、王文等参与了本书的教材设计、教学规划、案例设计等工作，在此一并表示感谢！与本书配套的教学PPT课件等丰富教学资源可从中国铁道出版社有限公司网站 (http://www.tdpress.com/51eds/) 的下载区下载，欢迎教师与作者交流并索取为本书教学配套的相关资料：zhousu@qq.com，QQ：81505050。
？

项目1大数据存储基础 1
任务1.1？了解大数据与分布式系统 1
1.1.1大数据定义 3
1.1.2开源技术的商业支援 7
1.1.3分布式系统 7
1.1.4Hadoop分布式处理技术 8
1.1.5大数据的数据处理基础 10
1.1.6大数据存储的技术路线 12
作业 14
实训与思考熟悉大数据存储基础 16
任务1.2？熟悉数据管理基础 18
1.2.1数据集成模式 21
1.2.2关于数据湖 24
1.2.3数据资产管理 25
1.2.4数据管理从行动开始 27
1.2.5分布式数据管理 31
1.2.6CAP定理：一致性、可用性及分区保护性 33
作业 33
实训与思考熟悉数据管理的概念与功能 35
任务1.3？熟悉数据管理技术的发展 37
1.3.1早期的数据管理系统 40
1.3.2文件数据管理系统 40
1.3.3层次数据管理系统 42
1.3.4网状数据管理系统 43
1.3.5引发变革的关系型数据库 44
1.3.6Web程序的4个特征 46
1.3.7催生NoSQL数据库的动因分析 48
作业 48
实训与思考熟悉数据管理技术：SQL还是NoSQL 49
任务1.4？熟悉NoSQL数据模型 50
1.4.1NoSQL数据库性质BASE 52
1.4.2体现最终一致性 53
1.4.3在响应时间、一致性与持久性之间寻求平衡 53
1.4.4键值数据库类型 54
1.4.5文档数据库类型 56
1.4.6列族数据库类型 57
1.4.7图数据库类型 58
1.4.8选用适合的NoSQL数据库 59
作业 63
实训与思考案例研究：选用适合的NoSQL数据库 64
项目2关系型数据库 66
任务熟悉RDBMS   与SQL 66
2.0.1关系型数据库 68
2.0.2RDBMS的结构 69
2.0.3结构化查询语言SQL 71
2.0.4SQL语句的结构 72
2.0.5关系型数据库的ACID特征 73
2.0.6关系型数据库的三大范式 74
作业 77
实训与思考熟悉关系型数据库：RDBMS与SQL 78
项目3键值数据库 80
任务3.1？掌握键值数据库基础 80
3.1.1从数组到键值数据库 84
3.1.2键值数据库的重要特性 87
3.1.3键：有意义的标识符 88
3.1.4值：存放任意数据 89
3.1.5键值数据库的数据建模 90
3.1.6键值数据库的架构 92
3.1.7Redis键值数据库 93
作业 94
实训与思考案例研究：了解Redis键值数据库 96
任务3.2？熟悉键值数据库的设计 97
3.2.1哈希函数 102
3.2.2碰撞 103
3.2.3压缩 103
3.2.4键的设计与分区 104
3.2.5设计结构化的值 105
3.2.6键值数据库的局限 107
作业 108
实训与思考案例研究：用键值数据库管理移动应用程序的配置 109
项目4文档数据库 113
任务4.1？掌握文档数据库基础 113
4.1.1关于文档 116
4.1.2文档数据库的数据结构 121
4.1.3文档数据库的基本操作 123
4.1.4文档数据库的分区架构 125
4.1.5数据建模与查询处理 126
4.1.6MongoDB文档数据库 127
作业 132
实训与思考案例研究：熟悉MongoDB文档数据库 133
任务4.2？熟悉文档数据库的设计 136
4.2.1文档数据库的设计思考 140
4.2.2规范化还是去规范化 140
4.2.3应对可变的文档 141
4.2.4编制数量适中的索引 142
4.2.5MongoDB分布式运算模型MapReduce 143
4.2.6MongoDB存储原理 144
4.2.7大文件存储规范GridFS 145
4.2.8MongoDB的复制与分片 146
作业 147
实训与思考案例研究：客户的货物清单 148
项目5列族数据库 152
任务5.1？掌握列族数据库基础 152
5.1.1列族数据库谷歌BigTable 156
5.1.2HDFS分布式存储 157
5.1.3列族数据库与其他数据库的对比 157
5.1.4列族数据库使用的架构 159
5.1.5列族数据库的使用场景 162
5.1.6列族数据库的基本组件 162
5.1.7HBase列族数据库 164
作业 170
实训与思考熟悉列族数据库 172
任务5.2？熟悉列族数据库的设计 175
5.2.1列族数据库的设计 178
5.2.2列族数据库结构 179
5.2.3处理流程及协议 182
5.2.4设计数据表格 182
5.2.5编制索引 185
5.2.6应对大数据的工具 186
作业 189
实训与思考案例研究：客户数据分析 191
项目6？图数据库 194
任务6.1？掌握图数据库基础 194
6.1.1图及其元素 198
6.1.2关系的建模 200
6.1.3图数据库 203
6.1.4图的操作 205
6.1.5图和节点的属性 206
6.1.6图的类型 208
6.1.7Neo4j图数据库 209
作业 211
实训与思考案例研究：安装和了解Neo4j图数据库 212
任务6.2？熟悉图数据库的设计 216
6.2.1设计图模型 221
6.2.2一个描述社交网络的图数据库 222
6.2.3用查询请求引领模型设计 224
6.2.4Cypher：对图的声明式查询 224
6.2.5Gremlin基本图模型遍历查询 226
6.2.6用深度或广度优先搜索遍历图模型 227
6.2.7图数据库设计技巧 228
作业 229
实训与思考案例研究：优化运输路线 230
项目7？NewSQL数据库 233
任务？进入NewSQL数据库 233
7.0.1数据库行业全景图 236
7.0.2应运而生的NewSQL数据库 238
7.0.3NewSQL典型代表——NuoDB 240
7.0.4原生数据库 241
7.0.5时序数据库 241
7.0.6时空数据库 242
作业 243
实训与思考熟悉NewSQL数据库 244
附录 246
附录A？作业参考答案 246
附录B？课程学习与实训总结 249
参考文献 253
？

张丽娜，浙江省高职高专学科带头人（大数据技术与应用）。2007年毕业于江南大学，硕士研究生学历。国家二级心理咨询师、国家创新工程师、工信部NTC（大数据库技术与应用）高级认证。浙江省教育厅职业教育师资专家库成员（教师培训）。温州科技专家库专家。温州市软件行业协会专家委员会专家。温州信息管理学会理事。
？
相关成果：第一作者（或通讯作者）发表国内核心期刊８篇、EI、ISTP收录论文多篇、其他论文十余篇，主持省部级项目4项、市厅级项目１０余项，横向课题多项。第一主编出版教材四本，发表软件著作、发明专利5项。曾被评为“教学骨干”、“教坛新秀”，曾获得浙江省微课竞赛二等奖，浙江省教学技能竞赛二等奖，浙江省“互联网+教学”优秀案例评选特等奖。

周苏，1982年华东水利学院计算机应用专业本科毕业，1986年由水电部研究所调入杭州大学计算机系任教，1991年破格晋升副教授，1999年调入浙江大学城市学院计算机系任教，2005年晋升教授。在杭州大学、浙江大学、浙江大学城市学院、浙江工业大学之江学院、温州大学城市学院、嘉兴学院南湖学院、温州职业技术学院等多所院校专/兼职任教，教学经验丰富。 长期从事计算机等专业教学工作，担任计算机基础、计算机导论、软件工程、软件测试技术、软件体系结构、电子商务概论、移动商务、多媒体技术、项目管理、管理信息系统、应用统计学、C语言程序设计、面向对象程序设计、网络传播技术、网络生态学、人机交互技术、艺术设计概论、艺术欣赏概论、计算机平面设计、信息管理与信息系统概论、信息资源管理、办公软件高级应用、IT应用文写作等课程的教学，对计算机学科教学以及应用型院校教学有深刻理解。

？

本书针对高等职业院校相关专业“大数据存储”“大数据存储与管理”“大数据管理”等课程设计编写，是具有丰富实践特色的教材，也可供有一定实践经验的软件开发人员、管理人员参考和作为继续教育的教材。？