本书是由学校教师与企业工程师合作编写的活页式新形态教材。全书以项目实战为主线，重点介绍了使用大数据平台进行项目开发的知识与技巧。项目主要包括大数据平台搭建基础及Spark集群搭建的功能，大数据平台搭建基础包括Hadoop集群搭建及HDFS文件系统访问、MapReduce、Zookeeper、HBase、Hive等功能，Spark集群搭建包括Scala安装、Spark集群部署等详细功能。通过本书读者可以掌握大数据平台开发的理论知识与技术技能，潜移默化地培养项目化思维，积累项目经验。
       为了便于读者更好地掌握技术，项目中涉及到的主要知识点，以知识准备和知识链接两种形式讲解，教材同时提供项目实现操作全过程视频资源。
       本书即可作为高职院校计算机专业的教材，也可作为大数据技术开发人员的参考书。

       近年来，校企双方积极参与产教融合，主动整合优势资源共建“工匠工坊”，共同建设计算机类专业，共同实施课程改革，共同培养企业亟需的专业人才。在此背景下，编者基于多年教学经验，引入企业真实项目，并以教学规律、教学进程等为前提，编写了这部新型活页式教材，旨在为师生提供参考使用。
       本书由教学经验丰富的学校教师和企业工程师共同开发，采用企业真实项目，将工作任务转化为学习内容。在内容组织上，摒弃了传统的知识架构，而是以项目为载体，采用工作任务模式，围绕项目开发来整合专业知识。本书适合采用教学做一体化教学方法，通过项目实战培养学生职业技能，从而胜任相关岗位工作。
       本书包含项目准备、Hadoop集群的搭建、MapReduce实现、Zookeeper部署、HBase集群的搭建、Hive部署、Spark SQL处理、项目结项和项目评价等9个单元。每个单元按照项目实现过程划分为多个任务，每个任务由任务描述、任务目标、任务实现、任务考评、任务实训等部分构成，在任务实现过程中穿插知识链接来讲解知识点，以实现理论与实践的融合与贯通。
       编者中，郭立文、李阳和郭琳来自陕西国防工业职业技术学院，郑赢来自沈阳职业技术学院，王海龙和宣慧东来自江苏一道云科技发展有限公司。全书由郭立文、
郑赢、王海龙任主编，李阳、郭琳、宣慧东任副主编。全书项目案例、项目代码等由王海龙、宣慧东设计、编写与审核，郭立文和王海龙负责统稿。其中，单元1、单元2
       由郭立文编写，单元3、单元7由郭琳编写，单元4、单元5、单元6由李阳编写，单元8、单元9由郑赢编写。由于编者水平有限，书中疏漏之处在所难免，敬请读者批评指正。
编 者
2022年10月

单元 1项目准备 ................................................................................................1-1
    任务 1Git 的安装与使用......................................................................................1-2
    任务 2账户创建.................................................................................................1-13
    任务 3环境搭建.................................................................................................1-25
单元 2 Hadoop 集群的搭建 ...............................................................................2-1
    任务 1Hadoop 集群的搭建及配置.......................................................................2-2
    任务 2HDFS 文件系统常用命令操作................................................................2-16
    任务 3Java 访问 HDFS.....................................................................................2-24
    任务 4Java 操作 HDFS 目录和文件..................................................................2-40
单元 3 MapReduce 实现 ...................................................................................3-1
    任务 1MapReduce Mapper 类实现.....................................................................3-2
    任务 2MapReduce Reducer 类实现...................................................................3-8
    任务 3MapReduce 提交和打包.........................................................................3-12
单元 4 Zookeeper 部署 .....................................................................................4-1
    任务 1ZooKeeper 的安装....................................................................................4-2
    任务 2Java 实现 ZooKeeper 对 Znode 的基本操作..........................................4-10
单元 5 HBase 集群的搭建 .................................................................................5-1
    任务 1HBase 集群的搭建...................................................................................5-2
    任务 2Java 实现 HBase 表建立..........................................................................5-9
    任务 3数据的基本查询和过滤器查询................................................................5-20
单元 6 Hive 部署 ...............................................................................................6-1
    任务 1本地模式安装 Hive...................................................................................6-2
    任务 2Hive 的基本操作.....................................................................................6-10
单元 7 Spark SQL 处理 .....................................................................................7-1
    任务Spark SQL 下载与安装...............................................................................7-2

单元 8项目结项 ................................................................................................8-1
    任务产品发布及归档...........................................................................................8-2
单元 9项目评价 ................................................................................................9-1
    任务评价及总结..................................................................................................9-2
参考文献 ............................................................................................................. C-1

       郭立文，男，陕西国防工业职业技术学院副教授，计算机与软件学院院长。作为主持人或主要参与人完成教育部、陕西省教育厅、职教学会、计算机学会、中华职教社等纵向课题10余项，主持横向课题4项，发表论文7篇，主编新型教材2部，编写其他教材多部。曾获得普通高等教育教学成果国家级二等奖1项，获得陕西省普通高等教育教学成果省级二等奖1项，获得陕西省普通高等教育教学成果省级一等奖1项。

       魏晓艳，女，陕西国防工业职业技术学院副教授。主要从事计算机软件相关专业教育教学研究工作。主持建成《Java程序设计》省级精品课程1门、《微控制器技术与应用》等院级精品课程2门；主持和参与教育部、省部级、省级学会等纵向课题20余项，主持横向课题2项；主编和副主编出版教材5部，公开发表论文20篇，获得实用新型专利3项。指导学生参加技能大赛获得国家级、省级奖项20余项；获得陕西省普通高等教育教学成果省级一等奖1项、二等奖1项。

       王海龙，男，江苏一道云科技发展有限公司工匠工坊技术经理。组织设计并开发了《Java Web云应用开发》《视频直播App应用开发》等教材和配套课程资源；组织实施了陕西国防工业职业技术学院、厦门城市职业学院、珠海城市职业技术学院、内蒙古电子信息职业技术学院、沈阳职业技术学院t等学院的基于现代学徒制的“工匠工坊”人才培养；设计和参与了2020年黄河水利职业技术学院、陕西工业职业技术学院教学能力大赛参赛作品，其中黄河水利职业技术学院的作品获得国赛一等奖。目前负责公司职教云计算相关专业的实训平台软件系统和课程资源的研发。

本书是由学校教师与企业工程师合作编写的新型活页式教材。全书以项目实战为主线，重点介绍了使用大数据平台进行项目开发的知识与技巧。本书内容主要包括大数据平台搭建基础及 Spark 集群搭建。大数据平台搭建基础包括 Hadoop 集群搭建及 HDFS 文件系统访问、MapReduce、Zookeeper、HBase、Hive 等功能。Spark 集群搭建包括 Scala 安装、Spark 集群部署等详细功能。通过本书的学习，读者可以掌握大数据平台开发的理论知识与技术技能，潜移默化地培养项目化思维，积累项目经验。为了便于读者更好地掌握技术，项目中涉及的主要知识点，以知识准备和知识链接两种形式讲解，同时提供项目实现操作全过程视频资源。