内容简介

《大数据开发工程师系列：Hadoop & Spark大数据开发实战》围绕Hadoop和Spark这两个主流技术进行讲解，主要内容包括Hadoop环境配置、分布式文件系统HDFS、分布式计算框架MapReduce、资源调度框架YARN与Hadoop新特性、大数据数据仓库Hive、离线处理辅助系统、SparkCore、Spark SQL、Spark Streaming等知识。

为保证学习效果，《大数据开发工程师系列：Hadoop & Spark大数据开发实战》紧密结合实际应用，利用大量案例说明和实践，提炼含金量十足的开发经验。

《大数据开发工程师系列：Hadoop & Spark大数据开发实战》使用Hadoop和Spark进行大数据开发，并配以完善的学习资源和支持服务，包括视频教程、案例素材下载、学习交流社区、讨论组等终身学习内容，为开发者带来全方位的学习体。

目录

前言
关于引用作品版权说明
第1章 初识Hadoop
本章任务
任务1 大数据概述
1．1．1 大数据基本概念
1．1．2 大数据对于企业带来的挑战
任务2 Hadoop概述
1．2．1 Hadoop简介
1．2．2 HadooD生态系统
1．2．3 大数据应用案例
任务3 Hadoop环境措建
1．3．1 虚拟机安装
1．3．2 Linux系统安装
1．3．3 Hadoop伪分布式环境搭建
本章总结
本章作业
第2章 分布式文件系统HDFS
本章任务
任务1 初识HDFS
2．1．1 HDFS概述
2．1．2 HDFS基本概念
2．1．3 HDFS体系结构
任务2 HDFS操作
2．2．1 HDFS shell访问
2．2．2 Java API访问
任务3 HDFS运行机制
2．3．1 HDFS文件读写流程
2．3．2 HDFS副本机制
2．3．3 数据负载均衡
2．3．4 机架感知
任务4 HDFS进阶
2．4．1 Hadoop序列化
2．4．2 基于文件的数据结构SequenceFile
2．4．3 基于文件的数据结构MapFile
本章总结
本章作业
第3章 分布式计算框架MapReduce
本章任务
任务1 MapReduce编程模型
3．1．1 MapReduce概述
3．1．2 MapReduce编程模型
3．1．3 MapReduce Woracount编程实例
任务2 MapReduce进阶
3．2．1 MapReduce类型
3．2．2 MapReduce输入格式
3．2．3 MapReduce输出格式
3．2．4 Combiner
3．2．5 Partitioner
3．2．6 RecordReader
任务3 MapReduce高级编程
3．3．1 Join的MapReduce实现
3．3．2 排序的MapReduce实现
3．3．3 二次排序的MapReduce实现
3．3．4 合并小文件的MapReduce实现
本章总结
本章作业
第4章 YARN与Hadoop新特性
本章任务
任务1 初识资源调度框架YARN
4．1．1 YARN产生背景
4．1．2 初识YARN
4．1．3 YARN运行机制
任务2 HDFS新特性
4．2．1 HDFS NameNOde HA
4．2．2 HDFS NameN0de Federation
4．2．3 HDFSSnaoshots
4．2．4 WebHOFS RESTAPI
4．2．5 DistCp
任务3 YARN新特性
4．3．1 ResourceManager Restart
4．3．2 ResourceManager HA
本章总结
本章作业
第5章 大数据数据仓库Hive
本章任务
任务1 初识Hive
5．1．1 Hiye简介
5．1．2 Hiye架构
5．1．3 Hiye与Hadoop的关系
5．1．4 Hive与传统关系型数据库对比
5．1．5 Hive数据存储
5．1．6 Hive环境部署
任务2 Hive基本操作
5．2．1 DDL操作
5．2．2 DML操作
5．2．3 Hive shell操作
任务3 Hive进阶
5．3．1 Hive函数
5．3．2 Hive常用调优策略
本章总结
本章作业
第6章 离线处理辅助系统
本章任务
任务1 使用Sqoop完成数据迁移
6．1．1 Sqoop简介
6．1．2 导入MysQL数据到HDFS
6．1．3 导出HOFS数据到MySQL
6．1．4 导入MySQL数据到Hive
6．1．5 Sqoop中Job的使用
任务2 工作流调度框架Azkaban
6．2．1 Azkaban简介
6．2．2 Azkaban部署
6．2．3 Azkaban实战
本章总结
本章作业
第7章 Spark入门
本章任务
任务1 初识Spark
7．1．1 Spark概述
7．1．2 Spark优点
7．1．3 Spark生态系统BDAs
任务2 Scala入门
7．2．1 Scala介绍
7．2．2 Scala函数
7．2．3 Scala面向对象
7．2．4 Scala集合
7．2．5 Scala进阶
任务3 获取Spark源码并进行编译
7．3．1 获取Spark源码
7．3．2 Spark源码编译
任务4 第次与Spark亲密接触
7．4．1 Spark环境部署
7．4．2 Spark完成词频统计分析
本章总结
本章作业
第8章 SparkCore
本章任务
任务1 SparK的基石RDD
8．1．1 RDD概述
8．1．2 RDD常用创建方式
8．1．3 RDD的转换
8．1．4 ROD的动作
8．1．5 RDD的依赖
任务2 RDD进阶
8．2．1 RDD缓存
8．2．2 共享变量(Shared Variables)
8．2．3 Spark核心概念
8．2．4 Spark运行架构
任务3 基于RDD的Spark编程
8．3．1 开发前置准备
8．3．2 使用SparkCore开发词频计数WordCount
8．3．3 使用SparkCore进行年龄统计
本章总结
本章作业
第9章 Spark SQL
本章任务
任务1 SparkSQL前世今生
9．1．1 为什么需要SQL
9．1．2 常用的SQL on Hadoop框架
9．1．3 Spark SQL概述
任务2 Spark SQL编程
9．2．1 SparkSQL编程入口
9．2．2 DataFrame是什么
9．2．3 DataFrame编程
任务3 SparkSQL进阶
9．3．1 Spark SQL外部数据源操作
9．3．2 SparkSQL函数的使用
9．3．3 Spark SQL常用调优
本章总结
本章作业
第10章 Spark Streaming
本章任务
任务1 初始流处理框架及Spark Streaming
10．1．1 流处理框架概述
10．1．2 Spark Streaming概述
任务2 Spark Streaming编程
10．2．1 Spark Streaming核心概念
10．2．2 使用Spark Streaming编程
任务3 Spark Streaming进阶
10．3．1 Spark Streaming整合Flume
10．3．2 Spark Streaming整合Kafka
10．3．3 Spark Streaming常用优化策略
本章总结
本章作业

文档截图