内容简介

本书以“高职院校学情分析”系统为项目原型，以任务驱动为主线，基于Hadoop大数据平台，讲解大数据平台的搭建与运维、大数据的采集与存储、大数据的处理、数据的分析、数据的可视化等完整的大数据应用案例，全面详细地讲述Hadoop、MapReduce、HDFS、Hive和Sqoop 等技术的相关知识，并详细讨论了Mahout大数据分析中的常用算法——K-means聚类算法、Canopy 聚类算法、欧氏距离算法、余弦距离算法、皮尔逊相关系数算法、TF-IDF加权算法等的使用及相关学情分析系统中算法的实现等。

目录

项目1认识大数据，实现学情分析
系统设计与环境搭建
学习目标
学习情境
任务1.1设计学情分析系统
任务描述
任务目标
知识准备
任务实施
项目实训
任务1.2构建学情分析系统开发环境
任务描述
任务目标
知识准备
任务实施
项目实训
项目小结
项目2Hadoop大数据平台的构建
学习目标
学习情境
任务2.1搭建Ambari Hadoop
系统
任务描述
任务目标
知识准备
任务实施
项目实训
任务2.2使用Apache Ambari管理Hadoop集群
任务描述
任务目标
知识准备
任务实施
项目实训
项目小结
项目3就业岗位数据的采集和
存储
学习目标
学习情境
任务3.1使用网络爬虫采集岗位招聘数据
任务描述
任务目标
知识准备
任务实施
项目实训
任务3.2将采集的数据上传到HDFS
任务描述
任务目标
知识准备
任务实施
项目实训
任务3.3使用Sqoop转换MySQL中的学生成绩数据到Hive中
任务描述
任务目标
知识准备
任务实施
项目实训
项目小结
项目4岗位数据的处理
学习目标
学习情境
任务4.1使用Hadoop MR对数据进行清洗
任务描述
任务目标
知识准备
任务实施
项目实训
任务4.2使用命令行对Hive进行数据查询和过滤
任务描述
任务目标
知识准备
任务实施
项目实训
任务4.3使用Java API对Hive进行连接与操作
任务描述
任务目标
知识准备
任务实施
项目实训
项目小结
项目5岗位和技能数据的分析
学习目标
学习情境
任务5.1使用Mahout命令进行岗位聚类分析
任务描述
任务目标
知识准备
任务实施
项目实训
任务5.2使用Mahout的Java API进行岗位分析聚类开发
任务描述
任务目标
知识准备
任务实施
项目实训
任务5.3使用Mahout推荐工作岗位
任务描述
任务目标
知识准备
任务实施
项目实训
项目小结
项目6数据的可视化
学习目标
学习情境
任务6.1使用Excel可视化数据
任务描述
任务目标
知识准备
任务实施
项目实训
任务6.2使用ECharts可视化数据
任务描述
任务目标
知识准备
任务实施
项目实训
任务6.3使用D3.js可视化数据
任务描述
任务目标
知识准备
任务实施
项目实训
项目小结
参考文献

文档截图