Flume日志收集与MapReduce模式【PDF】【27.91MB】
内容简介
本书分为上下两篇,其中上篇介绍了HDFS以及流式数据/日志的问题,同时还谈到了Flume是如何解决这些问题的。本书展示了Flume的架构,包括将数据移动到数据库中以及从数据库中获取数据、NoSQL数据存储和性能调优。对于各个架构组件(源、通道、接收器、通道处理器、接收器组等),都提供了详尽的各种实现以及配置选项,你可以借此根据自己的需要来定制Flume。同时,还介绍了如何编写自定义的实现,这将有助于你的学习与实现。下篇简洁明快地介绍了Hadoop以及如何使用MapReduce进行编程,旨在帮助读者快速起步并对使用Hadoop进行编程有个总体的认识,通过本书的学习,你将具备坚实的基础并可以解决遇到的各种MapReduce问题。
目录
译者序
前 言
上篇 Flume日志收集
第1章 概览与架构
1.1 Flume 0.9
1.2 Flume 1.X(Flume-NG)
1.3 HDFS与流式数据/日志的问题
1.4 源、通道与接收器
1.5 Flume事件
1.5.1 拦截器、通道选择器与选择处理器
1.5.2 分层数据收集(多数据流与代理)
1.6 小结
第2章 Flume快速起步
2.1 下载Flume
2.2 Flume配置文件概览
2.3 从“Hello World”开始
2.4 小结
第3章 通道
3.1 内存通道
3.2 文件通道
3.3 小结
第4章 接收器与接收处理器
4.1 HDFS接收器
4.1.1 路径与文件名
4.1.2 文件转储
4.2 压缩编解码器
4.3 事件序列化器
4.3.1 文本输出
4.3.2 带有头信息的文本
4.3.3 Apache Avro
4.3.4 文件类型
4.3.5 超时设置与线程池
4.4 接收器组
4.4.1 负载均衡
4.4.2 故障恢复
4.5 小结
第5章 源与通道选择器
5.1 使用tail的问题
5.2 exec源
5.3 假脱机目录源
5.4 syslog源
5.4.1 syslog UDP源
5.4.2 syslog TCP源
5.4.3 多端口syslog TCP源
5.5 通道选择器
5.5.1 复制
5.5.2 多路复用
5.6 小结
第6章 拦截器、ETL与路由
6.1 拦截器
6.1.1 Timestamp
6.1.2 Host
6.1.3 Static
6.1.4 正则表达式过滤
6.1.5 正则表达式抽取
6.1.6 自定义拦截器
6.2 数据流分层
6.2.1 Avro源/接收器
6.2.2 命令行Avro
6.2.3 Log4J追加器
6.2.4 负载均衡Log4J追加器
6.3 路由
6.4 小结
第7章 监控Flume
7.1 监控代理进程
7.1.1 Monit
7.1.2 Nagios
7.2 监控性能度量情况
7.2.1 Ganglia
7.2.2 内部HTTP服务器
7.2.3 自定义监控钩子
7.3 小结
第8章 万法皆空——实时分布式数据收集的现状
8.1 传输时间与日志事件
8.2 万恶的时区
8.3 容量规划
8.4 多数据中心的注意事项
8.5 合规性与数据失效
8.6 小结
下篇 MapReduce模式
第9章 使用Java编写一个单词统计应用(初级)
9.1 准备工作
9.2 操作步骤
9.3 示例说明
第10章 使用MapReduce编写一个单词统计应用并运行(初级)
10.1 准备工作
10.2 操作步骤
10.3 示例说明
10.4 补充说明
第11章 在分布式环境中安装Hadoop并运行单词统计应用(初级)
11.1 准备工作
11.2 操作步骤
11.3 示例说明
第12章 编写格式化器(中级)
12.1 准备工作
12.2 操作步骤
12.3 示例说明
12.4 补充说明
第13章 分析——使用MapReduce绘制频度分布(中级)
13.1 准备工作
13.2 操作步骤
13.3 示例说明
13.4 补充说明
第14章 关系操作——使用MapReduce连接两个数据集(高级)
14.1 准备工作
14.2 操作步骤
14.3 示例说明
14.4 补充说明
第15章 使用MapReduce实现集合操作(中级)
15.1 准备工作
15.2 操作步骤
15.3 示例说明
15.4 补充说明
第16章 使用MapReduce实现交叉相关(中级)
16.1 准备工作
16.2 操作步骤
16.3 示例说明
16.4 补充说明
第17章 使用MapReduce实现简单搜索(中级)
17.1 准备工作
17.2 操作步骤
17.3 示例说明
17.4 补充说明
第18章 使用MapReduce实现简单的图操作(高级)
18.1 准备工作
18.2 操作步骤
18.3 示例说明
18.4 补充说明
第19章 使用MapReduce实现Kmeans(高级)
19.1 准备工作
19.2 操作步骤
19.3 示例说明
19.4 补充说明
文档截图
一、推荐使用迅雷或快车等多线程下载软件下载本站资源。
二、未登录会员无法下载,登录后可获得更多便利功能,若未注册,请先注册。
三、如果服务器暂不能下载请稍后重试!总是不能下载,请点我报错 ,谢谢合作!
四、本站大部分资源是网上搜集或私下交流学习之用,任何涉及商业盈利目的均不得使用,否则产生的一切后果将由您自己承担!本站将不对任何资源负法律责任.如果您发现本站有部分资源侵害了您的权益,请速与我们联系,我们将尽快处理.
五、如有其他问题,请加网站设计交流群(点击这里查看交流群 )进行交流。
六、如需转载本站资源,请注明转载来自并附带链接
七、本站部分资源为加密压缩文件,统一解压密码为:www.aizhanzhe.com
- 1尚硅谷前端学科全套视频[AVI][130.72GB]
- 2深入理解php:高级技巧、面向对象与核心技术(原书第3版) 【PDF】
- 3开发高质量PHP框架与应用的实际案例解析【PDF】
- 4响应式Web图形设计 ([美]Christopher Schmitt) 中文【PDF】
- 5响应式Web设计:HTML5和CSS3实践指南【PDF】
- 6响应式Web设计:HTML5和CSS3实战 第2版 (本·弗莱恩) 中文【PDF】
- 7Axure RP8 实战手册 网站和APP原型制作案例精粹(小楼一夜听春语) 试读版【PDF】【15.4MB】
- 8[马上学Android]安卓开发视频教程
- 9Android开发视频教程
- 10PHP100视频教程
- 1Java编程思想On Java 8[PDF][中文][英文][源码][15.31MB]
- 2PostgreSQL实战 (谭峰等著)【PDF】【221.29MB】
- 3【机器学习】菜菜的sklearn课堂(1-12全课)[PDF][源码][157.45MB]
- 4UNREAL ENGINE 4蓝图完全学习教程[PDF][66.67MB]
- 5加密与解密(第4版)[PDF][光盘源码][1.15GB]
- 6Qt 5.9 C++开发指南[PDF][276.26MB]
- 7Python数据分析与应用PPT、教案、实训数据、习题答案[PPT][142.49MB]
- 8数据中台:让数据用起来[PDF][12.80MB]
- 9计算机网络:自顶向下方法(第7版) 【PDF】【英文】【17.46MB】
- 10大话5G:走进万物互联新时代【PDF】【37.31MB】