内容简介

随着数据科学的热门，数据的优化、整理以及如何处理不良数据成为人们关注的重点。本书通过处理不良数据，进行数据清理的案例，向读者展示了处理数据的方法。本书共有19章，从6部分向读者展示了使用和清理不良数据背后的理论和实践。第1部分是Grubby的动手实践指南，它向读者介绍了驾驭、提取数据的方法，如何处理文本数据中的数据以及Web开发中碰到的数据问题。第2部分是让人充满意外的数据，它向读者介绍了数据也会“撒谎”。第3部分是方法，它向读者介绍了处理不良数据的一些方法。第4部分是数据存储和基础设施，它向读者介绍了如何存储数据。第5部分是数据的商业化，它向读者介绍了如何避免数据处理的一些误差。第6部分是数据策略，它向读者介绍了如何追踪数据、评估数据质量以及构建数据质量相关平台等。本书适合数据科学家、数据处理和整理相关开发人员阅读。也适合想要进入数据处理领域的读者阅读。

作者简介

Q．Ethan McCallum 是一位顾问、作家，也是一名科技爱好者。他帮助很多公司在数据和技术方面做出明智的决策，他为The O’Relly Network 和Java.net撰写文章，并且为《C/C++Users Journal》《Doctor Dobb’s Journal》和《Linux Magazine》撰稿。

目录

第1章 从头说起：什么是噪音数据 1
第2章 是我的问题还是数据的问题 4
2.1 理解数据结构 5
2.2 校验 8
2.2.1 字段校验 8
2.2.2 值校验 9
2.2.3 简单统计的物理解释 10
2.3 可视化 11
2.3.1 关键词竞价排名示例 13
2.3.2 搜索来源示例 18
2.3.3 推荐分析 19
2.3.4 时间序列数据 22
2.4 小结 27
第3章 数据是给人看的不是给机器看的 28
3.1 数据 28
3.1.1 问题：数据是给人看的 29
3.1.2 对数据的安排 29
3.1.3 数据分散在多个文件中 32
3.2 解决方案：编写代码 34
3.2.1 从糟糕的数据格式中读取数据 34
3.2.2 从多个文件中读取数据 36
3.3 附言 42
3.4 其他格式 43
3.5 小结 45
第4章 纯文本中潜在的噪音数据 46
4.1 使用哪种纯文本编码？ 46
4.2 猜测文本编码格式 50
4.3 对文本规范化处理 53
4.4 问题：在纯文本中掺入了特定应用字符 55
4.5 通过Python处理文本 59
4.6 实践练习题 60
第5章 重组Web数据 62
5.1 你能获得数据吗 63
5.1.1 一般工作流程示例 64
5.1.2 Robots 协议 65
5.1.3 识别数据组织模式 66
5.1.4 存储离线版本 68
5.1.5 网页抓取信息 69
5.2 真正的困难 73
5.2.1 下载原始内容 73
5.2.2 表单、对话框和新建窗口 73
5.2.3 Flash 74
5.3 不利情况的解决办法 75
5.4 小结 75
第6章 检测撒谎者以及相互矛盾网上评论的困惑 76
6.1 Weotta公司 76
6.2 获得评论 77
6.3 情感分类 77
6.4 极化语言 78
6.5 创建语料库 80
6.6 训练分类器 81
6.7 分类器验证 82
6.8 用数据设计 84
6.9 经验教训 84
6.10 小结 85
6.11 信息资源 86
第7章 请噪音数据站出