内容简介

本书结合实际应用介绍神经网络和深度学习等技术领域相关信息，从结构上重点介绍了前馈型神经网络、反馈型神经网络，以及自组织竞争型神经网络，并针对当下深度学习中比较重要的网络进行了详细介绍，包括卷积神经网络、循环（递归）神经网络、深度信念网络、生成对抗网络，以及深度强化学习。本书不仅能让读者对当前神经网络和深度学习技术有体系的认知，更能让读者在人工智能领域进行一些深入思考。

目录

基础篇

第1章 时代崛起 2
1.1 概要 2
    1.1.1 基本概念 2
    1.1.2 深度学习与机器学习的关系 4
    1.1.3 深度学习与人工智能的关系 5
1.2 历史发展 5
    1.2.1 神经网络发展历史 5
    1.2.2 人工智能发展历史 7
 1.3 应用领域 8
    1.3.1 智能个人助理 8
    1.3.2 智能安防 9

    1.3.3 无人驾驶 9
    1.3.4 电商零售 11
    1.3.5 智慧医疗 11
    1.3.6 金融服务 12
    1.3.7 智能教育 13
1.4 未来猜想 14
    1.4.1 人文的快速发展 14
    1.4.2 人类也是“机器人” 14
    1.4.3 新的不平等现象 15
1.5 本章小结 16
第2章 数学理论基础 17
2.1 向量 17
    2.1.1 相关概念 17
    2.1.2 向量的线性相关性 18
    2.1.3 向量的外积 18
    2.1.4 向量夹角与余弦相似性 18
    2.1.5 实例：基于向量夹角的文本相似性分析 19
2.2 矩阵 20
    2.2.1 矩阵乘法 20
    2.2.2 克罗内克积 21
2.3 导数 22
    2.3.1 概述 22
    2.3.2 一般运算法则 22
    2.3.3 链式求导法则 23
2.4 数值计算 23
    2.4.1 误差 23
    2.4.2 距离 24
    2.4.3 数值归一化 26
2.5 概率分布 26
    2.5.1 二项分布 26
    2.5.2 超几何分布 27
    2.5.3 泊松分布 27
    2.5.4 指数分布 28
    2.5.5 正态分布 29
2.6 参数估计 29
    2.6.1 概率 29
    2.6.2 贝叶斯估计 30
    2.6.3 最大似然估计 31
    2.6.4 最大后验估计 32
2.7 回归分析 33
    2.7.1 线性回归 33
    2.7.2 逻辑回归 36
2.8 判定问题 39
    2.8.1 P问题 39
    2.8.2 NP问题 39
    2.8.3 NP-Complete问题 40
    2.8.4 NP-Hard问题 40
2.9 本章小结 41

第3章 机器学习概要 42
3.1 机器学习的类型 42
    3.1.1 有监督学习 42
    3.1.2 无监督学习 43
    3.1.3 强化学习 43
3.2 机器学习中常见的函数 44
    3.2.1 激活函数 44
    3.2.2 损失函数 47
    3.2.3 核函数 48
3.3 机器学习中的重要参数 49
    3.3.1 学习速率 49
    3.3.2 动量系数 50
    3.3.3 偏置项 50
3.4 拟合问题 51
    3.4.1 过拟合现象 51
    3.4.2 欠拟合现象 52
    3.4.3 解决过拟合问题的一般方法 52
    3.4.4 实例：拟合与二元一次方程求解 55
3.5 交叉检验 55
    3.5.1 数据类型种类 55
    3.5.2 留一交叉验证 57
    3.5.3 K折交叉验证 57
3.6 线性可分与不可分 58
3.7 机器学习的学习特征 59
3.8 产生式模型与判别式模型 60
3.9 机器学习效果的一般评价指标 61
3.10 本章小结 63

第4章 神经网络基础 64
4.1 概述 64
    4.1.1 神经网络模型 64
    4.1.2 经典的神经网络结构 65
    4.1.3 一般业务场景中神经网络适应性 66
    4.1.4 神经网络的深度 67
4.2 常见学习方法 67
    4.2.1 误差修正学习 67
    4.2.2 赫布学习规则 68
    4.2.3 最小均方规则 69
    4.2.4 竞争学习规则 70
    4.2.5 其他学习规则 71
4.3 优化方法：梯度下降 72
    4.3.1 概述 72
    4.3.2 梯度下降法 72
    4.3.3 梯度下降的优化算法 74
    4.3.4 梯度消失问题 76
    4.3.5 示例：利用梯度下降法求函数极值 77
4.4 常见的神经网络类型 78
    4.4.1 前馈型神经网络 78
    4.4.2 反馈型神经网络 79
    4.4.3 自组织竞争型神经网络 79
4.5 深度学习中常见的网络类型 80
    4.5.1 卷积神经网络 80
    4.5.2 循环神经网络 80
    4.5.3 深度信念网络 80
    4.5.4 生成对抗网络 81
    4.5.5 深度强化学习 81
4.6 其他神经网络与深度学习 82
    4.6.1 随机神经网络 82
    4.6.2 量子神经网络 82
    4.6.3 迁移学习 82
4.7 深度学习与多层神经网络的关系 83
4.8 调参技巧 84
4.9 本章小结 85

进阶篇

第5章 前馈型神经网络 88
5.1 概述 88
5.2 常见结构 88
5.3 单层感知器网络 89
   5.3.1 原理 89
    5.3.2 网络结构 90
    5.3.3 实例一：基于单层感知器“与”运算 90
    5.3.4 实例二：利用感知器判定零件是否合格 91
5.4 BP神经网络 93
    5.4.1 概述 93
    5.4.2 反向传播算法 93
    5.4.3 异或问题的解决 96
    5.4.4 避免病态结果 98
    5.4.5 实例：基于多层感知器的手写体数字识别 99
5.5 径向基函数神经网络 101
    5.5.1 原理介绍 101
    5.5.2 中心选择方法 102
    5.5.3 训练过程 103
    5.5.4 径向基函数神经网络与BP神经网络的差异 104
5.6 本章小结 105

第6章 反馈型神经网络 107
6.1 概述 107
    6.1.1 基本原理 107
    6.1.2 与前馈型神经网络的差异 108
    6.2 Hopfield神经网络 109
6.3 Elman神经网络 112
    6.3.1 结构组成 112
    6.3.2 学习算法 112
6.4 递归神经网络 113
    6.4.1 产生背景 114
    6.4.2 基本结构 115
    6.4.3 前向计算过程 116
    6.4.4 反向传播：BPTS算法 117
    6.4.5 应用场景 118
    6.4.6 递归神经网络的结构改进 118
    6.4.7 应用实例 121
6.5 本章小结 124

第7章 自组织竞争型神经网络 125
7.1 概述 125
    7.1.1 一般网络模型 125
    7.1.2 工作原理 126
    7.1.3 实例：用竞争学习规则进行模式分类 127
7.2 常见的聚类方法 129
    7.2.1 系统聚类法 129
    7.2.2 基于划分的聚类算法 130
    7.2.3 基于密度的聚类算法 131
    7.2.4 基于层次的聚类算法 132
7.3 自组织映射网络 134
    7.3.1 概述 134
    7.3.2 训练算法 134
    7.3.3 实例：利用自组织映射网络划分城市群 135
    7.3.4 优劣势分析 136
7.4 其他自组织竞争型神经网络 137
    7.4.1 自适应共振理论 137
    7.4.2 对偶传播神经网络 138
7.5 本章小结 139

高阶篇

第8章 卷积神经网络 142
8.1 概述 142
    8.1.1 发展背景 142
    8.1.2 基本概念 143
    8.1.3 基本网络结构 144
8.2 卷积 145
    8.2.1 卷积的物理意义 145
    8.2.2 卷积的理解 145
    8.2.3 卷积的实例 147
8.3 卷积核 148
    8.3.1 卷积核的含义 148
    8.3.2 卷积操作 150
    8.3.3 卷积核的特征 150
8.4 卷积神经网络中各层工作原理 151
    8.4.1 卷积层 151
    8.4.2 下采样层 151
    8.4.3 Softmax层 152
8.5 卷积神经网络的逆向过程 153
8.6 常见卷积神经网络结构 154
    8.6.1 LeNet-5 154
    8.6.2 AlexNet 155
8.7 应用场景与效果评估 157
    8.7.1 场景1：图像分类 157
    8.7.2 场景2：目标检测 158
    8.7.3 场景3：实例分割 159
8.8 Maxout Networks 160
8.9 本章小结 162

第9章 循环神经网络 163
9.1 概述 163
9.2 一般循环神经网络 164
    9.2.1 概述 164
    9.2.2 单向循环神经网络 165
    9.2.3 双向循环神经网络 166
    9.2.4 深度循环神经网络 167
9.3 训练算法：BPTT算法 168
    9.3.1 前向计算 168
    9.3.2 误差项计算 169
    9.3.3 权值梯度计算 169
    9.3.4 梯度爆炸与梯度消失问题 170
9.4 长短时记忆网络 170
    9.4.1 背景 170
    9.4.2 核心思想 171
    9.4.3 详细结构 172
    9.4.4 训练过程 176
    9.4.5 相关变种简介 181
9.5 常见循环神经网络结构 182
    9.5.1 N比N结构 182
    9.5.2 N比1结构 183
    9.5.3 1比N结构 183
     9.5.4 N比M结构 184
9.6 与自然语言处理结合 185
9.7 实例：文本自动生成 186
9.8 本章小结 187

第10章 深度信念网络 188
10.1 概要 188
    10.1.1 背景 188
    10.1.2 基本结构 188
10.2 受限玻尔兹曼机 190
    10.2.1 概述 190
    10.2.2 逻辑结构 192
    10.2.3 对比分歧算法 194
10.3 训练过程 194
    10.3.1 工作流程 194
    10.3.2 调优过程 195
10.4 本章小结 196

第11章 生成对抗网络 197
11.1 概述 197
    11.1.1 背景概要 197
    11.1.2 核心思想 198
    11.1.3 基本工作流程 199
11.2 朴素生成对抗网络 201
    11.2.1 网络结构 201
    11.2.2 实例：基于朴素生成对抗网络生成手写体数字 203
11.3 深度卷积生成对抗网络 206
    11.3.1 产生背景 206
    11.3.2 模型改进 206
    11.3.3 网络结构 207
    11.3.4 实例：基于深度卷积对抗网络生成手写体数字 208
11.4 条件生成对抗网络 212
    11.4.1 网络结构 212
    11.4.2 实例：CGAN结合DCGAN生成手写体数字 213
11.5 瓦瑟斯坦生成对抗网络 214
    11.5.1 概述 214
    11.5.2 差异化 215
    11.5.3 实例：WGAN结合DCGAN生成手写体数字 216
11.6 生成对抗网络的探索 217
    11.6.1 价值与意义 217
    11.6.2 面临的问题 218
    11.6.3 应用场景示例 218
    11.6.4 未来探索 220
11.7 本章小结 220
第12章 深度强化学习 221
12.1 概述 221
    12.1.1 概要 221
    12.1.2 基本原理 222
12.2 马尔科夫决策过程 223
    12.2.1 马尔科夫过程 223
    12.2.2 隐马尔科夫模型 224
    12.2.3 马尔科夫决策过程 225
12.3 深度强化学习算法 229
    12.3.1 DQN算法 229
    12.3.2 A3C算法 231
    12.3.3 UNREAL算法 231
12.4 强化学习的探索 232
    12.4.1 应用场景探索 232
    12.4.2 面临的问题 233
12.5 本章小结 234

文档截图