Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
大唐爆破僧
apachecn-dl-zh
提交
1d1490f6
A
apachecn-dl-zh
项目概览
大唐爆破僧
/
apachecn-dl-zh
与 Fork 源项目一致
Fork自
OpenDocCN / apachecn-dl-zh
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
A
apachecn-dl-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
1d1490f6
编写于
8月 06, 2020
作者:
W
wizardforcel
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
2020-08-06 18:45:10
上级
7291d7a0
变更
4
隐藏空白更改
内联
并排
Showing
4 changed file
with
8 addition
and
8 deletion
+8
-8
docs/dl-tf-2e-zh/SUMMARY.md
docs/dl-tf-2e-zh/SUMMARY.md
+2
-2
docs/dl-tf-2e-zh/ch06.md
docs/dl-tf-2e-zh/ch06.md
+3
-3
docs/dl-tf-2e-zh/ch07.md
docs/dl-tf-2e-zh/ch07.md
+1
-1
sidebar.md
sidebar.md
+2
-2
未找到文件。
docs/dl-tf-2e-zh/SUMMARY.md
浏览文件 @
1d1490f6
...
@@ -4,8 +4,8 @@
...
@@ -4,8 +4,8 @@
+
[
三、实现前馈神经网络
](
ch03.md
)
+
[
三、实现前馈神经网络
](
ch03.md
)
+
[
四、CNN 实战
](
ch04.md
)
+
[
四、CNN 实战
](
ch04.md
)
+
[
五、使用 TensorFlow 实现自编码器
](
ch05.md
)
+
[
五、使用 TensorFlow 实现自编码器
](
ch05.md
)
+
[
六、RNN 和梯度消失
-
爆炸问题
](
ch06.md
)
+
[
六、RNN 和梯度消失
或
爆炸问题
](
ch06.md
)
+
[
七、TensorFlow GPU
设
置
](
ch07.md
)
+
[
七、TensorFlow GPU
配
置
](
ch07.md
)
+
[
八、TFLearn
](
ch08.md
)
+
[
八、TFLearn
](
ch08.md
)
+
[
九、使用协同过滤的电影推荐
](
ch09.md
)
+
[
九、使用协同过滤的电影推荐
](
ch09.md
)
+
[
十、OpenAI Gym
](
ch10.md
)
+
[
十、OpenAI Gym
](
ch10.md
)
docs/dl-tf-2e-zh/ch06.md
浏览文件 @
1d1490f6
# 六、RNN 和梯度消失
-
爆炸问题
# 六、RNN 和梯度消失
或
爆炸问题
较深层的梯度计算为多层网络中许多激活函数梯度的乘积。当这些梯度很小或为零时,它很容易消失。另一方面,当它们大于 1 时,它可能会爆炸。因此,计算和更新变得非常困难。
较深层的梯度计算为多层网络中许多激活函数梯度的乘积。当这些梯度很小或为零时,它很容易消失。另一方面,当它们大于 1 时,它可能会爆炸。因此,计算和更新变得非常困难。
...
@@ -7,7 +7,7 @@
...
@@ -7,7 +7,7 @@
*
如果权重较小,则可能导致称为消失梯度的情况,其中梯度信号变得非常小,以至于学习变得非常慢或完全停止工作。这通常被称为消失梯度。
*
如果权重较小,则可能导致称为消失梯度的情况,其中梯度信号变得非常小,以至于学习变得非常慢或完全停止工作。这通常被称为消失梯度。
*
如果该矩阵中的权重很大,则可能导致梯度信号太大而导致学习发散的情况。这通常被称为爆炸梯度。
*
如果该矩阵中的权重很大,则可能导致梯度信号太大而导致学习发散的情况。这通常被称为爆炸梯度。
因此,RNN 的一个主要问题是消失
-
爆炸梯度问题,它直接影响表现。事实上,反向传播时间推出了 RNN,创建了一个非常深的前馈神经网络。从 RNN 获得长期背景的不可能性正是由于这种现象:如果梯度在几层内消失或爆炸,网络将无法学习数据之间的高时间距离关系。
因此,RNN 的一个主要问题是消失
或
爆炸梯度问题,它直接影响表现。事实上,反向传播时间推出了 RNN,创建了一个非常深的前馈神经网络。从 RNN 获得长期背景的不可能性正是由于这种现象:如果梯度在几层内消失或爆炸,网络将无法学习数据之间的高时间距离关系。
下图显示了发生的情况:计算和反向传播的梯度趋于在每个时刻减少(或增加),然后,在一定数量的时刻之后,成本函数趋于收敛到零(或爆炸到无穷大) )。
下图显示了发生的情况:计算和反向传播的梯度趋于在每个时刻减少(或增加),然后,在一定数量的时刻之后,成本函数趋于收敛到零(或爆炸到无穷大) )。
...
@@ -72,7 +72,7 @@
...
@@ -72,7 +72,7 @@
而且,它取决于循环层的参数
`θ`
。如果在训练期间你的权重变大,那么由于每个时间步长的等式(I)(II)的乘法,它们将会出现梯度爆炸的问题。
而且,它取决于循环层的参数
`θ`
。如果在训练期间你的权重变大,那么由于每个时间步长的等式(I)(II)的乘法,它们将会出现梯度爆炸的问题。
为了克服消失
-
爆炸问题,已经提出了基本 RNN 模型的各种扩展。将在下一节介绍的 LSTM 网络就是其中之一。
为了克服消失
或
爆炸问题,已经提出了基本 RNN 模型的各种扩展。将在下一节介绍的 LSTM 网络就是其中之一。
## LSTM 网络
## LSTM 网络
...
...
docs/dl-tf-2e-zh/ch07.md
浏览文件 @
1d1490f6
# 七、TensorFlow GPU
设
置
# 七、TensorFlow GPU
配
置
要将 TensorFlow 与 NVIDIA GPU 配合使用,第一步是安装 CUDA Toolkit。
要将 TensorFlow 与 NVIDIA GPU 配合使用,第一步是安装 CUDA Toolkit。
...
...
sidebar.md
浏览文件 @
1d1490f6
...
@@ -15,8 +15,8 @@
...
@@ -15,8 +15,8 @@
+
[
三、实现前馈神经网络
](
docs/dl-tf-2e-zh/ch03.md
)
+
[
三、实现前馈神经网络
](
docs/dl-tf-2e-zh/ch03.md
)
+
[
四、CNN 实战
](
docs/dl-tf-2e-zh/ch04.md
)
+
[
四、CNN 实战
](
docs/dl-tf-2e-zh/ch04.md
)
+
[
五、使用 TensorFlow 实现自编码器
](
docs/dl-tf-2e-zh/ch05.md
)
+
[
五、使用 TensorFlow 实现自编码器
](
docs/dl-tf-2e-zh/ch05.md
)
+
[
六、RNN 和梯度消失
-
爆炸问题
](
docs/dl-tf-2e-zh/ch06.md
)
+
[
六、RNN 和梯度消失
或
爆炸问题
](
docs/dl-tf-2e-zh/ch06.md
)
+
[
七、TensorFlow GPU
设
置
](
docs/dl-tf-2e-zh/ch07.md
)
+
[
七、TensorFlow GPU
配
置
](
docs/dl-tf-2e-zh/ch07.md
)
+
[
八、TFLearn
](
docs/dl-tf-2e-zh/ch08.md
)
+
[
八、TFLearn
](
docs/dl-tf-2e-zh/ch08.md
)
+
[
九、使用协同过滤的电影推荐
](
docs/dl-tf-2e-zh/ch09.md
)
+
[
九、使用协同过滤的电影推荐
](
docs/dl-tf-2e-zh/ch09.md
)
+
[
十、OpenAI Gym
](
docs/dl-tf-2e-zh/ch10.md
)
+
[
十、OpenAI Gym
](
docs/dl-tf-2e-zh/ch10.md
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录