7.md

# 第七章 神经网络解释

本章目前仅在 Web 版本中可用。接下来是电子书和印刷品。

接下来的章节重点介绍神经网络的解释方法。这些方法将神经网络学习到的特征和概念可视化，解释个别的预测并简化神经网络。

深度学习非常成功，尤其是在涉及图像和文本的任务中，如图像分类和语言翻译。深度神经网络的成功故事始于 2012 年，当时图像网图像分类挑战是通过深度学习方法赢得的。从那时起，我们见证了寒武纪深层神经网络体系结构的爆炸，随着越来越多的权重参数向深层网络发展。

为了用神经网络进行预测，输入的数据通过多层乘法和非线性变换传递。根据神经网络的结构，单个预测可能涉及数百万个数学运算。我们人类不可能遵循从数据输入到预测的精确映射。为了理解神经网络的预测，我们必须考虑数百万个以复杂方式相互作用的权重。为了解释神经网络的行为和预测，我们需要具体的解释方法。本章假设您熟悉深度学习，包括卷积神经网络。

我们当然可以使用如或的方法，但有两个原因可以解释为什么要考虑专门为神经网络开发的解释方法：首先，神经网络学习隐藏层中的特征和概念，我们需要特殊的工具来发现它们。第二，梯度可以用来实现比模型不可知论方法（从外部看模型）更有效的解释方法。另外，本书中的大多数其他方法都是为了解释表格数据的模型。图像和文本数据需要不同的方法。

下一章包括以下主题：

•  ：神经网络学习了哪些功能？从与功能可视化密切相关的：我们如何操作输入以获得错误的分类？

•  （进行中）：神经网络学习了哪些更抽象的概念？

•  （进行中）：每个输入是如何促进特定预测的？

•  （进行中）：我们如何用更简单的模型解释神经网络？

![img](file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image003.gif)

1。奥尔加·鲁萨科夫斯基、贾邓、郝苏、乔纳森·克劳斯、桑吉夫·萨蒂什、肖恩·马，

黄志恒，卡尔帕蒂，科斯拉，伯恩斯坦，伯格和李

菲菲。（*=贡献均等）ImageNet 大规模视觉识别挑战。IJCV，

二千零一十五

7.1 功能可视化

本章目前仅在 Web 版本中可用。接下来是电子书和印刷品。

卷积神经网络从原始图像像素学习抽象特征。特征可视化方法的目的是通过生成最大限度地激活训练卷积神经网络单元的图像来实现这些特征的可视化。

深层神经网络的最大优点之一是它们能自动学习隐藏层中的高级特征。这部分地减少了对特性工程的需求。假设您希望使用支持向量机构建图像分类器。原始像素矩阵不是培训 SVM 的最佳输入，因此您可以创建基于颜色、频域、边缘检测器等的新功能。利用卷积神经网络，将图像以原始形式（像素）送入网络，进行多次变换，首先通过多个卷积层，然后通过完全连接的层，并转化为分类或预测。在训练过程中，卷积神经网络在其层次上学习新的、越来越复杂的特征。

图 7.1：通过在 ImageNet 数据上训练的卷积神经网络（起始 v1）学习的特征。这些特征包括从低卷积层（左）中的简单特征到高卷积层（右）中的更抽象特征。来自 Olah 等人的图 2017 年（CCBY 4.0）。

•  第一个卷积层学习边缘和简单纹理等特征。

•  后来卷积层学习更复杂的纹理和图案等特征。

•  最后一个卷积层学习对象或对象部分等特征。

•  完全连接的层学习将激活从高级功能连接到要预测的单个类。

凉爽的。但我们如何才能真正得到这些幻觉图像呢？

使学习的特征显式化的方法称为特征可视化。神经网络的一个单元的特征可视化是通过找到最大限度地激活该单元的输入来实现的。“单位”是指单个神经元、整个特征图、整个（卷积）层或分类中的最终类概率（或推荐的相应的前 Softmax 神经元）。单个神经元是网络的原子单位，因此我们可以通过为每个神经元创建特征可视化来获取最多的信息。但有一个问题：神经网络通常包含数百万个神经元，观察每个神经元的特征可视化需要很长时间。通道（有时称为激活映射）作为单元是功能可视化的一个很好的选择。我们可以更进一步，想象一个完整的卷积层。层作为一个单元被用于谷歌的 deepdream，它反复地将一个层的可视化特性添加到原始图像中，从而产生一个梦幻般的输入版本。

图 7.2：可以对不同的单元进行功能可视化。a）卷积神经元，b）

卷积通道，c）卷积层，d）神经元，e）隐层，f）类概率神经元（或对应的前 Softmax 神经元）

7.1.1 优化功能可视化

在数学术语中，特征可视化是一个优化问题。我们假设神经网络的权重是固定的，这意味着网络是经过训练的。我们正在寻找一个新的图像，它可以最大化一个单元的（平均）激活，这里是一个神经元：

\[img^*=\arg\max img h n，x，y，z（img）\]

函数（h）是神经元的激活，img 是网络的输入（图像），x 和 y 描述神经元的空间位置，n 指定层，z 是通道索引。对于 n 层中整个通道 z 的平均激活，我们最大化：

\[img^*=\arg\max img \ sum x，y h n，x，y，z（img）\]

在这个公式中，Z 通道中的所有神经元都具有相同的权重。或者，你也可以最大化随机方向，这意味着神经元将被不同的参数所乘，包括负方向。通过这种方式，我们研究神经元如何在通道内相互作用。除了最大化激活，您还可以最小化激活（对应于最大化负方向）。有趣的是，当你把负方向最大化时，你会得到同一个单元非常不同的特性：

图 7.3：混合层 4d pre relu 中起始 v1 神经元 484 的正（左）和负（右）激活。当神经元被轮子最大限度地激活时，似乎有眼睛的东西会产生负的激活。代码：

我们可以用不同的方法来解决这个优化问题。首先，我们为什么要生成新的图像？我们可以简单地搜索我们的训练图像，并选择那些最大化激活的图像。这是一种有效的方法，但是使用训练数据有一个问题，即图像上的元素可以相互关联，我们看不到神经网络真正在寻找什么。如果某个通道的高激活率图像显示狗和网球，我们不知道神经网络是看狗还是看网球，或者两者都看。

另一种方法是从随机噪声开始生成新的图像。为了获得有意义的可视化效果，通常对图像有限制，例如只允许进行小的更改。为了减少特征可视化中的噪声，可以在优化步骤之前对图像应用抖动、旋转或缩放。其他正则化选项包括频率惩罚（例如减少相邻像素的方差）或生成具有已知优先级的图像，例如生成对抗网络（gans）或去噪自动编码器。

图 7.4：从随机图像到最大化激活的迭代优化。Olah 等人 2017 年（CC-BY 4.0）

7.1.2 与对抗性示例的连接

在特征可视化和两种技术之间有一个联系，即最大限度地激活神经网络单元。对于对抗性的例子，我们寻找对抗性（错误）类神经元的最大激活。一个区别是我们从图像开始：对于对抗性的例子，它是我们想要为其生成对抗性图像的图像。对于特征可视化，根据方法，它是随机噪声。

7.1.3 文本和表格数据

本文主要研究卷积神经网络在图像识别中的特征可视化。从技术上讲，没有什么可以阻止您找到最大限度地激活表格数据完全连接的神经网络的神经元或文本数据的循环神经网络的输入。您可能不再称它为功能可视化，因为“功能”将是表格数据输入或文本。对于信用违约预测，输入可能是先前信用的数量、移动合同的数量、地址和几十个其他功能。一个神经元的习得特征将是几十个特征的某种组合。对于复发性神经网络而言，更好地可视化网络学习的内容：Karpathy 等人（2015 年）表明，复发性神经网络确实具有学习可解释特征的神经元。他们训练了一个角色级别的模型，该模型从前面的角色预测序列中的下一个角色。一旦出现一个开放性支撑“（发生时，其中一个神经元被高度激活，并在匹配的闭合支架时被解除激活”）。其他的神经元在一条线的末端激发。一些神经元在 URL 中激活。与 CNN 的特征可视化不同的是，这些例子是通过优化发现的，但是通过研究训练数据中的神经元激活。

7.1.4 优势

•  特征可视化使人们对神经网络的工作有了独特的认识，特别是对于图像识别。鉴于神经网络的复杂性和不透明性，特征可视化是分析和描述神经网络的重要步骤。通过特征可视化，我们了解到神经网络首先学习简单的边缘和纹理检测器以及更高层次的抽象部分和对象。

•  特征可视化是一个很好的工具，可以以一种非技术性的方式交流神经网络的工作方式。

•  特征可视化可以与特征属性方法相结合，解释哪些像素对分类很重要。这两种方法的结合可以解释单个分类，以及与分类相关的学习特性的局部可视化。见

•  最后，功能可视化可以制作出很好的桌面壁纸和 T 恤。

7.1.5 缺点

•  许多特征可视化图像是完全无法解释的，但包含一些抽象的特征，我们没有文字或心理概念。功能可视化和培训数据的显示会有所帮助。这些图像可能还不能揭示神经网络的反应，只能显示“也许图像中一定有黄色的东西”。

•  有太多的单元需要查看，即使“仅”可视化通道激活。对于初始版本 1，已经有超过 5000 个来自 9 个卷积层的信道。如果您还想显示负激活加上一些训练数据中最大或最小激活频道的图像（比如 4 个正、4 个负图像），那么您必须已经显示超过 50000 个图像。你甚至还没有开始研究随机的方向或者为激活频道创建一组不同的多个图像。

•  可解释性错觉？这些图像可以传达一种错觉，即我们理解神经网络在做什么。但是我们真的了解神经网络里发生了什么吗？即使我们看到成百上千的特征可视化，我们也无法理解神经网络。神经网络仍然是不可理解的：神经元以复杂的方式相互作用，正激活和负激活是不相关的，多个神经元可能学习非常相似的特征，对于许多特征，我们没有同等的人类概念。我们不能陷入相信我们完全理解神经网络的陷阱，因为我们相信我们看到第 7 层的 349 神经元被雏菊激活。

7.1.6 软件和其他材料

功能可视化有一个开源实现，叫做你可以通过使用 LucidGithub 页面上提供的笔记本链接在你的浏览器中方便地尝试它。不需要额外的软件。

如果你想更深入地研究功能可视化，可以看看 district.pub 在线期刊，尤其是 Olah 等人的功能可视化文章。从中我使用了许多图像，以及关于可解释性的构建块。

![img](file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image001.gif)

\1.    Nguyen，Anh 等人“通过 DeepGenerator 网络合成神经网络中神经元的首选输入。”神经信息处理系统的进展。2016。

\2.    Nguyen，Anh 等人“即插即用生成网络：潜在空间中图像的条件迭代生成”，《IEEE 计算机视觉和模式识别会议论文集》。2017。

\3.    Karpathy、Andrej、Justin Johnson 和 Li Fei Fei。“可视化和理解递归网络”，arxiv 预印 arxiv:1506.02078（2015）。

\4.    Olah 等人，“特征可视化”，蒸馏，2017 年。

\5.    Olah，et al.，“可解释性的基石”，蒸馏，2018 年。