提交 4ee75540 编写于 作者: S sonettofighting

2020-05-29 13:46:44

上级 6cb9ca1f
# 第四章 解释模型
实现可解释性的最简单方法是只使用创建可解释模型的算法子集。线性回归、逻辑回归和决策树是常用的可解释模型。
实现可解释性的最简单方法是只使用创建可解释模型算法的子集。线性回归、逻辑回归和决策树是常用的可解释模型。
在下面的章节中,我们将讨论这些模型。不详细,只有基础知识,因为已经有大量的书、视频、教程、论文和更多可用的材料。我们将关注如何解释模型。这本书讨论得很详细。它还列出了
在下面的章节中,我们将讨论这些模型。但是不详细展开,只描述基础知识,因为已经有大量的书、视频、教程、论文和其他可用的材料。我们将关注如何解释模型。这本书更加详细地讨论了线性回归,逻辑斯蒂回归,以及其他线性回归的拓展,决策树,决策规则以及ReluFit算法。它同时也列举了其他的一些可解释模型
除 k-最近邻法外,本书中解释的所有可解释模型都可以在模块级别上解释。下表概述了可解释的模型类型及其属性。如果特征和目标之间的关联是线性的,那么模型就是线性的。具有单调性约束的模型确保特征和目标结果之间的关系在整个特征范围内始终朝着相同的方向:特征值的增加要么总是导致目标结果的增加,要么总是导致目标结果的减少。单调性对于模型的解释是有用的,因为它使理解关系变得更容易。一些模型可以自动包含功能之间的交互,以预测目标结果。通过手动创建交互功能,可以将交互包括在任何类型的模型中。交互可以提高预测性能,但太多或太复杂的交互可能会损害可解释性。有些模型只处理回归,有些只处理分类,还有一些模型两者都处理。
除 k-最近邻法外,本书中所有的可解释模型在模块水平上都是可以被解释的。下表概述了可解释的模型类型及其属性。如果特征和目标之间的关联是线性的,那么模型就是线性的。具有单调性约束的模型确保每个特征和目标结果之间的关系在整个特征范围内始终朝着相同的方向前进:特征值的增加要么总是导致目标结果的增加,要么总是导致目标结果的减少。单调性对于模型的解释是有用的,因为它使理解关系变得更容易。一些模型能够自动地包括特征值之间的交互,以达到预测目标结果的目的。通过自己手动地创造交互特征,可以将交互包括在任何类型的模型中。虽然交互可以提高预测性能,但是太多或太复杂的交互可能会损害模型的可解释性。有些模型只处理回归,有些只处理分类,还有一些模型两者都处理。
从这个表中,您可以为您的任务选择一个合适的可解释模型,回归(regr)或分类(class):
算法 LinearMonotoneInteractionOnTask
| 算法 | 线性 | 单调性 | 交互性 | 任务 |
| ------------ | ---- | ------ | ------ | ---------- |
| 线性回归 | 是 | 是 | 否 | 回归 |
| 逻辑斯蒂回归 | 否 | 是 | 否 | 分类 |
| 决策树 | 否 | 一些是 | 是 | 分类,回归 |
| RuleFit | 是 | 否 | 是 | 分类,回归 |
| 朴素贝叶斯 | 否 | 是 | 否 | 分类 |
| K近邻 | 否 | 否 | 否 | 分类,回归 |
| 线性回归是的 | 是的 | 不 | 雷格 |
| ------------ | ---- | ---- | -------- |
| 逻辑回归否 | 是的 | 不 | 班 |
| 决策树否 | 一些 | 是的 | 类,regr |
| 规则匹配是 | 不 | 是的 | 类,regr |
| 天真的拜斯不 | 是的 | 不 | 班 |
| K-最近的邻居 | 不 | 不 | 类,regr |
4.1 线性回归
## 4.1 线性回归
线性回归模型将目标预测为特征输入的加权和。所学关系的线性使解释变得容易。长期以来,统计学家、计算机科学家和其他解决定量问题的人都使用线性回归模型。
线性模型可用于模拟回归目标 y 对某些特征 x 的依赖性。所学关系是线性的,可以针对单个实例 i 编写如下:
\[Y=0+β1 x 1+ldots+p x p+epsilon\]
实例的预测结果是其 p 特征的加权和。betas(\(\ beta j \)表示学习的特征权重或系数。总和中的第一个权重(\(\β\u 0\)称为截距,不与特征相乘。epsilon(\(\ epsilon\)是我们仍然犯的错误,即预测与实际结果之间的差异。假设这些误差服从高斯分布,这意味着我们在正负方向上都会产生误差,并且会产生许多小的误差和很少的大的误差。
$$
[Y=β_0+β_1 x1+...+β_px_p+\epsilon]
$$
实例的预测结果是其 p 特征的加权和。betas(βj)表示学习的特征权重或系数。总和中的第一个权重(β0)称为截距,不与特征相乘。epsilon(ϵ)是我们仍然犯的错误,即预测与实际结果之间的差异。假设这些误差服从高斯分布,这意味着我们在正负方向上都会产生误差,并且会产生许多小的误差和很少的大的误差。
可以使用各种方法来估计最佳权重。通常使用普通最小二乘法来找到最小化实际结果和估计结果之间平方差的权重:
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册