Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
sklearn-doc-zh
提交
90fea181
S
sklearn-doc-zh
项目概览
OpenDocCN
/
sklearn-doc-zh
通知
3
Star
3
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
S
sklearn-doc-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
90fea181
编写于
8月 08, 2019
作者:
H
Hanmin Qin
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
1.3 内核岭回归
上级
1ae7aa2f
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
4 addition
and
3 deletion
+4
-3
docs/0.21.3/4.md
docs/0.21.3/4.md
+4
-3
未找到文件。
docs/0.21.3/4.md
浏览文件 @
90fea181
...
...
@@ -3,18 +3,19 @@
校验者:
[
@不吃曲奇的趣多多
](
https://github.com/apachecn/scikit-learn-doc-zh
)
[
@Loopy
](
https://github.com/loopyme
)
[
@qinhanmin2014
](
https://github.com/qinhanmin2014
)
翻译者:
[
@Counting stars
](
https://github.com/apachecn/scikit-learn-doc-zh
)
内核岭回归(Kernel ridge regression-KRR)
[
1] 由使用内核方法的[岭回归
](
/docs/2?id=_112-岭回归
)
(使用 l2 正则化的最小二乘法)所组成。因此,它所拟合到的在空间中不同的线性函数是由不同的内核和数据所导致的。对于非线性的内核,它与原始空间中的非线性函数相对应。
由
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
学习的模型的形式与支持向量回归(
`SVR`
) 是一样的。但是他们使用不同的损失函数:内核岭回归(KRR)使用 squared error loss (平方误差损失函数)而 support vector regression (支持向量回归)(SVR)使用 !
[
\epsilon
](
img/58ef9e1b5d2ee139dcb588a3879ca1a6.jpg
)
-insensitive loss ( ε-不敏感损失 ),两者都使用 l2 regularization (l2 正则化)。与
`SVR`
相反,拟合
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
可以以 closed-form (封闭形式)完成,对于中型数据集通常更快。另一方面,学习的模型是非稀疏的,因此比 SVR 慢。在预测时间内,SVR 拟合的是ε>0的稀疏模型。
由
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
学习的模型的形式与支持向量回归(
[
`SVR`
](
https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html
)
是一样的。但是他们使用不同的损失函数:内核岭回归(KRR)使用 squared error loss (平方误差损失函数)而 support vector regression (支持向量回归)(SVR)使用 !
[
\epsilon
](
img/58ef9e1b5d2ee139dcb588a3879ca1a6.jpg
)
-insensitive loss ( ε-不敏感损失 ),两者都使用 l2 regularization (l2 正则化)。与
[
`SVR`
](
https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html
)
相反,拟合
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
可以以 closed-form (封闭形式)完成,对于中型数据集通常更快。另一方面,学习的模型是非稀疏的,因此比 SVR 慢。在预测时间内,SVR 拟合的是ε>0的稀疏模型。
下图比较了人造数据集上的
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
和
`SVR`
的区别,它由一个正弦目标函数和每五个数据点产生一个强噪声组成。图中分别绘制了由
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
和
`SVR`
学习到的回归曲线。两者都使用网格搜索优化了 RBF 内核的 complexity/regularization (复杂性/正则化)和 bandwidth (带宽)。它们的 learned functions (学习函数)非常相似;但是,拟合
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
大约比拟合
`SVR`
快七倍(都使用 grid-search ( 网格搜索 ) )。然而,由于 SVR 只学习了一个稀疏模型,所以 SVR 预测 10 万个目标值比使用 KernelRidge 快三倍以上。SVR 只使用了百分之三十
的数据点做为支撑向量。
下图比较了人造数据集上的
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
和
[
`SVR`
](
https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html
)
的区别,它由一个正弦目标函数和每五个数据点产生一个强噪声组成。图中分别绘制了由
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
和
[
`SVR`
](
https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html
)
学习到的回归曲线。两者都使用网格搜索优化了 RBF 内核的 complexity/regularization (复杂性/正则化)和 bandwidth (带宽)。它们的 learned functions (学习函数)非常相似;但是,拟合
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
大约比拟合
[
`SVR`
](
https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html
)
快七倍(都使用 grid-search ( 网格搜索 ) )。然而,由于 SVR 只学习了一个稀疏模型,所以 SVR 预测 10 万个目标值比使用 KernelRidge 快三倍以上。SVR 只使用了大约1/3
的数据点做为支撑向量。
[
![http://sklearn.apachecn.org/cn/0.19.0/_images/sphx_glr_plot_kernel_ridge_regression_0011.png
](
img/5d71bcc9676eddcac89936397b2cd79c.jpg
)
](https://scikit-learn.org/stable/auto_examples/plot_kernel_ridge_regression.html)
下图显示不同大小训练集的
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
和
`SVR`
的 fitting (拟合)和 prediction (预测)时间。 对于中型训练集(小于 1000 个样本),拟合
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
比
`SVR`
快; 然而,对于更大的训练集
`SVR`
通常更好。 关于预测时间,由于学习的稀疏解,
`SVR`
对于所有不同大小的训练集都比
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
快。 注意,稀疏度和预测时间取决于
`SVR`
的参数 !
[
\epsilon
](
img/58ef9e1b5d2ee139dcb588a3879ca1a6.jpg
)
和 !
[
C
](
img/4b6d782a67ac392e97215c46b7590bf7.jpg
)
; !
[
\epsilon = 0
](
img/1d9a1eb9200948482ebfd5811679276a.jpg
)
将对应于密集模型。
下图显示不同大小训练集的
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
和
[
`SVR`
](
https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html
)
的 fitting (拟合)和 prediction (预测)时间。 对于中型训练集(小于 1000 个样本),拟合
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
比
[
`SVR`
](
https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html
)
快; 然而,对于更大的训练集
[
`SVR`
](
https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html
)
通常更好。 关于预测时间,由于学习的稀疏解,
[
`SVR`
](
https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html
)
对于所有不同大小的训练集都比
[
`KernelRidge`
](
https://scikit-learn.org/stable/modules/generated/sklearn.kernel_ridge.KernelRidge.html
)
快。 注意,稀疏度和预测时间取决于
[
`SVR`
](
https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html
)
的参数 !
[
\epsilon
](
img/58ef9e1b5d2ee139dcb588a3879ca1a6.jpg
)
和 !
[
C
](
img/4b6d782a67ac392e97215c46b7590bf7.jpg
)
; !
[
\epsilon = 0
](
img/1d9a1eb9200948482ebfd5811679276a.jpg
)
将对应于密集模型。
[
![http://sklearn.apachecn.org/cn/0.19.0/_images/sphx_glr_plot_kernel_ridge_regression_0021.png
](
img/a921f24886997e2a5b94e2abb46d8402.jpg
)
](https://scikit-learn.org/stable/auto_examples/plot_kernel_ridge_regression.html)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录