# 1\. 监督学习 * [1.1\. 广义线性模型](/docs/2?id=_11-广义线性模型) * [1.1.1\. 普通最小二乘法](/docs/2?id=_111-普通最小二乘法) * [1.1.1.1\. 普通最小二乘法复杂度](/docs/2?id=_1111-普通最小二乘法复杂度) * [1.1.2\. 岭回归](/docs/2?id=_112-岭回归) * [1.1.2.1\. 岭回归的复杂度](/docs/2?id=_1121-岭回归的复杂度) * [1.1.2.2\. 设置正则化参数：广义交叉验证](/docs/2?id=_1122-设置正则化参数：广义交叉验证) * [1.1.3\. Lasso](/docs/2?id=_113-lasso) * [1.1.3.1\. 设置正则化参数](/docs/2?id=_1131-设置正则化参数) * [1.1.3.1.1\. 使用交叉验证](/docs/2?id=_11311-使用交叉验证) * [1.1.3.1.2\. 基于信息标准的模型选择](/docs/2?id=_11312-基于信息标准的模型选择) * [1.1.3.1.3\. 与 SVM 的正则化参数的比较](/docs/2?id=_11313-与-svm-的正则化参数的比较) * [1.1.4\. 多任务 Lasso](/docs/2?id=_114-多任务-lasso) * [1.1.5\. 弹性网络](/docs/2?id=_115-弹性网络) * [1.1.6\. 多任务弹性网络](/docs/2?id=_116-多任务弹性网络) * [1.1.7\. 最小角回归](/docs/2?id=_117-最小角回归) * [1.1.8\. LARS Lasso](/docs/2?id=_118-lars-lasso) * [1.1.8.1\. 数学表达式](/docs/2?id=_1181-数学表达式) * [1.1.9\. 正交匹配追踪法（OMP）](/docs/2?id=_119-正交匹配追踪法（omp）) * [1.1.10\. 贝叶斯回归](/docs/2?id=_1110-贝叶斯回归) * [1.1.10.1\. 贝叶斯岭回归](/docs/2?id=_11101-贝叶斯岭回归) * [1.1.10.2\. 主动相关决策理论 - ARD](/docs/2?id=_11102-主动相关决策理论---ard) * [1.1.11\. logistic 回归](/docs/2?id=_1111-logistic-回归) * [1.1.12\. 随机梯度下降， SGD](/docs/2?id=_1112-随机梯度下降，-sgd) * [1.1.13\. Perceptron（感知器）](/docs/2?id=_1113-perceptron（感知器）) * [1.1.14\. Passive Aggressive Algorithms（被动攻击算法）](/docs/2?id=_1114-passive-aggressive-algorithms（被动攻击算法）) * [1.1.15\. 稳健回归（Robustness regression）: 处理离群点（outliers）和模型错误](/docs/2?id=_1115-稳健回归（robustness-regression）:-处理离群点（outliers）和模型错误) * [1.1.15.1\. 各种使用场景与相关概念](/docs/2?id=_11151-各种使用场景与相关概念) * [1.1.15.2\. RANSAC： 随机抽样一致性算法（RANdom SAmple Consensus）](/docs/2?id=_11152-ransac：-随机抽样一致性算法（random-sample-consensus）) * [1.1.15.2.1\. 算法细节](/docs/2?id=_111521-算法细节) * [1.1.15.3\. Theil-Sen 预估器: 广义中值估计器（generalized-median-based estimator）](/docs/2?id=_11153-theil-sen-预估器:-广义中值估计器（generalized-median-based-estimator）) * [1.1.15.3.1\. 算法理论细节](/docs/2?id=_111531-算法理论细节) * [1.1.15.4\. Huber 回归](/docs/2?id=_11154-huber-回归) * [1.1.15.5\. 注意](/docs/2?id=_11155-注意) * [1.1.16\. 多项式回归：用基函数展开线性模型](/docs/2?id=_1116-多项式回归：用基函数展开线性模型) * [1.2\. 线性和二次判别分析](/docs/3?id=_12-线性和二次判别分析) * [1.2.1\. 使用线性判别分析来降维](/docs/3?id=_121-使用线性判别分析来降维) * [1.2.2\. LDA 和 QDA 分类器的数学公式](/docs/3?id=_122-lda-和-qda-分类器的数学公式) * [1.2.3\. LDA 的降维数学公式](/docs/3?id=_123-lda-的降维数学公式) * [1.2.4\. Shrinkage（收缩）](/docs/3?id=_124-shrinkage（收缩）) * [1.2.5\. 预估算法](/docs/3?id=_125-预估算法) * [1.3\. 内核岭回归](/docs/4?id=_13-内核岭回归) * [1.4\. 支持向量机](/docs/5?id=_14-支持向量机) * [1.4.1\. 分类](/docs/5?id=_141-分类) * [1.4.1.1\. 多元分类](/docs/5?id=_1411-多元分类) * [1.4.1.2\. 得分和概率](/docs/5?id=_1412-得分和概率) * [1.4.1.3\. 非均衡问题](/docs/5?id=_1413-非均衡问题) * [1.4.2\. 回归](/docs/5?id=_142-回归) * [1.4.3\. 密度估计, 异常（novelty）检测](/docs/5?id=_143-密度估计,-异常（novelty）检测) * [1.4.4\. 复杂度](/docs/5?id=_144-复杂度) * [1.4.5\. 使用诀窍](/docs/5?id=_145-使用诀窍) * [1.4.6\. 核函数](/docs/5?id=_146-核函数) * [1.4.6.1\. 自定义核](/docs/5?id=_1461-自定义核) * [1.4.6.1.1\. 使用 python 函数作为内核](/docs/5?id=_14611-使用-python-函数作为内核) * [1.4.6.1.2\. 使用 Gram 矩阵](/docs/5?id=_14612-使用-gram-矩阵) * [1.4.6.1.3\. RBF 内核参数](/docs/5?id=_14613-rbf-内核参数) * [1.4.7\. 数学公式](/docs/5?id=_147-数学公式) * [1.4.7.1\. SVC](/docs/5?id=_1471-svc) * [1.4.7.2\. NuSVC](/docs/5?id=_1472-nusvc) * [1.4.7.3\. SVR](/docs/5?id=_1473-svr) * [1.4.8\. 实现细节](/docs/5?id=_148-实现细节) * [1.5\. 随机梯度下降](/docs/6?id=_15-随机梯度下降) * [1.5.1\. 分类](/docs/6?id=_151-分类) * [1.5.2\. 回归](/docs/6?id=_152-回归) * [1.5.3\. 稀疏数据的随机梯度下降](/docs/6?id=_153-稀疏数据的随机梯度下降) * [1.5.4\. 复杂度](/docs/6?id=_154-复杂度) * [1.5.5\. 实用小贴士](/docs/6?id=_155-实用小贴士) * [1.5.6\. 数学描述](/docs/6?id=_156-数学描述) * [1.5.6.1\. SGD](/docs/6?id=_1561-sgd) * [1.5.7\. 实现细节](/docs/6?id=_157-实现细节) * [1.6\. 最近邻](/docs/7?id=_16-最近邻) * [1.6.1\. 无监督最近邻](/docs/7?id=_161-无监督最近邻) * [1.6.1.1\. 找到最近邻](/docs/7?id=_1611-找到最近邻) * [1.6.1.2\. KDTree 和 BallTree 类](/docs/7?id=_1612-kdtree-和-balltree-类) * [1.6.2\. 最近邻分类](/docs/7?id=_162-最近邻分类) * [1.6.3\. 最近邻回归](/docs/7?id=_163-最近邻回归) * [1.6.4\. 最近邻算法](/docs/7?id=_164-最近邻算法) * [1.6.4.1\. 暴力计算](/docs/7?id=_1641-暴力计算) * [1.6.4.2\. K-D 树](/docs/7?id=_1642-k-d-树) * [1.6.4.3\. Ball 树](/docs/7?id=_1643-ball-树) * [1.6.4.4\. 最近邻算法的选择](/docs/7?id=_1644-最近邻算法的选择) * [1.6.4.5\. `leaf_size` 的影响](/docs/7?id=_1645-`leaf_size`-的影响) * [1.6.5\. 最近质心分类](/docs/7?id=_165-最近质心分类) * [1.6.5.1\. 最近缩小质心](/docs/7?id=_1651-最近缩小质心) * [1.7\. 高斯过程](/docs/8?id=_17-高斯过程) * [1.7.1\. 高斯过程回归（GPR）](/docs/8?id=_171-高斯过程回归（gpr）) * [1.7.2\. GPR 示例](/docs/8?id=_172-gpr-示例) * [1.7.2.1\. 具有噪声级的 GPR 估计](/docs/8?id=_1721-具有噪声级的-gpr-估计) * [1.7.2.2\. GPR 和内核岭回归(Kernel Ridge Regression)的比较](/docs/8?id=_1722-gpr-和内核岭回归（kernel-ridge-regression的比较) * [1.7.2.3\. Mauna Loa CO2 数据中的 GRR](/docs/8?id=_1723-mauna-loa-co2-数据中的-grr) * [1.7.3\. 高斯过程分类（GPC）](/docs/8?id=_173-高斯过程分类（gpc）) * [1.7.4\. GPC 示例](/docs/8?id=_174-gpc-示例) * [1.7.4.1\. GPC 概率预测](/docs/8?id=_1741-gpc-概率预测) * [1.7.4.2\. GPC 在 XOR 数据集上的举例说明](/docs/8?id=_1742-gpc-在-xor-数据集上的举例说明) * [1.7.4.3\. iris 数据集上的高斯过程分类（GPC）](/docs/8?id=_1743-iris-数据集上的高斯过程分类（gpc）) * [1.7.5\. 高斯过程内核](/docs/8?id=_175-高斯过程内核) * [1.7.5.1\. 高斯过程内核 API](/docs/8?id=_1751-高斯过程内核-api) * [1.7.5.2\. 基础内核](/docs/8?id=_1752-基础内核) * [1.7.5.3\. 内核操作](/docs/8?id=_1753-内核操作) * [1.7.5.4\. 径向基函数内核](/docs/8?id=_1754-径向基函数内核) * [1.7.5.5\. Matérn 内核](/docs/8?id=_1755-matérn-内核) * [1.7.5.6\. 有理二次内核](/docs/8?id=_1756-有理二次内核) * [1.7.5.7\. 正弦平方内核](/docs/8?id=_1757-正弦平方内核) * [1.7.5.8\. 点乘内核](/docs/8?id=_1758-点乘内核) * [1.7.5.9\. 参考文献](/docs/8?id=_1759-参考文献) * [1.7.6\. 传统高斯过程](/docs/8?id=_176-传统高斯过程) * [1.7.6.1\. 回归实例介绍](/docs/8?id=_1761-回归实例介绍) * [1.7.6.2\. 噪声数据拟合](/docs/8?id=_1762-噪声数据拟合) * [1.7.6.3\. 数学形式](/docs/8?id=_1763-数学形式) * [1.7.6.3.1\. 初始假设](/docs/8?id=_17631-初始假设) * [1.7.6.3.2\. 最佳线性无偏预测（BLUP）](/docs/8?id=_17632-最佳线性无偏预测（blup）) * [1.7.6.3.3\. 经验最佳线性无偏估计（EBLUP）](/docs/8?id=_17633-经验最佳线性无偏估计（eblup）) * [1.7.6.4\. 关联模型](/docs/8?id=_1764-关联模型) * [1.7.6.5\. 回归模型](/docs/8?id=_1765-回归模型) * [1.7.6.6\. 实现细节](/docs/8?id=_1766-实现细节) * [1.8\. 交叉分解](/docs/9?id=_18-交叉分解) * [1.9\. 朴素贝叶斯](/docs/10?id=_19-朴素贝叶斯) * [1.9.1\. 高斯朴素贝叶斯](/docs/10?id=_191-高斯朴素贝叶斯) * [1.9.2\. 多项分布朴素贝叶斯](/docs/10?id=_192-多项分布朴素贝叶斯) * [1.9.3\. 伯努利朴素贝叶斯](/docs/10?id=_193-伯努利朴素贝叶斯) * [1.9.4\. 堆外朴素贝叶斯模型拟合](/docs/10?id=_194-堆外朴素贝叶斯模型拟合) * [1.10\. 决策树](/docs/11?id=_110-决策树) * [1.10.1\. 分类](/docs/11?id=_1101-分类) * [1.10.2\. 回归](/docs/11?id=_1102-回归) * [1.10.3\. 多值输出问题](/docs/11?id=_1103-多值输出问题) * [1.10.4\. 复杂度分析](/docs/11?id=_1104-复杂度分析) * [1.10.5\. 实际使用技巧](/docs/11?id=_1105-实际使用技巧) * [1.10.6\. 决策树算法: ID3, C4.5, C5.0 和 CART](/docs/11?id=_1106-决策树算法:-id3,-c45,-c50-和-cart) * [1.10.7\. 数学表达](/docs/11?id=_1107-数学表达) * [1.10.7.1\. 分类标准](/docs/11?id=_11071-分类标准) * [1.10.7.2\. 回归标准](/docs/11?id=_11072-回归标准) * [1.11\. 集成方法](/docs/12?id=_111-集成方法) * [1.11.1\. Bagging meta-estimator（Bagging 元估计器）](/docs/12?id=_1111-bagging-meta-estimator（bagging-元估计器）) * [1.11.2\. 由随机树组成的森林](/docs/12?id=_1112-由随机树组成的森林) * [1.11.2.1\. 随机森林](/docs/12?id=_11121-随机森林) * [1.11.2.2\. 极限随机树](/docs/12?id=_11122-极限随机树) * [1.11.2.3\. 参数](/docs/12?id=_11123-参数) * [1.11.2.4\. 并行化](/docs/12?id=_11124-并行化) * [1.11.2.5\. 特征重要性评估](/docs/12?id=_11125-特征重要性评估) * [1.11.2.6\. 完全随机树嵌入](/docs/12?id=_11126-完全随机树嵌入) * [1.11.3\. AdaBoost](/docs/12?id=_1113-adaboost) * [1.11.3.1\. 使用方法](/docs/12?id=_11131-使用方法) * [1.11.4\. Gradient Tree Boosting（梯度树提升）](/docs/12?id=_1114-gradient-tree-boosting（梯度树提升）) * [1.11.4.1\. 分类](/docs/12?id=_11141-分类) * [1.11.4.2\. 回归](/docs/12?id=_11142-回归) * [1.11.4.3\. 训练额外的弱学习器](/docs/12?id=_11143-训练额外的弱学习器) * [1.11.4.4\. 控制树的大小](/docs/12?id=_11144-控制树的大小) * [1.11.4.5\. Mathematical formulation（数学公式）](/docs/12?id=_11145-mathematical-formulation（数学公式）) * [1.11.4.5.1\. Loss Functions（损失函数）](/docs/12?id=_111451-loss-functions（损失函数）) * [1.11.4.6\. Regularization（正则化）](/docs/12?id=_11146-regularization（正则化）) * [1.11.4.6.1\. 收缩率 (Shrinkage)](/docs/12?id=_111461-收缩率-（shrinkage) * [1.11.4.6.2\. 子采样 (Subsampling)](/docs/12?id=_111462-子采样-（subsampling) * [1.11.4.7\. Interpretation（解释性）](/docs/12?id=_11147-interpretation（解释性）) * [1.11.4.7.1\. Feature importance（特征重要性）](/docs/12?id=_111471-feature-importance（特征重要性）) * [1.11.4.7.2\. Partial dependence（部分依赖）](/docs/12?id=_111472-partial-dependence（部分依赖）) * [1.11.5\. Voting Classifier（投票分类器）](/docs/12?id=_1115-voting-classifier（投票分类器）) * [1.11.5.1\. 多数类标签 (又称为 多数/硬投票)](/docs/12?id=_11151-多数类标签-（又称为-多数/硬投票) * [1.11.5.1.1\. 用法](/docs/12?id=_111511-用法) * [1.11.5.2\. 加权平均概率 （软投票）](/docs/12?id=_11152-加权平均概率-（软投票）) * [1.11.5.3\. 投票分类器（VotingClassifier）在网格搜索（GridSearch）应用](/docs/12?id=_11153-投票分类器（votingclassifier）在网格搜索（gridsearch）应用) * [1.11.5.3.1\. 用法](/docs/12?id=_111531-用法) * [1.12\. 多类和多标签算法](/docs/13?id=_112-多类和多标签算法) * [1.12.1\. 多标签分类格式](/docs/13?id=_1121-多标签分类格式) * [1.12.2\. 1对其余](/docs/13?id=_1122-1对其余) * [1.12.2.1\. 多类学习](/docs/13?id=_11221-多类学习) * [1.12.2.2\. 多标签学习](/docs/13?id=_11222-多标签学习) * [1.12.3\. 1对1](/docs/13?id=_1123-1对1) * [1.12.3.1\. 多类别学习](/docs/13?id=_11231-多类别学习) * [1.12.4\. 误差校正输出代码](/docs/13?id=_1124-误差校正输出代码) * [1.12.4.1\. 多类别学习](/docs/13?id=_11241-多类别学习) * [1.12.5\. 多输出回归](/docs/13?id=_1125-多输出回归) * [1.12.6\. 多输出分类](/docs/13?id=_1126-多输出分类) * [1.12.7\. 链式分类器](/docs/13?id=_1127-链式分类器) * [1.13\. 特征选择](/docs/14?id=_113-特征选择) * [1.13.1\. 移除低方差特征](/docs/14?id=_1131-移除低方差特征) * [1.13.2\. 单变量特征选择](/docs/14?id=_1132-单变量特征选择) * [1.13.3\. 递归式特征消除](/docs/14?id=_1133-递归式特征消除) * [1.13.4\. 使用 SelectFromModel 选取特征](/docs/14?id=_1134-使用-selectfrommodel-选取特征) * [1.13.4.1\. 基于 L1 的特征选取](/docs/14?id=_11341-基于-l1-的特征选取) * [1.13.4.2\. 基于 Tree（树）的特征选取](/docs/14?id=_11342-基于-tree（树）的特征选取) * [1.13.5\. 特征选取作为 pipeline（管道）的一部分](/docs/14?id=_1135-特征选取作为-pipeline（管道）的一部分) * [1.14\. 半监督学习](/docs/15?id=_114-半监督学习) * [1.14.1\. 标签传播](/docs/15?id=_1141-标签传播) * [1.15\. 等式回归](/docs/16?id=_115-等式回归) * [1.16\. 概率校准](/docs/17?id=_116-概率校准) * [1.17\. 神经网络模型（有监督）](/docs/18?id=_117-神经网络模型（有监督）) * [1.17.1\. 多层感知器](/docs/18?id=_1171-多层感知器) * [1.17.2\. 分类](/docs/18?id=_1172-分类) * [1.17.3\. 回归](/docs/18?id=_1173-回归) * [1.17.4\. 正则化](/docs/18?id=_1174-正则化) * [1.17.5\. 算法](/docs/18?id=_1175-算法) * [1.17.6\. 复杂度](/docs/18?id=_1176-复杂度) * [1.17.7\. 数学公式](/docs/18?id=_1177-数学公式) * [1.17.8\. 实用技巧](/docs/18?id=_1178-实用技巧) * [1.17.9\. 使用 warm_start 的更多控制](/docs/18?id=_1179-使用-warm_start-的更多控制)