33.md

# 3\. 模型选择和评估

*   [3.1\. 交叉验证：评估估算器的表现](/docs/34?id=_31-交叉验证：评估估算器的表现)
    *   [3.1.1\. 计算交叉验证的指标](/docs/34?id=_311-计算交叉验证的指标)
        *   [3.1.1.1\. cross_validate 函数和多度量评估](/docs/34?id=_3111-cross_validate-函数和多度量评估)
        *   [3.1.1.2\. 通过交叉验证获取预测](/docs/34?id=_3112-通过交叉验证获取预测)
    *   [3.1.2\. 交叉验证迭代器](/docs/34?id=_312-交叉验证迭代器)
    *   [3.1.3\. 交叉验证迭代器–循环遍历数据](/docs/34?id=_313-交叉验证迭代器–循环遍历数据)
        *   [3.1.3.1\. K 折](/docs/34?id=_3131-k-折)
        *   [3.1.3.2\. 重复 K-折交叉验证](/docs/34?id=_3132-重复-k-折交叉验证)
        *   [3.1.3.3\. 留一交叉验证 (LOO)](/docs/34?id=_3133-留一交叉验证-（loo)
        *   [3.1.3.4\. 留 P 交叉验证 (LPO)](/docs/34?id=_3134-留-p-交叉验证-（lpo)
        *   [3.1.3.5\. 随机排列交叉验证 a.k.a. Shuffle & Split](/docs/34?id=_3135-随机排列交叉验证-aka-shuffle-&-split)
    *   [3.1.4\. 基于类标签、具有分层的交叉验证迭代器](/docs/34?id=_314-基于类标签、具有分层的交叉验证迭代器)
        *   [3.1.4.1\. 分层 k 折](/docs/34?id=_3141-分层-k-折)
        *   [3.1.4.2\. 分层随机 Split](/docs/34?id=_3142-分层随机-split)
    *   [3.1.5\. 用于分组数据的交叉验证迭代器](/docs/34?id=_315-用于分组数据的交叉验证迭代器)
        *   [3.1.5.1\. 组 k-fold](/docs/34?id=_3151-组-k-fold)
        *   [3.1.5.2\. 留一组交叉验证](/docs/34?id=_3152-留一组交叉验证)
        *   [3.1.5.3\. 留 P 组交叉验证](/docs/34?id=_3153-留-p-组交叉验证)
        *   [3.1.5.4\. Group Shuffle Split](/docs/34?id=_3154-group-shuffle-split)
    *   [3.1.6\. 预定义的折叠 / 验证集](/docs/34?id=_316-预定义的折叠-/-验证集)
    *   [3.1.7\. 交叉验证在时间序列数据中应用](/docs/34?id=_317-交叉验证在时间序列数据中应用)
        *   [3.1.7.1\. 时间序列分割](/docs/34?id=_3171-时间序列分割)
    *   [3.1.8\. A note on shuffling](/docs/34?id=_318-a-note-on-shuffling)
    *   [3.1.9\. 交叉验证和模型选择](/docs/34?id=_319-交叉验证和模型选择)
*   [3.2\. 调整估计器的超参数](/docs/35?id=_32-调整估计器的超参数)
    *   [3.2.1\. 网格追踪法–穷尽的网格搜索](/docs/35?id=_321-网格追踪法–穷尽的网格搜索)
    *   [3.2.2\. 随机参数优化](/docs/35?id=_322-随机参数优化)
    *   [3.2.3\. 参数搜索技巧](/docs/35?id=_323-参数搜索技巧)
        *   [3.2.3.1\. 指定目标度量](/docs/35?id=_3231-指定目标度量)
        *   [3.2.3.2\. 为评估指定多个指标](/docs/35?id=_3232-为评估指定多个指标)
        *   [3.2.3.3\. 复合估计和参数空间](/docs/35?id=_3233-复合估计和参数空间)
        *   [3.2.3.4\. 模型选择：开发和评估](/docs/35?id=_3234-模型选择：开发和评估)
        *   [3.2.3.5\. 并行机制](/docs/35?id=_3235-并行机制)
        *   [3.2.3.6\. 对故障的鲁棒性](/docs/35?id=_3236-对故障的鲁棒性)
    *   [3.2.4\. 暴力参数搜索的替代方案](/docs/35?id=_324-暴力参数搜索的替代方案)
        *   [3.2.4.1\. 模型特定交叉验证](/docs/35?id=_3241-模型特定交叉验证)
            *   [3.2.4.1.1\. `sklearn.linear_model`.ElasticNetCV](/docs/35?id=_32411-`sklearnlinear_model`elasticnetcv)
            *   [3.2.4.1.2\. `sklearn.linear_model`.LarsCV](/docs/35?id=_32412-`sklearnlinear_model`larscv)
            *   [3.2.4.1.3\. `sklearn.linear_model`.LassoCV](/docs/35?id=_32413-`sklearnlinear_model`lassocv)
                *   [3.2.4.1.3.1\. Examples using `sklearn.linear_model.LassoCV`](/docs/35?id=_324131-examples-using-`sklearnlinear_modellassocv`)
            *   [3.2.4.1.4\. `sklearn.linear_model`.LassoLarsCV](/docs/35?id=_32414-`sklearnlinear_model`lassolarscv)
                *   [3.2.4.1.4.1\. Examples using `sklearn.linear_model.LassoLarsCV`](/docs/35?id=_324141-examples-using-`sklearnlinear_modellassolarscv`)
            *   [3.2.4.1.5\. `sklearn.linear_model`.LogisticRegressionCV](/docs/35?id=_32415-`sklearnlinear_model`logisticregressioncv)
            *   [3.2.4.1.6\. `sklearn.linear_model`.MultiTaskElasticNetCV](/docs/35?id=_32416-`sklearnlinear_model`multitaskelasticnetcv)
            *   [3.2.4.1.7\. `sklearn.linear_model`.MultiTaskLassoCV](/docs/35?id=_32417-`sklearnlinear_model`multitasklassocv)
            *   [3.2.4.1.8\. `sklearn.linear_model`.OrthogonalMatchingPursuitCV](/docs/35?id=_32418-`sklearnlinear_model`orthogonalmatchingpursuitcv)
                *   [3.2.4.1.8.1\. Examples using `sklearn.linear_model.OrthogonalMatchingPursuitCV`](/docs/35?id=_324181-examples-using-`sklearnlinear_modelorthogonalmatchingpursuitcv`)
            *   [3.2.4.1.9\. `sklearn.linear_model`.RidgeCV](/docs/35?id=_32419-`sklearnlinear_model`ridgecv)
                *   [3.2.4.1.9.1\. Examples using `sklearn.linear_model.RidgeCV`](/docs/35?id=_324191-examples-using-`sklearnlinear_modelridgecv`)
            *   [3.2.4.1.10\. `sklearn.linear_model`.RidgeClassifierCV](/docs/35?id=_324110-`sklearnlinear_model`ridgeclassifiercv)
        *   [3.2.4.2\. 信息标准](/docs/35?id=_3242-信息标准)
            *   [3.2.4.2.1\. `sklearn.linear_model`.LassoLarsIC](/docs/35?id=_32421-`sklearnlinear_model`lassolarsic)
                *   [3.2.4.2.1.1\. Examples using `sklearn.linear_model.LassoLarsIC`](/docs/35?id=_324211-examples-using-`sklearnlinear_modellassolarsic`)
        *   [3.2.4.3\. 出袋估计](/docs/35?id=_3243-出袋估计)
            *   [3.2.4.3.1\. `sklearn.ensemble`.RandomForestClassifier](/docs/35?id=_32431-`sklearnensemble`randomforestclassifier)
                *   [3.2.4.3.1.1\. Examples using `sklearn.ensemble.RandomForestClassifier`](/docs/35?id=_324311-examples-using-`sklearnensemblerandomforestclassifier`)
            *   [3.2.4.3.2\. `sklearn.ensemble`.RandomForestRegressor](/docs/35?id=_32432-`sklearnensemble`randomforestregressor)
                *   [3.2.4.3.2.1\. Examples using `sklearn.ensemble.RandomForestRegressor`](/docs/35?id=_324321-examples-using-`sklearnensemblerandomforestregressor`)
            *   [3.2.4.3.3\. `sklearn.ensemble`.ExtraTreesClassifier](/docs/35?id=_32433-`sklearnensemble`extratreesclassifier)
                *   [3.2.4.3.3.1\. Examples using `sklearn.ensemble.ExtraTreesClassifier`](/docs/35?id=_324331-examples-using-`sklearnensembleextratreesclassifier`)
            *   [3.2.4.3.4\. `sklearn.ensemble`.ExtraTreesRegressor](/docs/35?id=_32434-`sklearnensemble`extratreesregressor)
                *   [3.2.4.3.4.1\. Examples using `sklearn.ensemble.ExtraTreesRegressor`](/docs/35?id=_324341-examples-using-`sklearnensembleextratreesregressor`)
            *   [3.2.4.3.5\. `sklearn.ensemble`.GradientBoostingClassifier](/docs/35?id=_32435-`sklearnensemble`gradientboostingclassifier)
                *   [3.2.4.3.5.1\. Examples using `sklearn.ensemble.GradientBoostingClassifier`](/docs/35?id=_324351-examples-using-`sklearnensemblegradientboostingclassifier`)
            *   [3.2.4.3.6\. `sklearn.ensemble`.GradientBoostingRegressor](/docs/35?id=_32436-`sklearnensemble`gradientboostingregressor)
                *   [3.2.4.3.6.1\. Examples using `sklearn.ensemble.GradientBoostingRegressor`](/docs/35?id=_324361-examples-using-`sklearnensemblegradientboostingregressor`)
*   [3.3\. 模型评估: 量化预测的质量](/docs/36?id=_33-模型评估:-量化预测的质量)
    *   [3.3.1\. `scoring` 参数: 定义模型评估规则](/docs/36?id=_331-`scoring`-参数:-定义模型评估规则)
        *   [3.3.1.1\. 常见场景: 预定义值](/docs/36?id=_3311-常见场景:-预定义值)
        *   [3.3.1.2\. 根据 metric 函数定义您的评分策略](/docs/36?id=_3312-根据-metric-函数定义您的评分策略)
        *   [3.3.1.3\. 实现自己的记分对象](/docs/36?id=_3313-实现自己的记分对象)
        *   [3.3.1.4\. 使用多个指数评估](/docs/36?id=_3314-使用多个指数评估)
    *   [3.3.2\. 分类指标](/docs/36?id=_332-分类指标)
        *   [3.3.2.1\. 从二分到多分类和 multilabel](/docs/36?id=_3321-从二分到多分类和-multilabel)
        *   [3.3.2.2\. 精确度得分](/docs/36?id=_3322-精确度得分)
        *   [3.3.2.3\. Cohen’s kappa](/docs/36?id=_3323-cohen’s-kappa)
        *   [3.3.2.4\. 混淆矩阵](/docs/36?id=_3324-混淆矩阵)
        *   [3.3.2.5\. 分类报告](/docs/36?id=_3325-分类报告)
        *   [3.3.2.6\. 汉明损失](/docs/36?id=_3326-汉明损失)
        *   [3.3.2.7\. Jaccard 相似系数 score](/docs/36?id=_3327-jaccard-相似系数-score)
        *   [3.3.2.8\. 精准，召回和 F-measures](/docs/36?id=_3328-精准，召回和-f-measures)
            *   [3.3.2.8.1\. 二分类](/docs/36?id=_33281-二分类)
            *   [3.3.2.8.2\. 多类和多标签分类](/docs/36?id=_33282-多类和多标签分类)
        *   [3.3.2.9\. Hinge loss](/docs/36?id=_3329-hinge-loss)
        *   [3.3.2.10\. Log 损失](/docs/36?id=_33210-log-损失)
        *   [3.3.2.11\. 马修斯相关系数](/docs/36?id=_33211-马修斯相关系数)
        *   [3.3.2.12\. Receiver operating characteristic (ROC)](/docs/36?id=_33212-receiver-operating-characteristic-（roc)
        *   [3.3.2.13\. 零一损失](/docs/36?id=_33213-零一损失)
        *   [3.3.2.14\. Brier 分数损失](/docs/36?id=_33214-brier-分数损失)
    *   [3.3.3\. 多标签排名指标](/docs/36?id=_333-多标签排名指标)
        *   [3.3.3.1\. 覆盖误差](/docs/36?id=_3331-覆盖误差)
        *   [3.3.3.2\. 标签排名平均精度](/docs/36?id=_3332-标签排名平均精度)
        *   [3.3.3.3\. 排序损失](/docs/36?id=_3333-排序损失)
    *   [3.3.4\. 回归指标](/docs/36?id=_334-回归指标)
        *   [3.3.4.1\. 解释方差得分](/docs/36?id=_3341-解释方差得分)
        *   [3.3.4.2\. 平均绝对误差](/docs/36?id=_3342-平均绝对误差)
        *   [3.3.4.3\. 均方误差](/docs/36?id=_3343-均方误差)
        *   [3.3.4.4\. 均方误差对数](/docs/36?id=_3344-均方误差对数)
        *   [3.3.4.5\. 中位绝对误差](/docs/36?id=_3345-中位绝对误差)
        *   [3.3.4.6\. R² score, 可决系数](/docs/36?id=_3346-r²-score,-可决系数)
    *   [3.3.5\. 聚类指标](/docs/36?id=_335-聚类指标)
    *   [3.3.6\. 虚拟估计](/docs/36?id=_336-虚拟估计)
*   [3.4\. 模型持久化](/docs/37?id=_34-模型持久化)
    *   [3.4.1\. 持久化示例](/docs/37?id=_341-持久化示例)
    *   [3.4.2\. 安全性和可维护性的局限性](/docs/37?id=_342-安全性和可维护性的局限性)
*   [3.5\. 验证曲线: 绘制分数以评估模型](/docs/38?id=_35-验证曲线:-绘制分数以评估模型)
    *   [3.5.1\. 验证曲线](/docs/38?id=_351-验证曲线)
    *   [3.5.2\. 学习曲线](/docs/38?id=_352-学习曲线)