模型评估

模型给出分数以后，项目还没有完成。分数需要变成行动，行动会消耗预算、影响用户，也可能带来损失。本课围绕客户流失预警，把分类指标、概率、阈值、数据切分和验收连接起来；再用图像与短文本任务检查这些方法能否迁移。读完后，你应能解释“分数更高”与“方案更好”之间还缺哪些证据。

1 模型评估要回答的业务问题

假设服务团队每周只能联系 200 名客户，希望提前识别未来 30 天可能流失的人。模型输入可以包括过去 30 天的登录天数、过去 90 天的投诉次数、当前套餐、截至预测时刻的使用时长，以及最近 7 天用量相对前 7 天的变化。输出是每名客户的流失分数。这里首先要明确的不是算法，而是评估对象：在什么时刻，对哪些客户，预测多远以后的什么事件，并据此执行什么行动。

“流失”必须写成可复核的标签。例如，在每周日截取仍在使用服务的客户，预测其随后 30 天是否取消订阅。暂停账户是否算流失、观察期未满的人如何处理，都需要事先约定。标签窗口没有结束，就不能把尚未取消的人直接记成负类。特征的截止时刻也必须早于预测时刻，取消后的退款金额、后续客服处理结果不能进入输入，即使它们与标签高度相关。

公开数据适合练习这套流程。例如，Telco Customer Churn 包含合约、费用、服务类型等表格字段，可以练习二分类与类别不平衡。但公开快照通常不能完整还原“某周日预测未来 30 天”的过程。练习时应说明标签定义和时间信息的局限，不把数据集上的分数写成真实挽留效果。没有干预记录的数据，也不能直接证明给高风险客户发优惠就能减少流失。

评估至少回答 3 类问题：模型能否把高风险对象排在前面；被选中的对象中有多少真正需要处理；按照既定成本采取行动后是否值得。对应证据可能是 ROC-AUC、精确率与召回率，以及收益和容量。还要建立朴素基线，例如全部预测为不流失、随机联系 200 人、按近期用量下降排序。复杂模型需要证明它比可执行的基线更有用。

迁移到图像任务时，Fashion-MNIST 的输入是服饰图像，输出是类别；除了整体准确率，还应看衬衫与外套是否经常混淆。迁移到公开短文本情感数据时，输入可能是用户短评，输出为正向或负向；否定、反讽和新词都可能形成困难子集。业务事件可以不同，但样本单位、标签含义、可用输入和错误后果必须先说清。

2 模型评估：混淆矩阵以外的成本敏感指标

把“会流失”定义为正类，并规定分数大于等于阈值就发起联系。真正流失且被选中的是 TP；不会流失却被选中的是 FP；会流失但没有被选中的是 FN；不会流失也没有被选中的是 TN。正类的定义不能随表格变化，否则同名指标可能在回答相反的问题。混淆矩阵把错误放到可数的位置，但仍需说明每类错误会带来什么后果。

精确率 precision = TP / (TP + FP)，回答“联系名单中真正高风险的比例是多少”。召回率 recall = TP / (TP + FN)，回答“所有流失者中找到了多少”。F1 = 2 × precision × recall / (precision + recall)，用于同时关注这 2 项的情形。若分母为 0，应报告未定义及原因，并在代码中明确处理规则；不要默默把它当作表现完美。

在 1000 名客户中，如果只有 100 名流失，全部预测为不流失的准确率仍有 90%，但召回率为 0。类别不平衡使准确率容易掩盖正类失败。若另有模型找出 60 名流失者并误报 40 名，便得到 TP=60、FP=40、FN=40、TN=860，精确率和召回率都是 60%，准确率为 92%。多出的 2 个百分点不能概括它的用途；真正的变化是团队得到了一份含 60 名流失者的 100 人名单。

ROC 曲线展示阈值变化时，真正率与假正率的关系；真正率就是召回率，假正率为 FP / (FP + TN)。ROC-AUC 概括排序能力，可以直观理解为随机取 1 名正类和 1 名负类，正类分数更高的概率，平分按约定计入。它跨越多个阈值，不能直接描述实际联系名单。在正类稀少时，还应查看精确率—召回率曲线，并说明所用面积汇总方法。

成本敏感评估要把错误与行动连接。假设每次联系花费 10 元，真正会流失的客户在联系后有 25% 的概率被额外挽留，成功挽留带来的可计收益是 200 元。那么对真正流失者，联系的期望净收益为 0.25 × 200 − 10 = 40 元；对不会流失者，按简化假设只损失联系成本 10 元。相对完全不联系，名单的期望增量收益就是 40 × TP − 10 × FP。

这个公式依赖假设：挽留概率、收益口径以及客户之间没有相互影响，都需要证据。真实业务可能还包含优惠券成本、重复打扰或渠道差异。FN 表示错失可能的收益，但若公式已把“不联系”设为基线，就不能再无依据地扣除同一份损失。F1 没有包含这些金额，因此 F1 最大与收益最大不必相同。先定义比较基线和收益口径，再选择指标，才能避免重复计账。

3 校准、阈值与运营约束

排序好不等于概率可信。假如模型把 100 名客户都打成约 0.8 分，而其中最终只有 40 名流失，那么把 0.8 解释成“80% 的流失概率”就会高估风险。校准讨论的是分数与实际频率是否相符：在分数相近的足够多样本里，事件发生率应接近预测概率。观察单个客户的结果无法证明校准好坏，因为概率为 0.8 的事件也可能不发生。

入门检查可以把验证集按预测概率分成若干区间，逐组记录平均预测概率、实际流失率和样本数，再画可靠性图。区间内只有 5 个样本时，实际比例容易剧烈波动；正类很少的高分区也可能缺乏证据。图上接近对角线只是直观信号，还要看各组规模与时间稳定性。可以用 Brier 分数辅助观察概率误差，即预测概率与 0/1 标签差的平方再取平均，但不要让单个汇总值替代分组检查。

若预测值确实是校准后的流失概率 p，沿用每名真实流失者净赚 40 元、每名非流失者损失 10 元的假设，联系的期望收益为 40p − 10(1 − p)。当 p 大于 0.2 时，该期望才为正；恰好等于 0.2 时两种行动按此简化账本相同。这解释了为什么 0.5 不是天然最佳阈值。未经校准的分数不能直接代入概率收益公式，仍可通过验证集扫描阈值估计行动效果。

实际团队还受每周 200 人的容量限制。即使 260 人都超过经济阈值，也无法全部处理。可先筛出期望收益为正的对象，再按收益排序选择容量内的客户。如果每名客户的联系成本与可挽留价值都相同，按校准风险排序有意义；若高风险客户几乎无法被挽留，就需要补充干预效果证据，不能仅凭流失风险作结论。高风险与容易挽回是不同属性。

固定阈值与固定人数也有差别。固定阈值会随分数分布变化而产生不同名单长度；固定前 200 名能控制工作量，却可能在低风险周联系本来不值得联系的人。方案应写清优先级，例如“只处理估计收益为正的对象，人数上限为 200”，而不是无条件填满容量。对同分客户，还需预先约定稳定排序、随机抽取或其他可审计规则。

阈值选择应留在验证阶段。若需要拟合概率校准器，也要使用与基础模型训练区分开的合适数据，并避免在同一批数据上反复拟合后报告过于乐观的结果。本课先掌握校准的含义、分组检查与阈值决策；具体校准算法和更复杂的数据复用方式留到后续。下面的滑块用于观察固定样本中阈值与成本怎样共同改变结果。

4 动手：阈值扫描与收益曲线

下面构造 1000 条教学记录，目的是让每个结果都能手算核对，不代表任何公开数据集的测评成绩。正类共 100 条，负类共 900 条。把样本按分数分成 4 组：0.9 分组有 30 个正类和 10 个负类；0.6 分组有 30 个正类和 30 个负类；0.3 分组有 20 个正类和 140 个负类；0.1 分组有 20 个正类和 720 个负类。预测规则统一为 score >= threshold。

在这 3 个候选阈值中，0.2 找到最多流失者，却超出 200 人容量；0.8 的名单最精准，但漏掉较多可联系对象；0.5 的估计收益最高且满足容量。这个结论只适用于当前候选集合、当前样本与当前成本假设。教学分数没有被证明校准，因此前节推导的概率阈值 0.2 不应被当作这张表的必然最优点。

下面的 Python 片段使用标准库即可运行。它刻意把分数组与标签分开生成，再由同一份样本计算所有指标，避免分别手填指标造成口径不一致。实际项目应把数组替换为验证集标签与预测分数，并保留样本标识以便检查错误。

groups = [(0.9, 30, 10), (0.6, 30, 30),
          (0.3, 20, 140), (0.1, 20, 720)]
rows = []
for score, positives, negatives in groups:
    rows.extend([(score, 1)] * positives)
    rows.extend([(score, 0)] * negatives)

for threshold in [0.2, 0.5, 0.8]:
    tp = fp = fn = tn = 0
    for score, label in rows:
        predicted = score >= threshold
        if predicted and label == 1:
            tp += 1
        elif predicted:
            fp += 1
        elif label == 1:
            fn += 1
        else:
            tn += 1
    precision = tp / (tp + fp) if tp + fp else None
    recall = tp / (tp + fn) if tp + fn else None
    f1 = 2 * tp / (2 * tp + fp + fn)
    gain = 40 * tp - 10 * fp
    print(threshold, tp, fp, fn, tn, precision,
          recall, f1, gain, tp + fp <= 200)

画收益曲线时，横轴使用阈值，纵轴使用相对基线的期望增量收益，同时画出联系人数或标出容量不合格区域。完整扫描通常检查所有不同分数造成的决策边界，并包括不联系任何人的候选，避免在所有联系策略都亏钱时仍强选其中 1 个。有限样本下曲线呈阶梯状；把折线画得平滑，并不会增加证据。

训练前就应约定候选范围、容量和选择规则。例如先排除超容量候选，再按期望收益排序；收益接近时，优先考虑稳定性和运营可解释性。若在几10个很接近的阈值中反复挑最高值，可能只是追逐验证集噪声。应看相邻阈值是否都可用，并在不同时间窗口重复观察，而不是只保留曲线最高点的截图。

练习结束后应能说清：降低阈值通常增加召回和人数，但精确率不保证在任意有限样本上严格单调；提高阈值也不保证净收益增加。真实数据上还需检查各人群的收益与错误数量。交互会依次展示样本、扫描、容量过滤和候选锁定，让指标变化对应到具体行动。

5 交叉验证与时间切分的选用

训练集用于学习参数，验证集用于选择特征、模型、超参数、校准方法和阈值，测试集用于在决策锁定后做最终检查。这些集合的职责比某个固定比例更重要。对近似独立、同分布的公开分类练习，可以先按 60%/20%/20% 切分，并记录随机种子；对不平衡分类可分层抽样，使各集合正类比例相近。但比例需要服从样本量、正类数量和实际部署情境，不能机械套用。

同一对象的多条记录不能随意分散。例如同名客户在多周出现、同件衣服有多个近似图像、同段短评被复制后轻微改写，都可能让模型在测试时遇到近似见过的内容。若目标是预测新客户，应按客户分组隔离；若目标是对既有客户预测未来，则要按时间评估，并承认同客户历史可用。分组方式由上线目标决定，“客户重复出现”是否构成泄漏需要结合任务解释。

当数据不多且近似独立时，可以用 5 折交叉验证：把开发数据分为 5 份，每次用 4 份训练、1 份验证，轮换后汇总表现。除平均值外，还要报告各折波动和正类数量。若选择阈值，可使用严格在对应训练折之外产生的预测分数来研究候选，再按照预定流程形成最终模型与阈值。保留的测试集依然不参与这些选择。

任何会从数据学习统计量的步骤都应在每折内部拟合。缺失值填补用的中位数、标准化的均值、类别编码、文本词表以及特征选择，都不能先对全体数据拟合再切折。即使步骤没有直接读取标签，也可能把验证数据的分布提前传入训练过程。把预处理与模型放进同一条训练流水线，能让这种边界更容易维护。

预测未来时，应优先模拟时间前进。例如用 1—6 月训练、7 月验证、8 月测试。但若标签是未来 30 天是否流失，6 月末样本的标签直到 7 月末才成熟，7 月初训练就不能使用它。需要按照实际训练日期移除尚未成熟标签的样本，并在必要时留出时间间隔。边界设计取决于观察窗口、标签窗口与数据延迟，不能只看表里标注的月份。

滚动评估可以分别用较早历史预测后续月份，观察节假日、价格变化或获客渠道改变后的表现。时间切分未必比随机切分更低，但它回答的是更贴近未来部署的问题。若短文本来自不同时间或平台，也应考虑新词和写作风格变化；若图像将来自新相机或新场地，应保留相应来源用于外部检查。随机拆开来源混合的数据，可能隐藏这类分布差异。

切分结果应作为实验资产记录：样本标识、日期范围、分组字段、过滤规则、标签成熟条件和随机种子都应能追溯。发现测试集污染后，不要通过重新打乱来消除难看的结果。应修复流程，并明确旧结果为何失效，以及新的独立评估从何而来。可靠切分是对问题的模拟，不只是调用某个划分函数。

6 常见坑：用测试集调参、指标与行动脱节

测试集调参不只指修改模型超参数。查看测试结果后删除表现不佳的人群、换特征、改阈值、换预处理，甚至在多个模型中挑测试分数最高的那个，都让测试集参与了选择。每次选择都可能把偶然误差当成规律。最后的分数不再是对未见数据的独立检查，哪怕代码文件仍把该集合命名为 test。

如果最终测试没有达到验收线，应保留失败记录，并决定项目是否需要返回开发阶段。测试结果可以帮助理解失败，但经过这些结果启发的修订方案，必须用新的独立数据再次评估。不要反复“只改 1 个小参数”直到通过，然后把通过那次称为首次测试。资源有限时，可以坦诚标注结果属于开发评估，而不是用名称制造独立性。

泄漏常藏在很合理的字段里。预测取消订阅时，若“最近客服结案原因”在取消后才写入，就泄漏了未来；短文本分类若保留包含标签的文件名或来源标记，模型可能绕过文本内容；图像分类若背景或水印与类别强绑定，随机测试分数可能很好，换背景就失败。排查时应追问字段在预测时是否真实存在，以及它的生成过程是否间接包含结果。

类别不平衡的处理也可能越界。可以在训练部分调整类别权重或采样，但验证集和测试集通常应保留目标场景的自然比例。先对全体数据复制少数类，再切分，会让重复样本跨集合出现。改变训练比例后，预测分数的概率含义还可能发生变化，需要重新检查校准；不能因为训练时“正负各半”，就假设线上也各占 50%。

指标与行动脱节则表现为：报告很高的整体 AUC，却不报前 200 名精确率；展示最优 F1，却没有联系成本；强调准确率提升，却没有给出相对基线的收益。在运营只能处理很少对象时，全范围排序指标可能不敏感于最关注的名单顶部。报告应同时给出部署阈值、名单规模、混淆矩阵和成本假设，确保读者能重建决策。

还要区分坏结果与坏测量。某周召回率下降，可能是模型变差，也可能是标签延迟使正类尚未被记录；分数分布变化，可能来自真实客群变化，也可能来自登录天数整列缺失。应先检查数据版本、标签成熟、样本筛选和字段质量，再讨论重训。否则模型可能被要求修复数据管道的错误，新的训练反而学到错误规律。

最后，切片检查不能停在总体平均值。新客户、不同套餐、不同语言文本或不同图像来源，可能具有不同错误结构。报告各切片时同时给出样本数和正类数，小样本中的极端比例只能作为调查线索。切片规则应与实际风险有关，避免反复搜索直到找出好看的子群。失败路径交互会展示“发现异常—定位证据—修复边界—重新评估”的顺序。

7 案例：高 AUC 仍做出亏钱决策

某团队评估了客户流失模型，独立离线报告中的 ROC-AUC 为 0.91。团队据此认为“模型已经足够好”，在验证阶段没有核对成本，直接沿用默认阈值开展联系。这个案例中的分数和金额都是教学设定，AUC 来自独立排序评估，不是由第 4 节的分组表计算得到。我们关注的是从排序报告到行动账本之间遗漏了什么。

在随后 1000 名客户的教学核算中，策略选出 260 人，其中按原有无干预风险口径估计有 80 名潜在流失者，180 名非流失者。最初方案沿用了每名潜在流失者有 25% 额外挽留概率、成功收益 200 元的假设，因此预计收益为 80 × 0.25 × 200 − 260 × 10 = 1400 元。高召回和正收益看起来互相支持，但这份名单已超过团队 200 人容量。

进一步核算发现，当前渠道每次联系的实际成本为 20 元，且小规模随机对照试验估计额外挽留概率约为 10%。在这些更新假设下，每名潜在流失者的预期净收益为 0.10 × 200 − 20 = 0 元，每名非流失者则损失 20 元。该名单相对不联系的预计增量收益变成 80 × 0 − 180 × 20 = −3600 元。排序能力保持不变，账本已经从盈利变成亏损。

不能据此宣称“实际亏损恰好是 3600 元”。那是将估计效果代入简化账本的期望值，挽留概率本身有不确定性。接受干预后，部分客户不会流失，无法直接看到他们在未干预情况下会怎样，所以不能把联系组最后是否流失直接当成原始风险标签，再套混淆矩阵证明挽留成功。行动改变了结果，观察到的标签也改变了含义。

更可靠的方案是在满足条件的候选人中，通过合适的随机对照设计比较联系与不联系，估计干预带来的增量变化，并把成本完整计入。试验需事先定义样本范围、结果窗口和停止条件。初学阶段先理解为什么需要对照；干预效果建模、复杂实验设计和因果推断的细节放到后续，不把离线分类能力冒充行动效果。

修复方案也不只是提高阈值。当前估计下，连真正会流失的客户都没有正的平均联系净收益，单靠缩小名单不能保证盈利。团队应检查能否降低成本、改善干预方式、寻找对干预更有响应的场景，并保留“不开展联系”作为可选决策。只有新的效果证据支持行动，才有理由重新选择阈值。模型评估有时会得出“暂不上线”，这同样是有价值的结论。

这个案例说明，AUC 回答排序问题，校准回答概率可信度问题，收益评估回答某种行动在特定假设下是否值得。把它们并排报告，才能看见证据缺口。任何“高分模型一定赚钱”的推论，都应补上行动机制、成本和对照效果；这些条件变化后，旧阈值需要重新评估。

8 把评估方案写进上线验收

验收文档要让另 1 名同事按同样输入得到同样判断。开头写清预测时点、服务对象、正类定义、标签窗口、行动方式和不行动基线，再记录数据版本、切分规则、训练流程、特征截止时刻、模型版本与阈值。只保存模型文件无法复现决策；编码规则、缺失值处理和概率校准同样属于被验收的系统。

验收条件应在最终测试前确定，并区分硬约束与观察项。例如，在沿用第 4 节教学成本和分布的练习中，可要求联系人数不超过 200，精确率不低于 50%，召回率不低于 50%，且估计增量收益为正。这些数值是用于教学的验收示例，需要结合真实成本、容量和样本量重新制定。不能在测试结果出来后把门槛改成刚好通过。

通过门槛也要看不确定性。名单只有 10 人且命中 8 人，与名单有 1000 人且命中 800 人，都能报告 80% 精确率，证据稳定程度却不同。至少给出分子、分母与样本时间范围；样本足够时可补充置信区间。若按客户重复采样或存在时间相关性，区间估计方式也要尊重这种结构。本课不展开推导，但不能把小样本点估计写成确定承诺。

上线前应做服务路径检查：在线特征是否与训练口径一致，缺失值是否被相同方式处理，阈值是否被正确加载，名单是否按容量截断，分数相同是否采用约定规则。用少量可追踪样本从输入走到最终行动，能发现“模型离线没错、接口接反标签”这类问题。验收应覆盖端到端行为，而不只是模型库返回的分数。

上线后要把即时监测和延迟评估分开。即时可看输入缺失率、分数分布、联系人数与处理延迟；只有标签窗口成熟后，才能计算相应批次的精确率、召回率和校准情况。应按预测批次关联标签，避免用今天的预测混合上月的结果。若行动会改变标签，还需要独立的效果评估安排，不能继续用受干预结果直接度量原始风险。

回退规则也应具体：输入字段异常或名单超容量时，暂停自动联系并转为人工检查；成熟标签显示关键指标持续不达标时，按预定流程复核阈值或模型。记录触发条件、负责人和恢复所需证据。分布漂移只是调查信号，不是自动重训的充分理由。只有确认问题来源、修复数据边界并获得新的有效评估，才能恢复原有承诺。

9 从经典 ML 评估走向深度学习阶段

进入深度学习后，训练方式和输入表示会变化，但评估的核心职责保持一致。图像分类仍需要独立测试、明确标签、检查混淆矩阵；短文本分类仍需要关注类别比例、阈值与分布变化。不要因为模型更大，就把业务目标替换成单个损失值。训练损失用于指导优化，真正验收还要看目标人群上的任务指标和可执行行动。

在 Fashion-MNIST 练习中，可以先比较简单基线与图像模型的整体准确率，再检查每个类别的精确率、召回率和典型误判。多分类报告中，宏平均先对每个类别计算再平均，让少数类拥有相同权重；微平均则先汇总预测计数，在常见的单标签全类别设置下与准确率一致。需要说明平均方式，不能只写“F1 提升了”。

图像数据增强应在训练部分进行。把同张原图的不同裁剪分散到训练集和测试集，会让评估偏向已见内容。测试时还要检查真实场景中可能出现的光照、模糊与拍摄来源差异，但不要把任意强度的图像破坏当成部署分布。测试条件应有实际依据，结果应区分标准测试与额外鲁棒性检查。

短文本分类可以从公开情感语料入手，检查否定句、短句、拼写错误和不同来源文本。词表、文本预处理及任务内学习步骤要遵守数据隔离。若使用预训练模型，还应记录模型与数据来源，并说明无法确认的训练重合风险。通用榜单成绩不能替代本任务测试，尤其当线上文本比练习语料更短、更新或语言风格不同。

深度模型常输出看似精细的概率，但小数位多不代表校准好。是否需要校准、在哪个验证阶段选择阈值、何时应拒绝自动行动，仍要回到风险和容量。训练随机性也可能带来结果波动；比较接近的模型时，可用预先约定的多个随机种子观察稳定性，完整报告选择过程，不挑选最幸运的那次运行。

本阶段无需进入网络内部结构、优化理论或复杂不确定性方法。先能提交独立数据上的结果、错误样本、行动成本和适用边界，再继续学习更复杂模型。如果模型在新来源上失败，应先确认样本、标签和特征的差异。接下来的特征工程会研究怎样把可用信息表达得更有效，而本课建立的评估方案负责判断这种改变是否真的有帮助。

放进方案里

在项目方案中，把评估写成可执行的决策约定。先说明每周日在仍有效的客户中预测未来 30 天是否取消订阅，列明暂停账户、观察未满和重复客户的处理方式。写清特征只使用预测时刻以前的信息，公开数据练习应单独注明时间字段和标签定义的局限，不把练习结果当成上线效果证明。

接着说明训练、验证、测试的职责与边界。预测未来采用时间切分，按标签成熟日期确定可用训练样本；同客户多次出现时记录分组与历史使用规则。缺失值填补、编码、特征选择和校准均遵守隔离。保存数据版本、样本标识与切分清单，使后续人员可以复现同批评估。

指标部分同时报告 ROC-AUC、部署阈值处的精确率、召回率、F1、混淆矩阵和联系人数。把收益公式、联系成本、挽留概率与收益口径写在指标旁边，区分观测事实和假设。阈值由验证集扫描确定，先满足每周最多 200 人的容量，再比较预计增量收益；如所有候选均不值得执行，允许选择不联系。

验收部分提前约定硬门槛、关键人群检查、样本量要求和独立测试流程，冻结后再查看最终结果。若测试失败并据此修改方案，应重新取得独立证据。对干预是否有效安排对照评估，避免将联系后的标签直接当成未干预风险标签。

运行部分分别安排即时数据质量监测和标签成熟后的批次评估。记录名单规模、输入缺失、分数变化、关键指标与成本变化，指定异常负责人、暂停规则和恢复条件。交付物应包含指标表、阈值收益曲线、错误样本分析及适用范围，让验收者能回答“为什么联系这些人，以及在什么情况下停止”。

10 小结：下一步特征工程（A16）

模型评估把预测任务、数据边界、指标、阈值与行动结果连成完整证据。排序好、概率可信、名单可处理、行动有收益，是需要分别验证的条件。独立测试和上线反馈则帮助判断这些条件能否延续到未来。

请用本课例子自测：为什么 90% 准确率可能没有用？为什么 AUC 不变而收益会变负？为什么未来 30 天标签会影响时间切分边界？若只能联系 200 人，为什么不能直接采用召回率最高的阈值？回答时应指出具体分母、成本或数据时刻。

A16 将进入特征工程：怎样表达用量变化、处理缺失和类别字段、检查新特征是否提供可迁移信息。每次新增特征都应回到同一评估约定，比较基线、成本与错误结构，并保持测试边界。特征是否“聪明”，最终要由可靠的独立证据判断。