1 推理模型与测试时计算要回答什么
面对同一道题，模型立即给出答案，与模型先拆解条件、尝试不同路径、检查结果再回答，消耗的计算量不同。这节课讨论的核心问题是：模型参数已经固定以后，能否用额外的计算提高回答质量，付出的等待与费用又是否值得。训练时计算用于调整参数；测试时计算发生在模型处理新输入时，包括生成更多中间内容、产生多个候选、调用计算工具以及验证候选。“测试时”在这里接近“使用时”，并不专指机器学习实验里的测试集。理解这组词的不同用法，才能避免把线上推理与最终评测混为一谈。
本课把经过专门训练、较擅长分步求解与检查的模型称为推理模型。这不是严格统一的产品分类，也不意味着普通模型不能推理。模型能力、输入信息与求解策略共同影响结果。让模型多生成文字只是增加计算的可能方式，不能保证它更接近事实。对标签定义清晰的短文本分类，简短判断可能已经足够；对需要核对时间窗口、计算指标、比较实验的任务，额外检查可能更有价值。应该先确定什么算正确，再决定要不要多算。
设想你在公开的 Adult 收入数据集上训练分类器，目标标签是年收入是否超过 50,000 美元。输入特征包括年龄、受教育程度、每周工作时长与职业类别。推理模型可以帮助你阅读实验结果、检查特征处理和解释错误，但真正的预测仍可由固定的分类器完成。另一个场景是用公开的 20 Newsgroups 子集区分短文本主题，或者用 Fashion-MNIST 区分服装图像。模型对实验的建议必须落回可复现的程序和保留数据，不能用一段听起来严密的分析代替评测。
因此，本课同时区分 2 层质量：底层分类器在样本上的精确率、召回率、F1 或 AUC，以及推理助手对实验问题给出正确结论的比例。分类器 F1 从 0.78 升到 0.80，不等于推理助手正确率提高了 2 个百分点；助手解释变长，也不等于分类器变好。每次讨论收益，都应说清楚评测对象、样本单位与比较条件。
2 思考链、搜索与验证
思考链通常指把求解过程组织成若干中间步骤。例如先确认正类，再读取混淆矩阵，最后计算精确率与召回率。这样的分解能减少跳步，但中间步骤也可能包含错误。对使用者而言，可审查的依据比冗长的内心叙述更有用：要求模型列出采用的公式、数据范围、工具输出与关键假设即可，不需要把展示出来的解释当成模型内部过程的完整记录。解释流畅只能说明文字连贯，不能直接证明结论正确。
搜索是另一种分配计算的方式：让模型提出多个候选方案，再比较它们。例如短文本分类出现异常高分，可以考虑主题词确实有效、邮件头泄漏标签、重复文本跨越数据划分等候选解释。搜索扩大了检查范围，却也增加了成本。如果候选都来自同一处误解，例如都默认“准确率最高就最好”，生成 8 个方案仍可能遗漏类别不平衡。候选数量与信息多样性不是同一个概念；有时增加 1 次独立的数据检查，比增加多份改写更有帮助。
验证要使用能够区分对错的证据。假设某个正类样本较少的任务得到 TP=30、FP=10、FN=20，则精确率是 30÷40=0.75，召回率是 30÷50=0.60，F1 约为 0.667。计算器或短程序能验证算术；检查标签说明能验证正类定义；查看数据划分能验证是否混入测试样本。让原模型再次回答“你确定吗”只能提供额外判断，独立性很弱。模型重复同一公式中的错误，不会因为重复而成为有效证据。
可以把整个过程组织成“提出—检查—选择—停止”。先要求输出候选结论及依据，再用程序或明确规则检查；候选失败则在预算内修正，候选通过则形成简洁答案。验证也可能发现输入证据不足，此时正确结果是说明缺口，而不是继续编出确定结论。对于图像分类，模型不能仅凭文字报告就断言某张鞋子图像被误标，需要实际查看样本或读取可靠标注。工具返回的内容也要检查来源与适用范围。
3 延迟预算与质量
质量收益需要放进时间窗口里理解。用户等待交互式分析时，2 秒、10 秒与 60 秒意味着不同体验；夜间批处理则可能容忍更长时间。预算至少包含总等待上限、最多候选数、最多工具调用次数与输出长度限制。输出长度限制通常不能完整代表内部计算量；如果系统提供专门的思考预算选项，也应记录实际消耗和真实延迟。不能仅凭某个配置名称就断言模型“多想了多少”。
单次请求的总时间可以粗略拆成排队、输入处理、候选生成、验证和答案整理。多个候选并行生成可能缩短等待，但总计算费用仍会增加；如果验证必须等待前一步结果，增加硬件也不能消除全部串行等待。实验应同时记录中位延迟与较慢请求的 p95 延迟。p95 表示约 95% 的请求在该时间以内完成，它能暴露少数题目长时间反复检查的问题。只看平均值，容易漏掉这些影响体验的尾部请求。
质量也应有分层指标。对于实验诊断题，可把“结论是否正确”“证据是否支持结论”“是否建议使用测试集调参”分别记分。对于底层二分类器，精确率衡量预测为正的样本中有多少确为正，召回率衡量真实正类中找回多少，F1 综合这 2 项；AUC 衡量分数对正负样本的排序能力，不等同于某个阈值下的命中率。选择指标取决于错误代价。例如流失预测更关心漏掉高风险客户时，不能只报告整体准确率。
增加预算的收益通常不均匀：简单题可能没有改善，包含计算与条件约束的题可能改善，缺少必要数据的题则可能只是更晚承认不知道。可以先用低预算处理，发现约束冲突、工具校验失败或证据不足时再升级；但“模型自报信心低”不能单独作为可靠的升级依据。路由规则也需要在保留样本上评测，因为有些错误答案说得非常肯定。系统必须允许预算耗尽后停止，并告诉用户哪些内容尚未核实。
预算还可以沿单条路径串行加深，或分给多个候选并行探索。前者适合逐项核对依赖关系，例如先确定正类数量，再计算召回率；后者适合比较不同诊断假设，例如分别检查重复样本与邮件头泄漏。假设总共允许 4 次工具调用，若把全部额度用于生成候选，最后就可能没有额度核实任何结论。因此要为验证与答案整理预留预算，并在每轮开始前检查剩余时间。一个常见失败是候选在第 19 秒才生成完，系统为赶上 20 秒上限直接输出未经验证的答案。更合理的做法是提前停止扩展候选，只返回已经完成检查的结论；尚未验证的假设应保留为待查项，不能因时间紧迫自动升级为事实。
4 动手：对照一次加长思考的收益
下面做一个可复现的实验设计，比较推理助手在相同问题上使用不同预算的表现。选择公开的 20 Newsgroups 中 2 个主题，将正文处理成短文本，每条最多保留 120 个词。清除邮件头、签名与引用内容，检查重复文本，并在划分前把同一来源的近重复内容归为同组。输入特征可以采用训练集拟合的 TF-IDF，底层分类器使用固定的逻辑回归。主题标签只是教学目标，不能将结果直接推广到所有短文本场景。
先明确数据划分协议。若从合并后的数据重新划分，可按组构造约 60% 训练集、20% 验证集、20% 测试集，尽量维持主题比例，并记录实际数量、随机种子与分组规则。该结果不应冒充官方划分的基准成绩。词表与逆文档频率只在训练集拟合，阈值与超参数只用验证集选择，测试集最后使用。近重复分组与比例约束发生冲突时，优先避免同组跨集合，并报告比例偏差。数据少到无法保持可靠划分时，应缩小结论范围。
用固定脚本生成 40 个助手评测题，每题包含必要的实验记录，并保存独立参考答案。题目覆盖指标计算、泄漏识别、不平衡诊断和分布变化判断。例如给出 TP=36、FP=12、FN=24，让助手计算精确率 0.75、召回率 0.60、F1 约 0.667；另给出“先对全部数据拟合 TF-IDF 再划分”的代码片段，要求指出验证与测试文本参与了特征统计。还可以提供去除邮件头前后的分数及样本，让助手判断异常高分是否有可疑捷径。题目必须含足够证据，不能靠猜隐藏设置。
把题目另行分成 20 个策略开发题和 20 个保留评测题。先在开发题上确定预算与提示，再冻结方案。配置 A 直接给出结论和简短依据；配置 B 允许额外生成候选并调用计算器，最多 3 次检查，总等待上限为 20 秒。两者使用相同模型版本、相同输入记录与相同工具权限，配置 A 也可以使用工具；差别应集中在计算预算和求解流程。若同时更换模型，就无法把收益单独归因于加长思考。
对每道保留题各运行 3 次，交错执行 A 与 B，记录结论正确性、公式与证据、工具调用、实际耗时以及预算耗尽情况。重复运行用于观察随机波动，不能把同一道题的 3 次结果当成 3 个完全独立问题。最好先按题目汇总，再比较成对差异：哪些题由错变对，哪些由对变错。参考答案和判分规则在看结果之前冻结；人工评阅时隐藏配置名称，减少偏好长答案的影响。
假设得到如下教学用结果：按每题 3 次多数结果计，A 在 20 题中答对 14 题，B 答对 16 题；中位延迟从 2 秒变成 8 秒，p95 从 5 秒变成 19 秒。应报告“该小样本中净增加 2 道正确题”，同时说明其中可能有 4 道由错变对、2 道由对变错。它不能证明所有任务都提高 10 个百分点。检查修正是否来自真实证据，再决定是否扩充评测；若看到保留结果后改了提示，就需要新的保留题进行最终评估。
5 质量与成本/时延取舍
决定是否采用更长预算，不能只问最高分是多少，还要问新增正确答案需要付出什么代价。把每个配置画成质量与延迟平面上的点，可以看到有些配置同时更慢、更差，应首先排除；剩下的配置代表不同取舍。费用还应包括失败后的重试、工具运行与人工复核。若 1 次长思考调用更贵，却显著减少后续人工检查，总流程费用可能下降；反过来，单次正确率略升却让大量简单请求变慢，也可能没有实际价值。
沿用前面的示例，假设 A 平均每次消耗 1 个费用单位，B 消耗 4 个单位。这是教学用相对量，不是任何服务价格。20 道题各运行 3 次时，A 的总费用为 60 单位，B 为 240 单位；按多数结果比较多答对 2 题，只能把 180 单位看作这组评测增加的支出，不能将其当作稳定的“每个正确答案价格”。样本规模、重复次数与线上题目分布改变后，该比值也会改变。结果解释应保留这些条件。
滑块可以帮助观察假设关系：预算从 1 增到 5 时，模拟正确率先快后慢地增长，延迟与费用继续上升。曲线只用于解释边际收益，实际系统必须用测量值替换。交互中还应展示不变的底层分类器 F1，提醒读者：调整助手的推理预算，并未重新训练分类器，也没有改变数据。若助手建议新阈值，必须另做验证集实验，不能把建议本身计作性能提升。
产品可以按需求设不同预算。例如报告中的指标计算必须经过程序核对；低风险的措辞整理可以快速返回；涉及是否存在泄漏的结论，需要证据齐全才能确认。路由依据应是可观察的任务要求，而不是文字看起来复杂。对分布变化也要单独监控：训练数据是较长论坛正文，线上变成包含缩写的短留言时，原有分类器可能失效。多花时间解释旧指标无法修复新数据分布；应收集代表性样本、重新标注并评测。
6 常见坑：无限思考无停止条件
“继续想，直到绝对正确”不是可执行的质量标准。开放问题没有可观察的绝对正确信号，而工具失败、证据缺失与候选冲突都可能让过程循环。每次运行至少要有硬上限与成功条件：例如最多 3 轮、总等待 20 秒、最多 3 次工具检查；必要公式全部通过、关键结论有来源时结束。任何上限先到就停止，保留当前状态并输出尚未解决的问题。需要长期运行的任务也应分阶段保存结果，不能让用户只看见无限等待。
另一个坑是把一致性当成正确性。让同一个模型用相似提示回答 5 次，再取多数票，只在错误没有完全相关时才可能有帮助。如果所有候选都把正类写反，多数票会稳定地选择错答案。验证器若与生成器共享同一错误假设，也会形成错误闭环。优先验证能独立检查的部分：公式交给计算程序，划分交给样本标识检查，字段含义交给数据说明。验证器仍有适用边界，程序通过只说明所检查的规则通过。
数据泄漏尤其容易被“更认真地分析”掩盖。在流失预测中，预测时点之后的注销日期、客服挽留结果与最终账单都可能泄露结局。即使随机划分后的 AUC 很高，也不能证明模型能提前识别流失。应定义预测时点，例如以每月末已知信息预测未来 30 天内是否流失，再按时间划分并检查特征可用时间。额外计算的价值是帮助发现时间关系，无法把一个不合法的输入特征变合法。
类别不平衡也会制造假象：若正类只占 5%，始终预测负类的准确率就有 95%，但正类召回率为 0。推理助手如果围绕高准确率反复赞同，就在浪费预算。应该先核对类别比例、混淆矩阵与阈值，再讨论改善。停止并不一定意味着给出确定答案；识别缺少正类样本、标签不可靠或数据不可用，也可以是正确结束。把这些情况记录为独立状态，才能防止系统用“看起来完成”掩盖未完成。
7 案例：自我验证放大错误自信
一个团队用公开流失数据演示预测流程。特征包括合同类型、在网月数、月费用与服务类别，标签为是否流失。他们先按 60%/20%/20% 划分训练、验证与测试数据，训练固定分类器，验证集调阈值。某次报告显示，在 200 条评测记录中 TP=24、FP=16、FN=36、TN=124。助手先回答“精确率 0.60，召回率 0.60，结果均衡”，随后又执行了 2 次文字自检，最终以更肯定的语气重复结论。
实际精确率为 24÷40=0.60，召回率为 24÷60=0.40，F1 为 0.48。错误来自把预测为正的 40 条误用作召回率分母。后续自检沿用了这处定义，没有重新读取真实正类数量，因此扩大了错误自信。若产品只展示“已验证 2 次”，使用者反而可能更少检查。验证次数不是质量凭证，应展示验证对象和结果，例如“程序核对 3 个指标，通过 2 项，失败 1 项”。
修正流程首先要求生成结构化输入：正类定义、TP、FP、FN、TN 与样本来源。计算程序独立得到指标，助手负责解释业务含义：该阈值下仍漏掉 60% 的真实流失样本，若漏报代价较高，应在验证集上考察更低阈值，并观察精确率下降多少。这个建议仍需实验，不能直接宣称模型已改善。如果这些 200 条记录来自测试集，团队可以报告最终表现，却不能根据这次结果持续调阈值并继续把同一集合叫作未见测试集。
再往前检查，若数据包含流失发生后才更新的字段，则即使公式正确，评测仍可能无效。若线上客户合同结构与公开样本不同，原有分数也不能直接代表线上效果。完整验证因此至少有 3 层：算术正确、实验协议正确、应用条件相符。额外计算可以改善其中某些环节，但不能替代真实数据。复盘时应统计错误首次发生在哪里、何种检查发现它，以及更长预算是否拖延了发现时间，避免只记录最终答对与否。
8 把测试时策略写进产品方案
测试时策略应该成为明确的产品行为。先定义输入契约：用户提交的是混淆矩阵、实验配置、代码片段还是样本；缺少哪项就不能作出哪类结论。再定义输出契约：给出结果、简洁依据、已执行的检查与未解决问题。对指标计算，可以要求所有数值都由工具返回；对泄漏判断，可以区分“确认存在”“存在疑点”“证据不足”。这种状态比只让模型输出信心百分比更容易审查，也更容易接入后续工作流。
接着写清路由和停止规则。快速路径先处理输入完整且规则明确的任务；触发指标冲突、特征时间不明或工具校验失败时进入额外检查。到达最大轮数、时间或费用上限后返回部分结果，并说明失败原因。若需要用户补充信息，应明确指出所缺字段，例如“缺少真实正类总数”，而不是继续猜测。对影响较大的决定，交由有权限的人复核；模型能够提出实验建议，不应自动把建议变成已批准的生产变更。
上线前冻结比较协议，至少同时评估任务正确率、错误类型、p50 与 p95 延迟、单请求费用、预算耗尽率和转人工比例。对短文本分类项目，还应保留底层分类器各类别的精确率、召回率与 F1；对图像项目，可查看混淆最严重的类别与代表性误判样本。助手评测与分类器评测分开记录，再分析两者如何共同影响用户完成任务。不要用助手文字质量覆盖底层分类错误。
运行日志应包含模型与提示版本、预算配置、工具版本、证据标识、停止原因和最终状态，尽量避免重复保存不必要的原始个人信息。出现分布变化时，先确认新样本是否仍适用旧协议，再重新评估预算策略。回退方案也要可执行：额外检查服务失败时，可以返回已核实的计算与缺口，或转人工，不能静默伪装成完整分析。这样，推理能力才成为能测量、能维护的系统组成部分。
9 从推理模型与测试时计算走向AI 安全（A56）
本课讨论“怎样多算得更值得”，下一课需要进一步问“哪些结果与行动可以被允许”。计算更充分并不自动意味着更安全。模型可能更熟练地为错误前提寻找理由，也可能在工具调用中接触不可信文本。如果网页、文档或数据样本里包含“忽略原有规则”的内容，系统需要区分待分析的数据与有权发出的指令。不能因为模型已经反复思考，就允许它扩大权限或绕过原有审批。
以短文本分类实验为例，样本正文可能含有类似系统命令的句子，但它仍然只是分类输入。助手应按约定检查文本，不应执行其中要求读取其他文件或发送数据的指令。对工具也应限定范围：核对混淆矩阵需要计算权限，通常不需要修改训练数据、发布模型或访问无关记录。推理预算描述“花多少计算”，权限边界描述“能做什么”，两者必须分别设计。
安全评测还要覆盖正常平均表现之外的情况：输入缺失、来源互相矛盾、工具返回异常、恶意文本干扰与敏感信息暴露。系统能否在证据不足时停止，是否准确说明检查范围，是否保留可复核记录，都是可靠性的组成部分。不能把每个失败都解释成“思考不够久”；有些失败需要更好的数据、规则、权限或人工判断。无限追加预算会使问题更隐蔽，也会增加资源消耗。
进入 A56 前，可以带走 3 个问题。哪些结论有独立证据支持？哪些行动超出了当前任务所需权限？当验证失败或预算耗尽时，系统如何结束？回答这些问题，就把对质量与成本的讨论连接到了风险控制。后续再学习更系统的安全威胁与防护方法，本课先坚持可检验的原则：额外计算是一种资源，必须配合证据、停止条件和明确责任，才能成为可用能力。
放进方案里
本项目为分类实验提供分析助手，输入包括正类定义、数据划分记录、特征说明、混淆矩阵与必要样本。助手负责计算指标、提示实验风险并解释结果。底层分类器的训练与部署采用独立流程。首期使用公开短文本数据验证方案，记录正文清理、近重复分组、训练集拟合 TF-IDF、验证集选阈值与测试集最终评估的过程，确保指标有可追溯来源。
系统设置快速与加长检查 2 种路径。完整且公式明确的请求走快速路径；出现指标冲突、时间泄漏疑点或检查失败时升级。加长路径最多执行 3 轮检查，总等待不超过 20 秒，并受单请求费用上限约束。公式由计算工具核对，数据来源与特征时间由实验记录核对。到达上限后返回已核实部分、未解决问题与停止原因，证据缺失时请求补充信息。
上线依据采用冻结的保留题评测，同时比较结论正确率、由对变错的题目、p95 延迟、实际费用及预算耗尽率。分类器另外报告精确率、召回率、F1 与适用时的 AUC，并按类别检查漏报。只有收益达到预先约定的门槛、等待时间符合使用场景，才扩大加长路径的适用范围。小样本结果用于发现问题，不能直接承诺普遍提升。
日志保存模型版本、提示版本、预算、工具检查结果与证据标识。对数据分布变化和服务失败设置回退：返回有限结果或转人工，并重新评估原有指标是否适用。样本内容按数据处理，不能改变系统权限；模型提出的阈值或特征建议须经过验证后再实施。方案评审最终检查的是结果是否可信、成本是否可控、失败是否能够结束。
10 小结：下一步AI 安全（A56）
推理模型可以在固定参数之后，通过分解问题、搜索候选与验证结果使用更多计算。收益需要成对实验确认，质量、费用和延迟需要共同评估。更长解释、多数赞同与自我确认都不能代替独立证据。
自测时可以尝试回答：为什么 F1 的提高不能直接归因于助手多思考？为什么 5 个相同错误候选无法保证多数票正确？预算耗尽后该返回什么？如果你能指出评测对象、检查来源与停止状态，就已经掌握本课的核心。下一课 AI 安全（A56）将继续讨论输入可信度、权限边界与失败处理。