A52

MLOps 进阶

点击正文段落选定收藏或划线位置;未选定时使用屏幕内第一段。

课内目录

1 MLOps 进阶要覆盖什么

模型在笔记本上得到较高分数,只说明某段代码在某份数据上完成了计算。上线以后,数据会增加,字段会变化,标签可能延迟到达,负责训练的人也可能换岗。此时真正困难的问题是:现在服务的是哪个模型,它使用了什么特征,为什么获准发布,出现问题后能否恢复?MLOps 进阶要把这些问题变成可以执行、可以检查的工作流程。

本课把 MLOps 理解为围绕机器学习的开发、交付与运行协作。这里的“进阶”不是先学习复杂的平台架构,而是把实验记录、自动回归、发布审批、线上观察和回滚连接起来。目标也不是让系统不断自行训练,而是让每次变化都有明确输入、可比较的结果和能够承担责任的人。工具可以逐步增加,这些关系需要先讲清楚。

贯穿本课的任务来自公开的 UCI Bank Marketing 数据集,选用原始版本中的 bank-full 表。标签 y 表示客户是否认购定期存款,输入可包括年龄、职业、账户余额、住房贷款、个人贷款及以往营销记录。我们把预测时点限定为本次联系之前,因此本次通话时长 duration 不得进入特征。它在联系结束后才知道,即使能显著提高离线分数,也属于面向这个预测时点的信息泄漏。

这个例子适合学习表格分类,但公开历史数据不等于某家机构今天的业务。以下混淆矩阵、阈值与耗时均为教学设定,不代表在该数据集上实际训练得到的结果。我们关注的是如何组织证据。若用于真实业务,还要明确客户授权、联系限制和人工复核要求,模型分数只构成决策依据的部分内容。

先建立朴素基线:使用固定的字段清单,训练逻辑回归,以是否认购为正类。按标签分层划分训练集、验证集、测试集,比例为 60%、20%、20%,固定随机种子 42,并保存具体样本归属。训练集负责学习,验证集负责选择阈值和比较候选,测试集保留到发布候选确定后再做独立评估。随机种子不能代替划分清单,因为原始行顺序变化也可能改变抽样结果。

随机划分只支持相近历史样本上的教学比较。若真实任务预测未来,应根据可用的事件时间划分,并检查同一客户是否跨越集合;本数据的日期信息不足以证明严格的未来泛化能力。重复样本也不能随意落到不同集合。模型在重复记录上表现很好,不能证明它学会了应对新客户。这些限制必须跟着实验报告保存。

完整的交付对象应包含数据引用、特征处理、模型文件、决策阈值、运行依赖和评估结果。后面若加入文本模型,还要补上提示与输出约定。把这些内容绑定为发布版本,才能回答“这个分数到底由什么产生”。图中的反馈箭头表示人工与自动检查共同推动改进,并不表示看到波动就立即重训。

从实验到运行的 MLOps 责任闭环
从实验到运行的 MLOps 责任闭环

2 特征/模型/提示一体化

特征、模型和提示看起来是不同文件,却共同决定系统行为。训练时把未知职业编码为特定类别,服务时却把它当作空值,模型本身即使完全没有变化,输出也会偏移。因此,版本管理不能只给模型文件编号,还要记录输入字段、缺失值规则、类别映射、字段顺序和输出解释。所谓一体化,是让相关依赖能够共同追溯与共同交付。

在本例中,数值字段可以采用缺失值填补和标准化,职业等类别字段采用独热编码。填补值、均值和类别词表都只能从训练集拟合,再原样应用到验证集、测试集与服务请求。如果先对全量数据计算均值再划分,验证与测试的信息已经进入训练过程。泄漏不只来自明显的结果字段,也可能藏在看似普通的预处理步骤里。

特征说明还需要记录“何时能知道”。过去营销次数可以来自本次预测之前已经完成的记录;本次联系最终结果不能提前使用。字段同名不代表语义相同,例如离线余额是某日快照,线上余额却是实时值。即使两者都是数值,统计含义也发生了变化。应在特征契约中写清来源、时间含义、单位、合法范围和不可用时的处理方式。

把变换器和分类器保存为同一条可加载管线,能减少复制预处理代码造成的差异。每个发布包还要绑定阈值:输出 0.63 是正类概率估计,超过阈值才形成预测标签。把阈值从 0.5 改成 0.2,会改变召回率、精确率和人工联系量;即使模型字节没有变化,这也是需要回归与记录的行为变更。

提示只在使用文本生成或相关模型的路径中出现,表格分类不需要为了统一平台而添加提示。假设另有短文本投诉分类任务,输入是投诉正文,输出限定为“账务、服务、其他”。提示版本应包含任务说明、标签定义、示例、输出格式与截断规则,并绑定模型标识和生成参数。示例文本若包含测试集答案,也会破坏评估的独立性。

对图像分类,同样需要绑定图片缩放、颜色通道、归一化与类别顺序;对短文本分类,则要绑定清洗、分词或提示模板。不同任务无需强行共用预处理,却可以共用发布记录格式。共同的问题始终是:输入如何转成模型看到的内容,输出如何转成使用者采取的动作。模型文件只是这个过程中的组成部分。

实践中可以建立发布清单,列出代码提交、数据快照摘要、划分清单摘要、特征版本、模型摘要、阈值与依赖锁定文件。内容摘要用于检查字节是否一致,不能证明数据来源合法或处理逻辑正确。注册表可以保存这些关联,但不能靠界面上的“最新版”代替不可变标识。读者需要能沿清单找到实物,也能从实物反查对应评估。

数据、变换、模型和提示如何绑定到发布清单
数据、变换、模型和提示如何绑定到发布清单

3 连续交付与合规审计

连续交付的价值是让候选版本随时具备受控发布的条件。它不要求训练结束就自动接管生产。代码修复、特征调整、阈值变更和训练数据更新都可能触发流水线,但风险不同:修改报告标题通常无需重训,改变缺失值规则则需要重新训练和评估。先根据变更影响决定检查范围,比无差别重跑全部任务更容易维持稳定速度。

流水线至少包含数据检查、训练与回归、制品登记、审批、试运行和观察。数据检查关注字段、类型、重复、标签比例和时间边界;回归检查关注质量与性能是否退步;登记保证通过检查的文件可以定位;审批确认发布目的与责任;试运行则用有限范围验证真实环境。每个环节都要保存结果,不能只留下最后的绿色状态。

以正类较少的任务为例,准确率容易误导。假设评估集有 1000 条记录,其中正类 100 条,全预测为负类也有 90% 准确率。若模型得到 TP=60、FP=40、FN=40、TN=860,则精确率为 60%,召回率为 60%,F1 为 0.60。精确率回答预测为正的样本有多少真正为正,召回率回答真正的正类有多少被找到,F1 综合体现两者。

ROC AUC 观察不同阈值下的排序能力,不能直接说明某个发布阈值的人工处理量。类别不平衡明显时,还应结合 PR 曲线与正类比例解释结果。本课的基本质量门槛设为验证回归集上精确率至少 0.55、召回率至少 0.60,且相对已批准基线的 F1 下降不超过 0.02。这些数值是教学约定,真实门槛必须由误报和漏报的实际代价决定。

候选在验证集上通过以后,才按事先确定的流程进行最终测试评估。不能每次失败就查看测试集并继续调参,否则测试集逐渐变成另一个验证集。持续回归主要使用固定的验证回归集,并在需要时补充版本化的边界样本。长期反复迭代还要安排新的独立评估数据,避免把历史集合越调越熟误认为质量持续提升。

审计记录要回答是谁、在何时、依据什么、批准了什么。至少保存发布清单、门槛配置、检查结果、审批结论、部署事件和回滚事件。原始客户内容不应因为“方便排查”而无限复制到日志中;一般运行日志可使用请求标识、版本标识、耗时和必要统计。原始样本的访问与保留应遵循明确用途和权限规则。

合规要求会随场景变化,流水线通过不代表自动满足所有法律义务。就本课而言,先形成清楚的访问权限、保留期限、人工责任和证据关联即可。训练权限与生产发布权限可以分开,例外放行需要理由、责任人和到期时间。对模型偏差、公平性和特定行业法规的完整评估,需要另行制定专题流程,不能用总体 F1 替代。

发布门槛与审计证据的关联
发布门槛与审计证据的关联

4 动手:打通一次自动回归流水线

现在把流程缩成能够在普通开发环境完成的练习。准备公开数据的固定快照,记录下载来源、所选表、字段说明与内容摘要;建立固定划分清单;用逻辑回归生成基线。首轮练习先以手动启动流水线为宜,确认每个步骤都有输入输出,再接入代码变更触发。这里提供任务约定,具体脚本可以用团队已经熟悉的工具实现。

工作区可以按 data、src、reports 和 artifacts 组织。数据目录保存快照引用与划分清单,代码目录保存预处理和训练逻辑,报告目录保存机器可读的指标与人工可读的解释,制品目录保存已绑定的变换器和模型。含敏感信息的数据不应直接提交到代码仓库;公开练习数据也需要记录来源,不能因为任何人都能下载就忽略版本。

流水线先检查 y 的取值和缺失情况,确认 duration 被排除,确认重复记录按既定规则处理,再检查训练、验证、测试样本归属互斥。若业务存在客户标识,还应按客户检查交叉;本公开表没有可靠客户标识,不能据此声称已经排除了所有客户级泄漏。发现约束无法验证时,要在报告中保留限制,而不是把未知写成通过。

接下来在训练集上拟合预处理与分类器,生成验证集的正类分数。使用验证集选择阈值并将其冻结,再执行固定回归。报告至少包括样本数、正类数、TP、FP、FN、TN、精确率、召回率、F1、ROC AUC,以及约定环境下的预测耗时。耗时要同时记录硬件、批量大小和测量方式,否则不同机器上的数字难以比较。

下面的片段是配置示意,表示需要实现的约束,不是某个工具可以直接执行的命令。threshold 必须来自已经完成的验证选择,后续最终测试阶段不能继续调整它。baseline_release 指向已批准版本,不能动态解析为当前列表中的最后一项。

task: bank_subscription
split_ratio: [0.60, 0.20, 0.20]
split_seed: 42
exclude_features: [duration, y]
threshold: 0.50
regression_set: validation-v1
baseline_release: bank-r001
gates:
  precision_min: 0.55
  recall_min: 0.60
  f1_drop_max: 0.02
on_failure: stop_and_keep_report

假设基线在固定验证回归集上得到前述混淆矩阵,候选得到 TP=64、FP=36、FN=36、TN=864,那么候选的精确率、召回率与 F1 均为 0.64,满足示例质量门槛。这个结论只对该集合成立。候选还要通过输入契约、制品加载与性能检查,再进入冻结后的独立测试和审批,不能因为总体分数提高就跳过其他步骤。

练习时主动制造 2 种失败:把 duration 加回特征清单,数据规则应阻止训练;把阈值提高到导致召回率低于门槛,回归应阻止发布。失败也要产出报告,指出具体规则、观测值与要求值。成功路径则登记不可变发布包,再在测试服务中加载它,对固定请求检查输出格式、版本标识和类别映射,最后保留可恢复的前版。

自动回归流水线的输入、门槛与输出
自动回归流水线的输入、门槛与输出

5 速度与治理取舍

训练更快不一定让交付更快。若评估报告需要手动拼接,模型登记后又要重新寻找阈值,节省的训练时间可能很快被协调消耗。先观察从提交候选到批准发布的总时长,区分计算、等待、人工检查与重复劳动。治理做得合适时,固定格式的证据可以自动生成,人工把注意力放在变化的意义和异常风险上。

降低检查频率看似能提速,却可能把成本推到事故处理。较实用的办法是按变更影响复用证据。例如模型和特征均未改变的服务日志修复,可以复用既有模型质量报告,但仍需验证服务行为;训练数据快照发生变化,则必须重新评估模型质量。复用的前提是依赖关系明确,不能用“看起来差不多”替代内容摘要与版本关联。

阈值体现了另一种取舍。还是在含 100 个正类、900 个负类的固定教学集合上,阈值为 0.20 时设 TP=80、FP=120,精确率为 0.40、召回率为 0.80,需要处理 200 个预测正类;阈值为 0.50 时设 TP=60、FP=40,精确率和召回率均为 0.60,需要处理 100 个。提高召回通常会带来更多误报,需要结合联系能力和客户体验判断。

阈值为 0.80 时设 TP=30、FP=10,精确率为 0.75,召回率降到 0.30,只需处理 40 个预测正类。这个结果并不能因为人工负担较低就自动获准发布,它没有达到示例召回门槛。交互中的 3 个位置使用同一个模型的固定分数样本,AUC 不随阈值改变;如果连 AUC 也跟着滑动,就混淆了排序质量与决策规则。

小样本上的差异还可能来自随机波动。指标提高 0.01 不一定表示稳定改进,应同时检查正类样本量、重要切片和误差样本。教学阶段可以先保存分组指标与具体失败样本,避免只看总分;更严格的统计比较与置信区间方法可以后续学习。若某个职业切片只有少量正类,报告应标注证据不足,不能用高召回率下结论。

治理也有维护成本。每条门槛都需要责任人解释目的、调整条件与失败处理;没有人能说明用途的检查,容易变成机械打勾。团队应定期检查哪些规则真正发现问题,哪些告警长期无人响应。合理的发布节奏,是让证据准备尽量自动化,让不可逆或影响较大的决策保留必要复核,并用实际故障和等待时间持续修正规则。

6 常见坑:多套工具数据不一致

多套工具并不天然导致混乱,缺少共同标识才会。实验系统记录 model-17,制品目录保存 final.pkl,服务页面显示 v3,监控报表只按日期汇总。每处单独看都像有版本,连接起来却无法知道线上 v3 是否就是验证过的 model-17。处理方法是建立共同的 release_id,并让每个系统保存它及所引用内容的不可变摘要。

发布清单负责关联事实,原始制品仍由对应存储保存。实验记录引用数据快照和代码提交,发布登记引用实验结果与模型摘要,部署事件记录目标环境、实例和生效时间,监控事件携带实际加载的 release_id。服务启动时应从加载的发布包读取版本,避免把版本写死在页面配置中,出现“页面已更新、模型仍是旧版”的假象。

另一个常见问题是指标同名但定义不同。训练报告中的 recall 可能以认购为正类,监控查询却把未认购当作正类;离线分母包含全部样本,线上只统计拿到标签的样本。两边数字不同,不一定是模型突然退化。指标契约应写明正类、阈值、样本范围、去重方式、标签成熟时间和统计窗口,再讨论差异是否异常。

标签延迟尤其容易造成误判。某个客户今天被预测,过几天才确认是否认购;如果把今天尚未返回标签的样本全部记为负类,线上精确率会被人为压低。应按预测批次等待约定的结果窗口,并报告已成熟样本数、已回收标签数和覆盖率。仍缺失的标签保持未知,不能默默填成负类,也不能只保留容易拿到标签的客户而不说明偏差。

观察信号可以分为服务、输入与结果。服务信号包括错误率和预测延迟,输入信号包括字段缺失率、类别变化和分数分布,结果信号包括成熟标签上的精确率、召回率与 F1。输入分布变化只是分布偏移的线索,不能直接证明模型质量下降;结果稳定也不能抵消服务大面积报错。不同信号应触发不同调查路径。

离线与线上特征不一致时,先对固定样本比较处理前字段,再比较处理后向量,最后比较模型分数和阈值判断。不要一开始就重训。若问题来自类别映射错位,换新模型可能把故障暂时掩盖,还增加变量。调试样本需控制访问范围,可以优先使用脱敏或合成请求,必要的真实样本通过受控路径调取。

跨工具同步不必追求所有页面在同一瞬间刷新。应优先保证发布清单不可变、事件有时间与版本、查询能区分数据产生时间和汇总时间。当报表延迟时,明确显示截至时间,比展示貌似实时的旧结果更有用。对账任务可定期检查部署中的版本是否均有对应制品、评估与审批记录,把缺失关系当作需要处理的异常。

服务、输入与成熟标签构成分层观察
服务、输入与成熟标签构成分层观察

7 案例:线上回滚找不到可复现版本

某团队发布 bank-r008 后发现预测正类比例突然增加,人工联系队列明显变长。负责人决定恢复 bank-r007,却发现注册表只有旧模型文件,预处理目录已经被新训练覆盖,阈值保存在临时配置里。继续寻找时,又发现训练数据链接指向会被每日更新的表。问题不是没有“旧模型”,而是旧模型运行所需的条件没有一起保存。

此时不宜反复尝试不同组合,直到结果看起来正常。首先保留当前部署标识、异常时间窗口、输入统计与日志,暂停扩大发布范围,并按既定业务预案限制影响。若仍有健康的旧版本实例,可在确认其实际加载版本后恢复流量;若没有经过验证的可运行旧包,应启用已批准的人工处理或暂停策略,不能把临时拼装的文件称为已完成回滚。

调查先核对实际服务加载的模型摘要、变换器摘要和阈值。假设证据显示模型文件属于 r007,类别映射来自 r008,阈值又来自更早的实验,那么线上已经不是任何一次评估过的组合。版本登记中的名称不能反驳运行证据。应把这类情况记录为发布包完整性故障,并继续检查产生混装的复制或配置过程。

接着在隔离环境加载保存下来的组合,对固定样本逐层比较。原始字段相同但特征向量不同,优先排查预处理;特征向量相同但分数不同,检查模型与运行依赖;分数相同但标签不同,检查阈值及正类定义。只有这些关系一致后,才进一步评估新输入分布是否改变,避免把部署错误误判成需要重训的数据漂移。

恢复措施是补齐能够验证的完整发布包,并经过加载检查与固定请求回放后切换。之后还要观察错误率、延迟、预测比例,以及标签成熟后的业务质量。请求恢复成功只能说明服务重新工作,不能马上证明精确率已经恢复。事故记录应保留观察窗口和结束条件,说明哪些结论已有证据,哪些仍在等待标签。

“可回滚”和“可重新训练”需要分别验证。可回滚要求能够取回旧包并在兼容环境中运行;可重新训练要求保留数据快照、代码、划分、配置、依赖和随机设置。部分训练计算存在非确定性,因此重新训练未必得到逐字节相同的模型,应提前约定允许的指标差异。已经保存的原始发布制品,则可以通过摘要核验身份。

复盘不应只写“加强版本管理”。可执行的改进包括发布前检查包内引用是否齐全、禁止覆盖已批准制品、部署后核对实际摘要、按保留策略维持前版可用,并定期在隔离环境演练恢复。演练要记下取得旧包、加载、回放和流量恢复各阶段耗时,才能知道承诺的恢复时间是否现实。备份存在与备份可用是不同证据。

回滚失败时从运行证据逐层定位
回滚失败时从运行证据逐层定位

8 把进阶 MLOps 写进治理方案

治理方案首先定义对象与边界。本例的对象是联系之前的认购预测,范围包括数据准备、训练、评估、发布、运行观察与恢复。它不负责证明所有未来客户行为,也不自动决定可以联系哪些客户。把预测能力与实际动作的责任写清楚,才能避免模型报告中的技术指标被当成完整业务授权。

然后把角色落到具体职责。数据负责人维护来源说明、字段语义与快照可用性;模型负责人维护训练、评估和误差分析;发布负责人检查证据与上线条件;运行负责人观察告警并执行恢复。小团队可以由同一个人承担多个角色,但关键发布仍应有能够追问证据的复核机制。方案需要写明替补人与升级路径,不能只写抽象部门名称。

质量标准应同时包含绝对底线与相对退步约束。例如精确率不低于 0.55、召回率不低于 0.60,相对基线的 F1 下降不超过 0.02,并声明适用的验证回归集版本。性能标准则写清测试环境、请求规模和可接受延迟。若缺少这些条件,“模型质量良好、响应足够快”无法成为可审查的发布结论。

对观察与恢复,写明信号、窗口、责任人和动作。服务错误激增可以触发快速隔离;缺失率明显改变先启动数据调查;成熟标签上的质量下降再结合样本量和切片判断是否恢复前版。输入分布告警不应直接变成自动重训命令。恢复前还要检查旧模型是否兼容当前请求字段,否则回滚模型可能引入另一种故障。

证据保留要考虑保存什么、存多久、谁能取回,以及删除后还能证明什么。模型与必要依赖可按发布策略保留,含个人信息的训练快照则需结合合法用途和保留要求管理。若原始数据依法删除,方案应如实声明重新训练的限制,并保存仍可合法保留的来源记录与评估证据,不能为了复现无限期保留所有数据。

提示类应用也要进入相同变更流程。修改标签定义或示例可能改变输出分布,应绑定新的提示版本并运行固定文本回归;图像模型修改缩放方式同样需要评估。治理的共同部分是证据、责任和可恢复性,具体门槛仍按任务制定。复杂的自动特征平台、漂移算法与多模型路由可以后续引入,先确保现有流程能够解释并重演关键决策。

验收时可以抽取一个已批准版本,请不参与训练的人仅凭清单找到制品、解释指标、启动测试服务,并恢复到前版。这个小型演练比展示工具数量更能证明治理是否落地。若某一步需要依赖原作者记忆,就把缺失信息补回流程。方案由此从文档要求转成能够持续维护的工作约定。

9 从MLOps 进阶走向算力效率与成本(A53)

当版本与质量证据稳定以后,才能有根据地讨论算力效率。若今天训练的是不同数据,明天换了阈值,后天又改了输入长度,只比较账单无法知道效率是否提高。A53 将继续关注在质量与服务目标约束下,训练和推理需要消耗多少资源。本课先把可比较的条件准备好,暂不展开底层加速细节。

对表格分类,可以记录训练样本数、特征维度、训练耗时、预测批量大小与单位请求耗时;对图像分类,补充图片尺寸与批量;对短文本任务,补充输入长度、输出长度和截断比例。成本单位必须和任务对应。处理 1000 张图片与生成 1000 段长文本不具有直接可比性,同一个任务也应区分训练、评估和在线服务的资源消耗。

假设候选只让 F1 从 0.64 提升到 0.65,却让每次训练耗时明显增加,是否值得不能只看模型榜单。需要结合训练频率、服务请求量、延迟目标、错误代价与维护负担。若质量下降可以换取更低成本,也必须重新通过已批准门槛,不能把优化资源当作绕过质量审核的理由。指标与资源记录应引用同一个发布版本。

重复计算通常是容易发现的浪费。相同数据与配置是否反复训练,未改变的评估是否被重复执行,失败任务是否在缺少输入时仍持续消耗资源,都可以从流水线事件中观察。但缓存复用必须以依赖确实相同为前提,不能只根据文件名决定;错误地复用旧特征,可能让一次“提速”变成难以发现的质量问题。

还可以把等待与计算分别记录。发布花费很久,可能是审批等待,也可能是数据下载、预处理或模型训练。不同原因对应不同改进,不能看到总时长增加就购买更多算力。相同环境下先测量,再定位主要消耗阶段,最后比较改进前后的质量和资源,是后续课程反复使用的基本顺序。

交接给 A53 的材料应包含稳定基线、固定评估口径、任务规模、耗时测量条件和资源记录。可复现让优化比较有依据,可观察让成本变化有解释,可恢复让试验失误有退路。带着这些条件进入效率讨论,团队才能判断某项优化究竟降低了同等任务的资源消耗,还是悄悄减少了任务难度或放松了质量要求。

质量约束下的算力效率比较
质量约束下的算力效率比较

放进方案里

本项目以公开 Bank Marketing 历史数据演练联系前的认购预测,输出作为教学与人工分析依据。输入限定为预测时点可获得的字段,排除本次通话时长。数据按 60%、20%、20% 建立固定分层划分,保存快照与样本归属,并说明随机划分不能证明未来表现。预处理仅在训练集拟合,阈值选择使用验证集。

每个发布版本绑定代码、数据快照、划分清单、特征处理、模型、阈值、依赖及评估报告。流水线检查字段契约、泄漏风险、制品加载与质量回归;验证回归集要求精确率至少 0.55、召回率至少 0.60、相对批准基线的 F1 下降不超过 0.02。候选冻结后进行独立测试,禁止根据测试结果反复调整参数。

数据负责人确认来源与时间语义,模型负责人解释误差,发布负责人复核门槛与审批,运行负责人执行观察与恢复。发布记录保存责任人、时间、证据引用及例外理由。原始个人信息按用途、权限与保留期限管理,运行日志优先记录请求标识、实际加载版本、耗时及必要统计,避免无目的复制原始内容。

上线采用受控范围试运行,分别观察服务错误、输入缺失与分数分布;标签成熟后再计算精确率、召回率和 F1,同时报告标签覆盖率。输入偏移触发调查,不直接触发重训。发布前保留兼容的前版完整包并完成恢复演练;若前版不可用,按批准的人工处理或暂停预案降低影响。

验收由非训练人员根据清单完成制品定位、测试加载、指标解释及前版恢复。资源报告注明样本规模、测量环境、训练耗时和预测批量,为 A53 的效率比较提供基线。公开数据缺少可靠客户标识与完整时间信息的限制随报告保留,后续真实部署须补充相应验证与业务授权。

10 小结:下一步算力效率与成本(A53)

MLOps 进阶把数据、特征、模型、提示、阈值与运行证据连接到可识别的发布版本,再通过自动回归、人工责任和恢复演练控制变化。高分数不能代替无泄漏的评估,工具中的版本名称不能代替实际运行证据,输入偏移也不能直接证明模型失效。

离开本课前,可以自查:如果 duration 提高了 AUC,为什么仍要排除?如果 AUC 不变而召回率下降,应检查什么?如果旧模型还在却无法回滚,缺少的可能是什么?如果线上标签尚未成熟,哪些质量结论还不能作出?能用数据时点、阈值、发布包和标签窗口解释这些问题,就已经掌握了本课的基本方法。

下一课进入算力效率与成本:在明确的任务规模和质量底线下,识别训练与推理的主要资源消耗,比较优化的收益,并防止用降低质量制造表面上的节省。

同阶段相关课

AI 答疑

默认关闭。启用后,只发送本课标题、最近阅读的屏幕内正文摘录(最多 6000 字)与本次问题。

配置自己的服务