其他经典模型

1 其他经典模型：工具箱还剩什么

面对客户流失预测、手写数字识别、短文本分类，模型选择并不是按名字的新旧排队。真正需要回答的是：样本如何表示，标签是否可信，需要怎样的决策，以及可以承担多少训练和预测成本。本课把近邻、朴素贝叶斯与支持向量机放回这些具体问题中。它们没有共同的最佳应用榜单，却能提供容易建立、便于比较的基线，帮助我们判断复杂模型的收益到底来自哪里。

设想流失预测任务：在每月月初，预测客户未来 30 天是否取消服务。可以使用此前 90 天的登录次数、平均使用时长、客服联系次数、当前套餐和在网月数。这里的“此前”决定了哪些字段可以入模。取消日期、取消后生成的退款记录、月末才汇总完成的本月使用量，都不能用来模拟月初决策。准确的任务时间线往往比多试几个算法更有价值，因为泄漏字段可以让任何模型看起来都很出色。

再看公开数据。UCI 的 Bank Marketing 数据可以用于练习表格分类，但它的标签是是否订购定期存款，不能改名为流失。通话时长字段只有通话结束后才完整可得，若任务是通话前筛选客户，就应排除。MNIST 适合练习图像分类；20 Newsgroups 可以练习文本分类，但需要处理邮件头、签名和引用内容。公开数据的价值是让实验可复现，并不意味着其中每个字段都适合任何预测时点。

这些模型对“规律”的理解各有侧重。近邻认为相似样本应该有相近标签；朴素贝叶斯用不同类别中出现的特征证据来累计支持程度；支持向量机寻找把类别分开的边界，并尽量留出间隔。比较这些假设，能够把“为什么失败”转化为具体问题：距离是否有意义，词频是否有区分力，边界是否需要弯曲，而不是只说模型能力不足。

建立工具箱时，还要保留简单参照。若正类占 10%，永远预测负类也有 90% 准确率，却没有找到任何正类。多数类预测器可以暴露这个陷阱；线性分类器可以提示复杂边界是否真的必要。报告中应让候选模型与这些参照使用相同的数据划分和标签定义。比较的对象是完整处理流程，包括特征变换、分类器和决策阈值，而不只是最后那个算法名字。

2 其他经典模型：近邻、朴素贝叶斯与 SVM 的适用边界

近邻分类通常指 k 近邻，简称 kNN。预测新客户时，它先寻找训练集中距离最近的 k 个客户，再按标签投票。若 k=5，其中 4 个客户后来流失，那么正类票数占比是 0.8。这个数描述局部邻居中的标签比例，不能直接解释为经过校准的流失概率。k 较小容易追随偶然噪声，k 较大可能抹平局部差异；距离加权投票会进一步改变这些关系。

近邻适合样本规模可控、特征维度不高、相似性定义比较明确的场景。比如标准化后的使用行为特征，可能比原始客户编号更适合计算距离。它的训练阶段看似轻松，预测阶段却要查找邻居，并保留相应训练数据。数据增长后，应测量批量预测时间、内存与单次查询延迟。若只是使用普通精确搜索，不能因为“几乎不训练”就把它当成部署成本很低的模型。

朴素贝叶斯从类别先验和特征证据出发。短文本任务中，可以把文本变成词频向量，比较“退款”“无法登录”等词在不同类别中的出现情况。多项式朴素贝叶斯常用于非负计数特征；伯努利朴素贝叶斯更关注某个词是否出现；高斯朴素贝叶斯则对连续特征作不同的分布假设。名称相近不代表输入可以随意互换，例如标准化后含负数的表格特征不能直接送入要求非负输入的多项式模型。

“朴素”指给定类别后，把各特征的条件关系作简化处理。现实文本中，“无法”和“登录”显然可能关联，但这种简化仍可能给出有用的类别排序。它通常训练快，对稀疏文本友好，适合作为起点。需要注意重复表达可能让证据被重复累计，输出分数可能过于自信。平滑参数用于避免未见词导致极端结果，不会自动解决词义歧义、否定表达和训练文本偏差。

支持向量机简称 SVM。在线性情形下，可以把它理解为寻找区分不同类别的分界面，并在分类错误与间隔大小之间作权衡。参数 C 控制对训练错误的惩罚力度：较大的 C 通常更强调避免训练违例，较小的 C 通常容许更多违例以换取更强的约束。C 的意义依赖特征尺度和实现方式，不应把某个数值当成跨任务通用的“严格程度”。

线性 SVM 常适合高维稀疏文本，核 SVM 则能处理某些非线性边界，但训练成本可能随样本规模显著增长。SVM 默认输出的决策分数通常是到边界的有符号分数，不是概率。图像任务也有类似边界：MNIST 的像素向量可以用于近邻或 SVM 基线，但像素距离对平移和笔画位置敏感。换到背景复杂、拍摄角度变化大的照片时，不能把手写数字上的结果直接推广过去。

3 核方法与相似度的直觉

假设平面上的正类集中在中心，负类围成外圈。无论怎样旋转直线，都难以把中心和外圈分开。若增加“离中心有多远”这个特征，就可能用简单阈值完成分类。这个例子说明：原始坐标里复杂的边界，换个表示后可能变得简单。核方法沿着这个方向工作，用核函数计算与某种特征表示对应的相似性，而不必显式展开全部新特征。

线性核对应原始特征的内积。常见的径向基函数核，也称 RBF 核，会让距离较近的样本具有较高相似性，距离较远时相似性下降。这里不必推导完整公式，但要理解 gamma 的作用：其他条件相同时，gamma 较大，相似性随距离下降得更快，每个样本的影响更局部；gamma 较小，影响范围更宽。它与 C 共同决定拟合方式，单独调整某个参数很难判断边界最终会如何变化。

如果客户的月费用从几十到几百，而登录次数从 0 到几十，未缩放的欧氏距离可能主要由费用支配。RBF 核建立在距离之上，也会继承这个问题。因此，“换成核方法”并不能跳过特征处理。标准化应仅根据训练集的均值和标准差拟合，再用于验证集和测试集。对极端偏斜的计数，可以考虑适当变换，但变换规则仍必须在训练流程内确定。

相似度还应该符合任务语义。文本中使用原始词频的欧氏距离，可能主要区分文本长短；使用 TF-IDF 与余弦相似度，则强调词项方向上的接近。对于近邻，可以选择适合表示的距离；对于 SVM，不能把任意业务相似分数都直接称为合法核函数。本课使用常见、已有实现的核即可，核函数成立的数学条件和复杂组合留待后续学习。

图像提供了直观反例：同个数字向右移动 2 个像素，人仍认为它没有变，像素差异却可能很大。相似度衡量的是表示空间中的接近，不自动等于语义上的接近。检查邻居图像、误分文本和关键特征，能够帮助发现表示的问题。若最近的样本在业务上并不相似，继续增加模型复杂度通常不能直接修复这个基础缺口。

核方法值得试验的信号是：线性基线已经规范建立，训练与验证仍表现出可解释的非线性不足，样本规模也允许训练。应先用小规模参数网格观察验证结果与耗时，再决定是否扩展。若只是训练分数上升而验证分数下降，说明边界更灵活并没有带来泛化收益。复杂边界是一种表达能力，不是效果保证。

4 动手：同一验证集上做小规模对照

下面用 20 Newsgroups 的 2 个主题类别做短文本分类练习。虽然每条原始邮件长度不固定，我们可以先明确截取规则，形成短文本输入，例如仅使用正文前 200 个词。规则应对所有划分一致，并写入实验记录。利用数据集提供的原始训练部分建立开发数据，原始测试部分保留到最后。开发数据再按类别分层，划出 20% 作为验证集。固定随机种子 42，并保存样本标识，保证所有候选面对完全相同的验证样本。

邮件头、签名和引用文本可能包含主题组名或重复内容。练习中先使用数据加载器的相应移除选项，再检查剩余文本，不能假设移除选项能识别所有线索。若存在重复或近重复邮件，应按重复组划分，避免同段文字跨集合。若任务是预测未来到来的邮件，则优先采用时间划分；随机分层只能回答相近数据分布下的表现，不能模拟所有上线场景。

建立 3 条候选流程：词频向量加多项式朴素贝叶斯、TF-IDF 加线性 SVM、TF-IDF 加余弦距离近邻。每个词表、词频统计与 IDF 权重都只从训练子集学习，再变换验证集。这里比较的是适合各模型的完整流程，结果不能简单归因于分类器本身。如果想单独研究分类器影响，可以额外让模型共享兼容的表示，并明确这属于另个受控问题。

先为每条流程限定少量参数。朴素贝叶斯可比较 alpha 为 0.1、1；线性 SVM 可比较 C 为 0.1、1；近邻可比较 k 为 5、15。把词表上限、停用词策略与短文本截取规则固定，避免同时改变太多条件。这里的数值只是搜索起点，并非推荐默认值。训练耗时与预测耗时也应记录，避免某个模型仅以极小的指标提升换来无法接受的服务成本。

把其中某个主题指定为正类，记录混淆矩阵：真正类 TP、假正类 FP、假负类 FN、真负类 TN。精确率 precision=TP/(TP+FP)，回答“报为正类的文本里有多少正确”；召回率 recall=TP/(TP+FN)，回答“实际正类中找回多少”；F1 是这 2 个比例的调和平均。若没有预测正类，要明确指标的零分母处理方式，并直接报告该现象，不能悄悄删除该次结果。

二分类时还可以记录 ROC-AUC，它衡量正类分数排在负类分数前面的能力，应该输入连续分数，而非已经截断的类别标签。正类稀少时，再补充 PR 曲线或明确实现定义的平均精确率 AP，因为很低的假正率也可能对应大量误报。多类别实验则需要事先约定宏平均等口径；宏平均 F1 给每个类别相同权重，有助于暴露小类别表现差的问题。

下面是为了说明读表方法而构造的验证结果，并非对数据集跑出的实测结论。表中每行都使用预先规定的模型默认决策规则，阈值优化放到下一节讨论。实际提交时应填入自己的运行结果和配置记录。

先按事先约定的目标选择候选，再阅读误分样本，判断错误是否集中在短文本、引用残留或类别边界模糊的材料。测试集仅在流程、参数和阈值冻结后打开。若根据测试结果继续改模型，该测试集就参与了开发，后续需要新的独立评估。小数据上的几处分数差异也可能来自抽样波动，可在开发集内部用交叉验证检查稳定性，同时保留最终测试边界。

5 校准：分数到决策阈值

模型给出排序分数后，系统仍需要决定“何时采取行动”。流失预测中，正类分数排在前面有助于筛选联系名单；但是否联系某位客户，还取决于误报成本、漏报成本与联系容量。ROC-AUC 较高只说明排序较好，并不说明分数 0.8 对应的客户真的有约 80% 会流失，也不能直接决定阈值应是多少。

概率校准关注的是频率对应关系：在大量预测概率接近 0.8 的客户中，实际流失比例是否也接近 0.8。可以把预测概率分箱，比较每箱的平均预测概率和实际正类比例，画出可靠性图。每箱还应显示样本数；若某箱只有 5 个客户，其观察比例会非常不稳定。Brier 分数等指标可以补充评价，但解释时也要考虑类别比例与样本组成。

校准需要独立于基础模型拟合的数据。可在开发数据内留出校准部分，或采用只在训练折之外生成分数的交叉验证方式拟合校准器。小样本时，继续拆分会使每部分更不稳定，因此需要权衡，不能机械要求每个任务固定拆成同样比例。验证集反复用于选模型、调参数、选校准器和选阈值，也会逐渐被“看熟”；应限制尝试次数并记录全部选择。

阈值选择是另个问题。设验证集中有 1000 个客户，实际流失 100 个。阈值为 0.5 时，假设 TP=50、FP=20、FN=50、TN=880，则 precision≈0.714，recall=0.5，F1≈0.588。阈值降到 0.3 后，假设 TP=75、FP=75、FN=25、TN=825，则 precision=0.5，recall=0.75，F1=0.6。召回提高了，同时联系人数从 70 增加到 150，业务成本也随之变化。

这些数值只展示取舍，不能替代本地验证。若团队每天最多联系 80 位客户，可以讨论按分数取前 80 位，并观察相应 precision 与 recall；若漏掉高风险客户代价较大，可以在最低精确率要求下追求较高召回。按名额排序和固定概率阈值是不同策略，前者的实际分数门槛会随当天人群变化。需求应明确是控制数量、控制错误比例，还是降低某种可估计的总成本。

一个常见误解是“只要校准，AUC 就一定提高”。单调校准通常保留大部分排序，主要改变分数含义；不同实现和并列分数可能影响具体数值，但提升 AUC 并不是其目标。反过来，改变阈值也不会改变原始分数对应的整条 ROC 曲线。应分别报告排序质量、概率质量和所选阈值下的混淆矩阵，避免把不同问题混成单个“模型准确率”。

上线后，如果客户构成、活动政策或产品版本改变，校准与阈值都可能失效。标签到达前可以监测特征缺失率、分数分布和行动数量；标签到达后再检查 precision、recall 及可靠性。特征分布变化只是一种提示，并不自动证明效果下降；同样，分数分布稳定也不能保证标签关系没有改变。

6 常见坑：默认超参见谁都套

默认参数的主要用途是让模型能够运行。它们不知道你的特征单位、类别比例、样本规模，也不知道漏报和误报的代价。把近邻的 k=5、SVM 的 C=1、核参数的自动取值抄到所有任务里，等于把未经验证的假设写进方案。小规模搜索应围绕合理范围展开，并同时观察训练与验证指标。训练好而验证差，首先怀疑过拟合或划分问题；两者都差，则检查表示、标签和模型能力。

缩放经常被放错位置。先对全部数据求均值再切分，即使没有使用标签，也让验证信息参与了训练处理。文本词表、缺失值填补、中位数估计、特征筛选也有同样边界。应把这些步骤与分类器放进同个训练管线，在每个训练折内重新拟合。仅仅声称“没有把标签输入模型”，并不能证明整个处理流程没有泄漏。

类别不平衡也不能只靠更改准确率口径解决。若训练集正类少，可以比较类别权重、合理重采样和阈值调整，但它们改变的环节不同。重采样必须发生在训练划分内部，验证集和测试集应保持目标人群的自然分布。若先复制少数类样本再随机切分，重复样本可能跨集合，让评估虚高。类别加权后的分数也不能未经检查就解释为自然人群中的概率。

标识符是另种危险来源。客户编号、设备编号或邮件线程编号，可能让模型记住对象，却不能推广到新对象。来自同个客户的多个月份记录若随机散落在训练和验证中，也会产生过于乐观的结果。实际目标若是预测已有客户的未来，应按时间评估；若是泛化到新客户，则需要按客户分组隔离。划分规则来自使用场景，不能只看哪种切法分数更高。

还有些失败会伪装成调参需求：训练和预测使用不同的词表版本，缺失类别被编码成意外的新值，图像缩放方式发生变化，中文分词规则改动后词项大量失配。此时换 C、k 或 alpha 只是在补偿流程错误。先抽查实际送入模型的特征，再检查标签对齐和处理版本，往往比扩大网格更有效。对输入顺序和字段含义的记录，应当与模型文件一起保存。

最后要控制“多试几次”的诱惑。同个验证集上尝试几10种特征和参数，总会出现看起来更好的组合，其中可能包含偶然收益。保留实验日志，写清每次改动和主要目标，并以独立测试检查最终方案。若数据有限，可用开发集内的交叉验证减少单次划分的不稳定，但不能把交叉验证当成无限试验后仍然无偏的保证。

7 案例：高维近邻的距离崩溃

某团队先用 6 个标准化的使用行为特征预测流失，近邻结果尚可。随后为了“信息更全”，加入 500 个稀疏事件标记，包括很少使用的按钮、偶发页面访问与历史实验分组。验证召回下降，团队先把 k 从 5 改到 15，又换成距离加权，收益仍不稳定。问题可能不在投票规则，而在新增维度改变了“谁离谁近”的含义。

欧氏距离会累计各维度上的差异。若新增特征大多与流失无关，它们仍可能为距离贡献噪声。维度增加时，在某些数据分布下，最近与较远样本的距离会变得相对接近，邻居身份也容易被小扰动改变。人们常把这类现象称为高维距离集中，或用“距离崩溃”描述其实际后果。不过高维并不必然失败，有效维度、特征相关性、样本量和距离定义都会影响结果。

先固定样本划分，比较只用行为特征与加入事件特征后的距离分布。为若干验证客户记录最近邻距离、候选训练样本距离的中位数，以及最近邻标签。可以观察“中位距离减最近距离，再除以中位距离”的相对差距；若中位距离为 0，应该单独处理重复样本。差距缩小只是排查线索，不能单凭某个阈值判定模型失效，更不能用这个无标签统计替代验证 F1 或召回。

接着查看邻居是否真的相似：在网时间、使用强度和最近活跃程度接近吗，还是只是共同没有点过某些按钮？如果事件标记极度稀疏，大量共同为 0 的位置未必提供有意义的相似证据。对文本和部分稀疏事件表示，可以试验余弦距离，但不能假设换个距离就解决所有问题。若事件出现与不出现具有不同业务含义，还应重新审视特征表示。

修复实验应每次改变明确的因素。先移除已知无业务意义的标识和重复字段，再在训练集内部选择特征或拟合降维变换，然后在原验证集上比较。若特征筛选需要标签，也只能使用训练标签。低维表示的构造方法及无监督降维会在后续课程展开；此处只要求理解，任何从数据中学出的变换都受相同的训练边界约束。

最后让近邻与线性基线重新对照。如果近邻性能恢复但预测延迟仍高，线性模型可能更符合部署约束；如果所有候选都下降，就检查新增数据期间是否同时发生标签口径变化或客户分布变化。不能仅因观察到高维现象，就把所有退化归给维度。有效的案例结论应写成“某种表示在固定评估中削弱了邻居区分度，某项改动带来怎样的恢复”，并保留误分样本作为证据。

8 按数据形态选择经典模型的清单

模型清单应从数据形态开始。表格中连续特征、类别特征、缺失值常常并存。若连续变量较少、缩放后相似性可解释、样本规模可控，近邻值得作为基线。若类别编码产生大量稀疏列，则要重新检查距离，不能把类别编号当成有大小关系的连续数值。高斯朴素贝叶斯可提供快速参照，但其分布简化是否适合这些字段，需要通过验证判断。

文本通常先考虑非负词频或 TF-IDF，再比较朴素贝叶斯与线性 SVM。应记录分词方式、是否包含词组、词表覆盖率和最大特征数。对中文短文本，未登录词、网络缩写和否定短语都可能造成错误；字级特征有时能缓解分词依赖，但也要付出维度与可解释性方面的代价。选择应基于固定划分的实际结果，而不是把某种语言处理习惯当成定律。

图像则先问表示是否足够稳定。MNIST 上像素向量的近邻基线具有教学价值，因为可以直接查看邻居图像；线性或核 SVM 也可用于小规模对照。若换成自然图像，背景、光照和视角都会影响原始像素距离。此时经典分类器仍可作用于合适的图像特征，但表示的来源、训练数据和处理版本要记录清楚，不能把表示改进全部归功于分类器。

再按约束筛选：需要可靠概率时安排校准检查；需要低延迟时实际测量查询成本；正类稀少时关注 precision、recall 和 PR 表现；需要推广到未来时保留时间测试。把这些要求提前写入实验目标，能避免训练结束后才发现选错评估指标。比如“召回尽量高”还不够，应补充最低精确率或可承担的误报数量，否则总预测正类就能获得满召回。

清单最后还要留出“暂不建模”的出口。标签定义含糊、正类样本太少、预测时拿不到关键字段，都会限制任何模型。此时可以先补充标注规则、建立简单规则参照或收集更多可用数据。模型选择的合格产物不一定是复杂模型，也可以是明确说明当前数据支持什么结论、还缺什么证据，以及下一轮实验怎样减少不确定性。

9 无监督学习何时出场（A14）

前面的实验都依赖标签：训练时知道客户后来是否流失，或文本属于哪个主题。但实际工作中，常常只有大量使用记录、图片或文本，标签昂贵、延迟很长，甚至尚未定义。此时可以先问数据里有什么结构，例如哪些客户行为相近，哪些文本形成主题群，是否存在远离常见模式的样本。这些问题把我们带向无监督学习。

无监督学习不能直接替代分类任务的评估。聚成 3 群不代表发现了 3 种真实客户类型，离群点也不自动等于欺诈或故障。聚类结果受缩放、相似度、算法与参数影响，仍然需要人工抽查、业务解释或后续标签验证。若把聚类编号作为流失模型特征，也必须只在训练数据上拟合聚类，再用固定规则处理验证和测试样本。

无监督方法适合承担探索和辅助工作。可以先从不同文本簇抽取样本帮助设计标注规范，检查某类设备日志是否出现新的行为模式，或用低维表示观察数据是否存在明显分组。可视化上的分离不能直接证明分类器上线有效，因为图形压缩了信息，显示结果也会随参数变化。应该把这些结果作为提出假设的工具，再回到受控实验中检验。

例如，流失客户在某个行为簇中占比较高，可能是因为该簇集中着短期套餐客户，也可能是某段活动时期的样本。若直接把簇命名为“高流失人群”，就跳过了原因核查。更稳妥的做法是记录簇的特征分布、样本量、时间范围，以及有标签样本中的流失比例，再比较不同月份是否稳定。探索产生的名称应该保持描述性，避免把关联写成因果。

到 A14，我们会继续讨论聚类、降维与异常检测的基本目标。本课留下的连接点是相似度与表示：近邻依赖它，核方法依赖它，无监督方法同样依赖它。无论是否有标签，数据处理边界都仍然存在。无标签数据若包含未来时期信息，仍可能使评估偏离真实使用条件；是否可以利用测试人群的无标签特征，必须由任务协议明确规定。

放进方案里

在方案中先把任务写成可执行的时间约定：每月月初，用此前 90 天已经可得的行为字段，预测未来 30 天是否流失。列出登录次数、使用时长、客服联系次数、套餐与在网月数，排除取消日期和取消后退款。说明标签何时成熟，以及尚未走完观察窗口的客户如何处理，避免把未完成观察的样本当成负类。

随后规定评估边界：按月份划分训练、验证和测试，记录具体日期，并说明客户跨月份出现是否符合目标场景。预处理只在训练数据拟合。将缩放后近邻与线性基线列入首轮候选；若另做文本分类，则安排词频朴素贝叶斯与 TF-IDF 线性 SVM。每条流程写出参数范围、输入版本和计算成本，保证评审者能够复现实验。

把决策要求写清楚，例如在验证集上满足 precision≥0.6，再比较 recall，同时报告 F1、ROC-AUC、PR 表现和混淆矩阵。若要展示流失概率，另安排校准数据或交叉验证校准，并检查可靠性图。阈值只能依据开发数据确定，最终测试用于检查冻结流程，不参与继续筛选。预留对短在网客户、套餐类别与月份的分组检查，防止整体均值掩盖局部失败。

最后写入上线观察和退出条件：记录缺失率、分数分布、联系人数，标签成熟后补算召回与精确率。若指标跌破预定要求，先检查特征版本、标签延迟和客户构成，再考虑重训。保留模型、预处理、阈值与回退规则的版本关联。若没有足够标签支持可靠选择，就把补充标注和数据核查列为下一步，以无监督探索辅助抽样，而不承诺它能直接识别流失。

10 小结：下一步无监督学习（A14）

近邻把判断建立在局部相似性上，朴素贝叶斯累计类别证据，SVM 学习有间隔的边界；核方法让某些非线性关系更容易表达。它们能否奏效，取决于表示、数据划分、评估指标与使用约束。分数排序、概率校准和阈值决策应分别检查。

自测时可以回答 3 个问题：为什么全体样本标准化后再划分会泄漏？为什么降低阈值可能提高召回却增加误报？为什么增加大量无关特征可能伤害近邻？若能用本课的文本实验与流失场景解释这些问题，就可以带着“相似度是否合理、结构是否可信”的疑问进入 A14。