内存技术

1 内存技术要解决什么

服务器装上更多内存，为什么有时仍然跑不快？因为内存同时承担了不同任务：容纳正在使用的数据，持续向处理器供应数据，并在长时间运行中尽量保持数据正确。容量决定能否装下工作集，带宽决定单位时间能搬多少数据，延迟决定等待某次访问需要多久，可靠性决定错误出现后系统能否发现、纠正并留下证据。采购单上只有“256 GiB”时，这些问题还没有回答完整。

设想 1 台处理传感器数据的服务器：CPU 做计算，网卡接收数据，SSD 保存结果，DRAM 保存正在整理的批次。SSD 容量足够，不等于 CPU 能及时取得数据；网卡速率足够，也不等于内存通道能够承受接收、复制和计算产生的全部流量。这里的内存不是孤立配件，而是连接计算与输入输出的数据工作区。比较机器时，需要把处理器、主板布线、内存条和插槽布局看成组合。

DRAM 是动态随机存取存储器。它需要供电并周期性刷新，断电后不能承担持久保存任务。“随机存取”表示可以按地址访问不同位置，并不表示所有访问耗时完全相同。处理器缓存命中时，数据甚至不必到达 DRAM；缓存未命中时，访问才可能沿内存控制器、通道和内存条继续前进。因此，应用运行时间不能直接由内存标签推算，标签描述的是链路能力的部分条件。

不同机器形态会限制选择。台式机常用可插拔 DIMM，笔记本可能使用 SO-DIMM 或焊接内存，服务器常使用带寄存器的 RDIMM。外形相似不代表电气或协议兼容，主板也不能因为插槽数量多就自动支持任意容量。焊接内存还会把扩容决策提前到购买机器时；可插拔内存则需要保留插槽、检查支持清单，并考虑将来补条是否改变工作速率。

本课围绕普通 DDR DRAM 建立判断方法，也会简要定位 HBM：它把多个存储芯片堆叠并放到计算芯片附近，以宽接口提供高带宽，常见于加速器。它的封装、容量与维护方式不同于插在主板上的 DIMM，不能只比较频率数字。本课不展开芯片内部电路、训练算法或完整时序表，先学会从规格、布局和观测结果判断内存系统是否适合任务。

2 DRAM 组织与时序直觉

看见 1 根内存条时，可以先分清 3 个层次：条上的 DRAM 颗粒、由颗粒组合成的数据组织，以及连接 CPU 的通道。颗粒内部再分成多个 bank，bank 内有许多行。可以把 bank 想成有独立操作状态的工作区，把行想成需要先打开的资料页。这个比喻只用于理解访问顺序，不代表芯片真的逐页复制文件，也不意味着应用能直接选择某个 bank。

对某个 bank 的读取，通常需要先激活目标行，再发出列读取命令，随后返回数据。若接下来访问仍落在已经打开的行内，就可能省去重新开行的等待；若要换到另 1 行，则需要先结束当前行的状态，再激活新行。连续扫描数组与沿指针跳转访问，因地址规律和可并行程度不同，可能表现出截然不同的吞吐。这也解释了为什么同 1 套内存不存在适合所有程序的固定“访问速度”。

规格中常见的 CL、tRCD、tRP，可以先理解为几类等待条件。CL 描述读命令之后，到首批数据出现之前的相关等待；tRCD 约束激活行到读写命令之间的间隔；tRP 约束预充电操作所需的间隔。它们通常以时钟周期数标注。更完整的参数还包括刷新和命令之间的约束，本课不要求背诵；关键是知道这些数字约束的是不同阶段，不能把 CL 当成端到端访问延迟。

以 DDR4-3200 CL22 为教学例子。3200 MT/s 表示每秒约 32 亿次数据传输，DDR 在时钟的 2 个边沿传输数据，因此这里的相关时钟频率为 1600 MHz，周期约为 0.625 ns。CL22 对应的这段等待约为 22 × 0.625 = 13.75 ns。这个结果只换算了 CL 所对应的阶段，没有包括等待控制器调度、打开目标行、总线传输以及处理器侧路径等时间。

再看 DDR4-2666 CL19，按近似 1333 MHz 计算，周期约 0.75 ns，CL 对应约 14.25 ns。前者传输率更高，但这段等待只少了约 0.5 ns。若仅看到 3200 大于 2666 就认定随机访问延迟同比下降，结论就会偏离事实。相反，只看 CL22 大于 CL19 而判定前者更慢，也忽略了每个周期长度不同。比较时必须先统一单位，再讨论是哪段等待。

内存还需要刷新，控制器也会在多个请求之间调度。刷新会占用部分时间，但不能把所有短暂卡顿都归因于刷新；系统中还有缓存失效、访问排队和其他流量竞争。下面的交互故意只展示 1 个 bank 的读路径，用来建立阶段直觉，不模拟所有真实时序。看懂“行是否已经打开”带来的路径差异，就足以开始解释许多基础现象。

3 带宽、延迟与通道

带宽像道路单位时间能通过多少货物，延迟像某次送货从出发到到达需要多久。增加并排道路，能够提高总吞吐，却不保证每辆车的行程时间按比例缩短。内存通道是控制器与内存之间的数据接口；是否有多个独立通道，取决于处理器和主板。插槽是放置内存条的位置，插槽数量与通道数量不是同义词，1 个通道可以连接多个插槽。

计算理论带宽时，可以使用“传输率 × 每次有效数据字节数 × 通道数”。对具有 64 位有效数据宽度的 DDR4 通道，每次传输为 8 B。DDR4-3200 的单通道理论带宽为 3200 × 10^6 × 8 = 25.6 GB/s，2 个这样的通道合计为 51.2 GB/s。这里 GB/s 使用十进制单位，GiB/s 使用二进制单位，报告结果时需要标注，不能把不同单位的数值直接比较。

理论值描述链路上限，不是应用承诺。读写切换、刷新、访问分布、控制器调度和测试实现都会影响实测结果。若应用同时读取输入并写回输出，统计“处理的数据大小”时还可能遗漏真实内存流量。某些写入路径会带来额外读取，缓存命中又可能减少 DRAM 流量。所以应同时说明计数口径，避免把应用有效吞吐误认为引脚上的总传输量。

DDR5 的普通 DIMM 具有 2 个独立的 32 位数据子通道，合计有效数据宽度仍为 64 位；带 ECC 的组织还会增加校验相关位。子通道能够改善请求组织方式，但不能把 1 根 DDR5 内存条直接等同于处理器层面已经填满 2 个常说的内存通道。对 DDR5-5600，按合计 64 位有效数据宽度计算，单条相应接口的理论值为 44.8 GB/s。讨论通道数时，要先明确说的是处理器通道还是 DIMM 内子通道。

rank 则是另一种组织概念，可以粗略理解为能一起提供所需数据宽度的颗粒组。1 根条可以有 1 个或多个 rank，多 rank 可能给控制器更多交错安排机会，但它不等于新增独立通道。每通道安装更多 DIMM，也可能因为电气负载和平台规则降低支持的传输率。容量增加、rank 数增加与带宽增加之间，因此没有简单的等号。

双路服务器还需要注意本地与远端内存。内存连接在某个 CPU 的控制器上，另 1 个 CPU 访问它时可能需要经过处理器互连，形成不同的访问代价。这里先记住 NUMA 表示这种非均匀访问关系：物理容量总数正确，并不说明每个任务都能以同样代价访问全部容量。更深入的线程放置与策略留给后续课程，本课选型先记录每个处理器各自的内存分布。

4 动手：读一张内存规格表

拿到规格表时，先把条上参数和平台限制分开记录。条上写着支持某个速率，只说明它具备相应条件下的能力；实际配置还要受 CPU 型号、主板固件、插条数量与受支持模式限制。不要只抄商品标题。下面使用虚构但符合常见字段形式的教学记录，演示如何把信息转成可检查的安装条件，真实部署仍以对应平台文档为准。

“2Rx4”中的 2R 表示 2 个 rank，x4 表示每个相关 DRAM 数据器件的位宽为 4 位。它不表示 4 个通道，也不直接表示整条只有 4 个颗粒。封装可能隐藏内部结构，不能只数表面黑色芯片就推算容量或校验能力。同样，RDIMM 与 UDIMM 的区别涉及命令和地址信号组织，不能因为都叫 DIMM 就混装或替换；服务器支持 RDIMM 也不等于兼容所有 RDIMM。

现在假设教学主板有 2 个内存通道，每通道 2 个插槽，说明书要求每通道先装标为 A2、B2 的优先插槽。若需要 64 GiB，可先评估在 A2 与 B2 各装 1 根 32 GiB。若把 2 根都装进 A 通道，容量可能仍能被识别，却没有形成完整的双通道分布。插槽命名是示例，真实主板可能采用完全不同的标记，尤其不能仅凭插槽颜色判断。

动手记录可以不依赖某个操作系统命令：先核对主板丝印与插槽图，再进入固件或资产清单查看每槽容量、配置速率、类型和错误提示，最后在系统中检查总容量与硬件报告是否一致。报告中的“速度”可能是能力值，也可能是当前配置值，工具字段含义应单独确认。若信息源互相矛盾，保留原始字段并查平台文档，不要挑最大的数字写入验收表。

实际拆装前应按维护规程关机、断开相应供电并做好静电防护，除非设备明确支持该部件的在线维护。装好后先确认自检通过和容量完整，再观察是否降速、是否出现训练重试或纠错事件。训练是平台为信号通信建立可用参数的过程，本课不展开算法；对使用者而言，自检时间异常增长或反复失败，是需要继续核查兼容性与安装状态的信号。

5 ECC 与可靠性信号

内存里的位可能因器件故障、电气问题或其他扰动发生错误。错误若进入计算结果，可能比程序直接崩溃更难发现。ECC 即错误检测与纠正编码，它用额外的校验信息帮助判断数据是否出错，并在编码能力范围内恢复数据。它不等于备份，也不能恢复断电后丢失的全部工作内容；备份处理数据留存，ECC 处理特定存取路径上的错误，两者解决的问题不同。

常见入门模型是 SECDED：可以纠正某类单比特错误，并检测某类双比特错误。这里的范围应理解为特定编码保护单元，不能简化为“整台服务器任意坏 1 位都没事”。实际服务器的编码、颗粒组织与增强保护方式各不相同，必须查平台说明。错误超过能力范围时，系统可能报告不可纠正错误、终止任务或停机，不能把“装了 ECC”当成永远不会产生错误结果的保证。

DDR5 颗粒中的 on-die ECC 又是另 1 个容易混淆的概念。它主要在颗粒内部执行保护，不等同于 CPU 内存控制器到模组之间的端到端 ECC。普通 DDR5 产品宣传含有颗粒内部 ECC，并不足以证明系统会向管理员提供与服务器 ECC 相同的纠错能力和事件记录。选型时应确认完整平台支持与可观测性，而不是只寻找标签中是否出现 ECC 字样。

运行中常见信号包括可纠正错误、不可纠正错误、固件告警和系统崩溃记录。可纠正表示这次事件在所报告的保护范围内得到处理，不代表硬件从此健康；不可纠正表示该事件无法按相应机制恢复，也不一定能立即归因到某根内存条。日志应尽量记录时间、机器、插槽或通道定位、事件类型、出现次数以及当时负载，才能比较错误是否持续增加或集中在某个位置。

例如，维护后某个插槽在 24 小时内反复出现可纠正事件，而其他插槽没有相似记录，就应按平台流程检查安装、兼容性与部件状态。若多个通道在高温期间共同增加错误，还需要检查散热与供电等共同条件。是否更换、何时隔离由平台维护标准与业务容错需求决定，不宜制定适用于所有机器的固定次数阈值。计数归零也不证明根因消失，可能只是重启或监控重置。

排查时先保存证据，再做受控变更。离线诊断、重新插装或交叉替换可以帮助区分内存条、插槽及控制器路径，但每次改变多个因素会削弱结论。测试通过只能说明在该测试范围与时长内未重现，不能证明所有温度与负载下都没有问题。入门阶段应建立的习惯，是把可靠性能力写进规格，把错误信号接入监控，并为维护留下定位信息。

6 常见坑：只比标称频率忽视时序与通道

第 1 个坑是把 MT/s 直接叫作 MHz，再将它当成访问延迟。DDR4-3200 中的 3200 通常描述有效数据传输率，不能作为 CL 周期换算里的时钟频率。采购表应分别列出传输率与时序，再给出需要比较的时间量。即使换算后的 CL 更低，也只能说明那段等待更短；如果应用主要在等待大量互不相关的随机请求，还要考虑并行度、排队以及缓存行为。

第 2 个坑是用总容量掩盖通道分布。假设 1 台 CPU 有 4 个通道，配置 2 根 64 GiB 与 4 根 32 GiB 都能得到 128 GiB，但前者可能只启用 2 个通道。后者若按照平台规则均匀安装，就有机会使用全部 4 个通道。这个差异来自布局，不能只写成“32 GiB 条比 64 GiB 条快”。若处理器本来只有 2 个通道，增加到 4 根也不会凭空变成 4 通道。

第 3 个坑是以为加条之后所有参数保持不变。每通道从 1 根增至 2 根，可能触发平台规定的较低速率；混用不同能力的内存也可能使配置收敛到共同档位，甚至不受支持。正确做法是在扩容前查目标插法对应的速率表，扩容后重新记录实际配置和吞吐。否则，容量翻倍后的性能变化很容易被误判为操作系统或应用版本问题。

第 4 个坑是让测试主要命中缓存，再宣称测到了 DRAM。很小的数组可能被 CPU 缓存容纳，测出的吞吐更多反映缓存能力。工作集应明显大于相关缓存容量，并排除首次分配、缺页和初始化对稳态结果的干扰；还应说明读、写或复制模式。测试线程太少可能无法形成足够请求，线程太多又可能引入竞争，所以至少记录线程数与 CPU 使用情况。

第 5 个坑是把内存不足造成的存储等待算成“内存条太慢”。当活动数据超过物理内存的可用空间，系统可能频繁回收页面或交换到存储设备，等待时间可能显著增长。此时需要先检查容量与内存压力，再讨论时序优化。反过来，容量充足也不代表带宽充足：流式扫描很大的数据集，仍可能持续耗尽通道能力。这 2 类问题要用不同证据区分。

还应避免把内存带宽、SSD 顺序吞吐与网卡标称速率直接相加。网卡常以 Gb/s 标注，内存常以 GB/s 标注，先除以 8 才能统一位与字节；协议开销与数据复制会继续改变有效流量。网络接收还可能经由 DMA 写入内存，之后 CPU 再读取处理。只有画清数据移动路径，才能知道哪段资源承担了哪些流量，并找到真正限制业务的环节。

7 案例：通道未打满导致的带宽悬崖

某实验室有 1 台单路服务器，CPU 提供 4 个内存通道。新配置总容量为 128 GiB，由 2 根 64 GiB DDR4-3200 RDIMM 构成；原有配置使用 4 根 32 GiB，同样是 128 GiB。团队认为容量与标签速率相同，运行批量数组计算时却发现吞吐明显下降。这里先不假设内存损坏，而是检查“相同”究竟涵盖了哪些条件。

资产记录显示，新配置只有 2 个通道装有内存，每通道 1 根；旧配置在 4 个通道中各装 1 根。先按 64 位有效数据宽度估算，新配置理论总带宽为 2 × 25.6 = 51.2 GB/s，旧配置为 4 × 25.6 = 102.4 GB/s。容量完全相同，理论通道上限却相差 2 倍。这解释了为何容量验收通过，也可能漏掉关键性能退步。

接着进行受控比较：保持 CPU、系统版本、线程数和测试程序不变，选用明显超过缓存容量、又能完整放入内存的数组，在完成初始化后测连续读取。教学示例中，2 通道配置测得 38 GB/s，4 通道配置测得 72 GB/s；这些数值仅用于演示，不代表任何具体产品。两者都低于理论值，但变化方向与通道差异一致，值得进一步用业务负载验证。

业务程序的运行时间没有减半，例如从 100 s 降到 65 s。这并不推翻带宽判断，因为程序还有计算、同步和存储写出等阶段。若只有部分运行时间受内存带宽限制，改善这一部分就不会使全部时间同比下降。报告应同时保留合成测试吞吐与业务耗时，前者帮助定位，后者回答配置变化是否值得投入，不能只选择看起来更漂亮的指标。

纠正方案也不能写成“再插 2 根就行”。如果新增 2 根 64 GiB，虽然可能补齐 4 个通道，总容量会增加到 256 GiB，成本与原目标不同。若改为 4 根 32 GiB，需要确认部件支持、取得合适条目并处理更换维护。团队最终选择符合支持清单的 4 根 32 GiB，按指定槽位安装，确认实际速率，并在相同条件下重新验收业务耗时。

“带宽悬崖”在这里指跨过某种配置边界后，可用吞吐明显下降，不是说所有应用都会突然慢 2 倍。排查证据应串起插槽布局、活动通道、实际速率、内存测试和业务结果。如果新配置只测得很小变化，就应继续检查应用是否受计算限制、是否命中缓存或线程数不足，而不能用通道理论值强迫解释所有现象。

8 把内存选型写进容量与成本方案

容量方案先描述工作集，而不是先挑内存条。假设某台服务器的主要程序峰值常驻数据为 70 GiB，操作系统与后台服务预留 12 GiB，并发任务和临时缓冲预算为 14 GiB，则已规划需求为 96 GiB。若再为这部分需求安排 25% 余量，得到 120 GiB，可继续评估受平台支持的 128 GiB 配置。各项必须避免重复计数，余量也应说明依据，而不是把固定比例当成行业通用标准。

随后加入带宽条件。如果 CPU 有 4 个可用通道且任务持续扫描大数组，可以把“每通道安装 1 根受支持的 32 GiB 内存，合计 128 GiB”列为候选。若任务主要受存储等待影响，则先验证补满通道的收益，避免把理论峰值当成必须购买的目标。容量是能否容纳工作集的门槛，带宽是满足数据供给的能力，两者应分别写验收依据。

扩容路线需要提前算。4 根 32 GiB 使用 4 个优先插槽，后续若每通道再加 1 根，可能得到 256 GiB，也可能降低工作速率；是否可行取决于平台。2 根 64 GiB 留下更多空槽，却可能在初期只使用部分通道。方案应比较“今天的成本与性能”和“扩容后的配置与维护”，不要把空槽数量直接等同于更优扩展性。

成本也不只有每 GiB 单价。受支持的 ECC 类型、备件一致性、停机维护时间和监控能力都可能改变总成本。对于不能轻易停机的服务器，可定位的错误记录和可靠部件供应具有实际价值；对于容量不可升级的便携设备，初始余量更值得重视。这里不需要给所有场景安排最高配置，而是把业务可接受的中断、性能与预算对应起来。

验收条目应能够执行：检查每槽容量和类型、通道分布、实际传输率、ECC 状态及初始错误记录；在约定线程数和工作集下记录吞吐，再运行代表性业务并记录耗时与峰值内存。理论带宽只作解释与异常筛查，不能直接作为必须达到的应用指标。建立初始基线之后，未来扩容或固件更新造成的变化才有可比较的对象。

最后写出限制条件。例如“本方案适用于单机活动数据不超过已预算容量的批处理；当并发增加时，重新评估容量压力与带宽”。这样的边界比“高性能内存”更有用。若容量需求还不确定，应安排短期测量并给出保守候选，而不是用传输率掩盖缺少需求数据。配置表负责说明装什么，容量与成本方案负责说明为什么装、怎样确认装得合适。

9 从颗粒走向虚拟内存硬件（H27）

到这里，我们讨论的是物理内存：颗粒怎样组织、数据经过哪些接口、配置会提供多少容量和带宽。但程序通常不会拿着 DIMM 插槽编号去读数据。程序使用的地址需要经过地址转换，最终才能对应到物理位置。操作系统与硬件共同提供这种间接关系，使程序看到的地址空间与实际安装的 DRAM 布局不必完全一致。

这层关系不会凭空增加物理带宽。应用看到很大的虚拟地址空间，并不表示机器拥有同样大小的 DRAM；申请到地址范围，也不表示所有内容已经在物理内存中。页面尚未建立映射、数据需要从存储调入或访问权限不满足时，访问可能走入与普通 DRAM 读取不同的处理路径。H27 将从地址转换与相关硬件开始解释，当前先区分“地址空间大小”和“物理容量”。

当某个请求没有快速完成时，需要先问等待发生在哪层：数据是否在缓存，地址转换是否已有结果，目标内容是否驻留内存，进入 DRAM 后是否还在排队。不能把这些阶段全部归为 CL，也不能因为某次等待很长就认定内存条坏了。本课建立的物理链路只是整体路径的一部分，下一课会补上程序地址通往物理地址的桥梁。

还要保持可靠性层次清楚。ECC 检查某些数据错误，地址权限机制约束程序能访问哪些位置，持久化与备份处理数据是否能够保留和恢复。它们可能共同保护同 1 个业务，却不是可互相替代的功能。理解这种分工，才能在遇到崩溃、错误结果或容量压力时，选择对应证据，而不是不断替换更高频率的内存。

进入 H27 前，可以带着这条完整问题链：程序发出地址后，先如何找到目标物理位置，再如何通过控制器访问正确的通道与颗粒，最后怎样让数据回到处理器？本课已经回答后半段的基本条件。接下来将学习前半段，并继续把规格、硬件路径与系统观测联系起来，不要求预先掌握页表层级、转换缓存内部实现或复杂替换策略。

放进方案里

在方案中给内存单独写 1 段可以验收的配置理由。先说明场景：某单路数据处理服务器需要容纳 70 GiB 业务数据、12 GiB 系统服务和 14 GiB 并发缓冲，规划需求为 96 GiB；按该需求预留 25% 余量后约为 120 GiB，因此候选物理容量为 128 GiB。上述数据来自约定并发下的测量，未来并发扩大时需要重新评估，不能把空闲内存比例当成长期充分的证明。

再说明布局：处理器提供 4 个内存通道，计划每通道安装 1 根受支持的 32 GiB ECC RDIMM，并按主板规定的优先槽位布置。目标工作速率以该处理器、固件和插条组合的支持表为准，安装后记录实际值。若采用 DDR4-3200，4 个 64 位有效数据通道的理论带宽为 102.4 GB/s，这个数只作为链路能力参考，业务验收使用实测吞吐与处理耗时。

验收时保存插槽清单、通道分布、ECC 启用状态和错误基线，在固定线程数、超过缓存且可驻留内存的工作集上测量吞吐，再用代表性任务确认峰值内存和完成时间。监控应能关联机器、时间、错误类型与可用定位信息；出现重复纠错或不可纠正事件时，按平台维护流程处理并保留变更前证据。扩容至 256 GiB 前，重新确认每通道多条配置是否降速，计算部件、维护和备件成本，并重做同条件验收。预算有限时，应明确接受的容量余量或业务耗时，给出取舍依据，避免只用标称频率替代方案结论。

验收表还应列出预期插槽与实际识别结果的逐项对应，要求容量无缺失、活动通道符合设计、配置速率落在支持档位，且没有训练失败或不可纠正错误。业务耗时上限应在采购前约定，并注明测试数据量、并发数与环境温度；若超限，先核查是否发生交换或远端内存访问。保存固件版本、原始硬件清单和测试输出，便于扩容后区分布局变化、降速与负载变化。

10 小结：下一步虚拟内存硬件（H27）

内存选型要同时回答容量、带宽、延迟和可靠性。容量相同不代表通道布局相同，传输率相同不代表时序相同，模组具备校验能力也不代表平台已经启用完整保护。把规格表、实际配置与运行观测接起来，才能解释性能与故障信号。

检查自己是否能说明：为什么 2 根条不一定填满全部通道？为什么 CL22 不能直接理解成 22 ns？为什么 DDR5 的颗粒内部 ECC 不等同于系统端到端 ECC？为什么理论带宽翻倍，业务时间仍可能只缩短一部分？能用本课的路径和算式解释这些问题，就可以进入 H27，学习程序地址如何找到物理内存。