H52

数据中心规划

点击正文段落选定收藏或划线位置;未选定时使用屏幕内第一段。

课内目录

1 数据中心规划要回答什么

数据中心规划要回答的核心问题是:在给定场地、预算和交付时间内,哪些计算设备能够持续运行,遇到故障后还能保留多少服务能力。它既涉及 CPU、内存、存储和网卡,也涉及给这些器件供电、带走热量、连接外部网络和安排检修的设施。采购清单上写着“可安装 200 台服务器”,并不能证明现场有能力同时运行这些服务器。规划需要把设备数量转换成电力、冷量、空间和操作条件,再检查这些条件是否能同时成立。

先建立一个贯穿全课的场景。某团队准备部署 10 台 2U 机架服务器,每台配置 2 颗 CPU、16 条 DDR5 内存、4 块通过 PCIe 连接的 NVMe 固态盘,以及 2 个 25 GbE 网络端口。U 是机架设备的高度单位,1U 为 44.45 mm。这里的配置只用于说明设备组成,不代表所有业务都应采用双路服务器。需要大量内存的服务、需要大量磁盘的服务和计算密集任务,应分别测量后再确定机型。

硬件规格不能直接相加成机柜功耗。CPU 的热设计功耗不等于整机插座取电,内存、主板供电损耗、网卡、磁盘和风扇也需要电。4 块固态盘同时写入时的功耗可能高于空闲状态,风扇在进风温度升高后也可能加速。因此,本例把整机交流输入功率分成典型负载 0.32 kW、规划负载 0.40 kW、启动或短时高负载校核值 0.45 kW。它们是教学假设,真实项目应由所选配置的资料和样机测量替换。

设备形态同样会改变设施需求。塔式服务器便于小规模放置,却不一定适合密集上架;2U 服务器占用更多高度,可能提供更多盘位和较宽的散热通道;刀片或多节点机箱共享部分电源、风扇和管理设施,单个机箱故障的影响范围也随之变化。不能只比较“每台价格”,还要确认供电接口、重量、机柜深度、导轨和维护空间。

规划的交付物应该是可检查的边界,例如“首期部署 10 台,允许在指定故障状态下继续运行;新增设备前重新核算冷量”。其中“指定故障”必须具体:失去 1 路机柜供电、1 台交换机停机,还是整间机房失去外部电源。不同目标需要不同资源。可用性目标越含糊,越容易把设备上的冗余标志误认为整个系统已经可靠。

数据中心规划把硬件需求转换为设施约束
数据中心规划把硬件需求转换为设施约束

2 电力、制冷与空间

沿电力路径看,服务器通常从机柜配电单元 PDU 取电,上游可能经过配电柜、不间断电源 UPS 和建筑供电。UPS 能在规定条件下提供有限时间的后备供电,但可支撑多久取决于实际负载、电池状态和系统配置。它不能替代对后续电源恢复方式的规划。机柜内的双电源服务器也只是具备接入 2 路电源的条件,真正是否冗余,要继续追查上游线路。

电力计算先统一单位。kW 表示有功功率,kWh 表示一段时间内消耗的电能,kVA 表示视在功率。交流负载还涉及功率因数。本例用单相 230 V、32 A、功率因数 0.95 估算,每路有功能力约为 230 × 32 × 0.95 ÷ 1000=6.99 kW。再按本项目约定的 0.80 运行系数,得到约 5.6 kW 的规划上限。0.80 是本例选用的保守约束,并非所有地区、保护器件和供电方式都通用的规定。

假设机柜接入 A、B 共 2 路供电,每路规划上限均为 5.6 kW。若要求失去任意 1 路后全部设备仍运行,那么机柜总负载就应按剩余 1 路校核。正常时两路各承担约一半负载,不代表可以把两路上限相加后全部用满。负载转移后,还需检查单个 PDU 插座、电源线、连接器和服务器剩余电源模块的额定能力,整路够用并不保证每个连接点够用。

空气冷却场景下,IT 设备取用的电功率几乎都会在机房内转化为热。机柜用电 4.4 kW,可以先按约 4.4 kW 的持续显热负荷估算。这里的冷量必须是实际送到该机柜、在设计环境下能够利用的冷量,不能拿整间机房空调铭牌总和平均分配。气流短路、滤网阻塞、地板开孔位置不合适,都可能让平均室温正常而某台服务器进风过热。

空间核算也不能只数 U 位。42U 机柜若预留交换机、理线和扩展空间,可能只把 36U 列为服务器可用高度。10 台 2U 服务器占 20U,却还需要核对总重量、机柜承重、楼板条件、前后门开度及设备抽出距离。线缆弯曲半径和后部 PDU 位置也可能妨碍电源模块拔出。上架前把尺寸和维护动作画出来,比到现场才发现“高度够、深度不够”容易处理。

正常分担负载与单路故障后的供电约束
正常分担负载与单路故障后的供电约束

3 网络、消防与运维动线

网络规划应从服务器端口一直画到机房出口。本例每台服务器有 2 个 25 GbE 端口,分别连接 2 台机柜交换机,采用经过验证的主备方式。正常情况下,每台服务器只有 1 个业务端口承载流量,所以不能把端口数直接当作可用业务带宽翻倍。服务器里的网卡通常通过 PCIe 与主板连接,还要确认插槽的物理尺寸、可用通道和配置限制;插得进去,不代表能够达到网卡标称速率。

假设每台交换机各有 100 Gb/s 上联,要求任意 1 台交换机停机后业务仍可运行。故障时剩余上联按 100 Gb/s 评估,而不是继续使用正常状态的上联合计值。10 台服务器的接入线速总和可以达到 250 Gb/s,这说明存在带宽汇聚,并不自动说明网络不合格。若实测忙时每台需要 6 Gb/s,汇总需求约 60 Gb/s;若任务会同时向外传输大文件,则要重新评估峰值和允许的完成时间。

端口表应区分业务网络和管理网络。业务连接中断时,独立管理接口可能帮助查看电源状态、温度和远程控制台,但前提是管理交换机、供电和访问路径仍然可用。对存储节点,还应明确数据流量经过机内 NVMe、外接存储连接,还是以太网;不要因为设备都叫“服务器”,就按相同带宽配置。光模块、线缆类型、长度和收发端兼容性也应进入物料与验收范围。

消防规划必须结合建筑用途、当地规范和有资质人员的设计。初学者需要掌握的是规划接口:设备和桥架不能遮挡探测设施,线缆穿越防火分区后要按要求封堵,疏散通道不能堆放包装箱。采用何种灭火系统、如何联动断电和通风,应由专业设计确定,不能把“机房有灭火器”当作完整条件。灭火或断电动作也可能影响业务,相关流程需要与人员撤离和恢复安排一起确认。

运维动线连接了这些设施。设备从卸货点到机柜,要经过门、电梯、转弯和可能有承重限制的区域;服务器维修时,需要能拉出导轨并拆换电源或磁盘。冷通道用于向设备进风,热通道收集排风,不能因为临时施工就把工具车长期停在关键送风口。机柜标签、端口编号、回路编号应能在现场对应图纸,使操作人员在紧急情况下准确找到对象。

还要检查共用路径。2 根光纤如果穿过同一段易受施工影响的桥架,可能同时中断;管理网络和业务网络如果共用同一个无后备供电的交换设备,也可能一起失联。规划应记录这些共同依赖,让“有 2 条线”变成可以解释的故障承受能力。

从供电和气流到网络与维护通道的路径
从供电和气流到网络与维护通道的路径

4 动手:估算一个机柜的供电制冷

现在把场景转换成一张简单的容量表。机柜计划安装 10 台服务器,单台规划输入为 0.40 kW,交换机等机柜辅助设备合计按 0.40 kW 计。因此 IT 规划功率为 10 × 0.40+0.40=4.40 kW。辅助设备不能被遗漏,也不要把已经包含在整机输入功率里的风扇或电源损耗再次加进去。每个数字旁边都要写清来源、测量条件和是否包含附属设备。

接着分别检查正常状态和故障状态。若 A、B 两路理想均分,正常时各承担约 2.20 kW;真实设备可能分担不均,应读取每路计量值。失去任意 1 路后,剩余回路承担约 4.40 kW,小于 5.60 kW 的规划上限,余量约 1.20 kW。启动校核采用 10 × 0.45+0.40=4.90 kW,仍低于该上限。不过,短时冲击电流和保护器件动作还需要单独核对,不能只用稳态 kW 比较代替。

制冷侧假设设施人员确认:在本机柜位置、设计进风条件下,可持续提供 5.0 kW 有效显热冷量。4.4 kW 热负荷小于 5.0 kW,冷量余量约 0.6 kW。注意它比供电余量更紧张。若设备功耗增加 0.8 kW,电力校核可能仍通过,但局部制冷已经不足。所谓“还有电,可以再加机器”,在这里会得到错误结论。

可以再用空气热平衡做数量级检查。假设空气密度为 1.2 kg/m³,比热容为 1.005 kJ/(kg·℃),允许服务器进出风温升为 12 ℃,则所需风量近似为 4.4 ÷(1.2 × 1.005 × 12)=0.304 m³/s,约为 1090 m³/h。这个计算假设气流有效经过设备,只能帮助理解热量与风量的关系,不能代替风道测量,也不能据此擅自调整设备允许进风温度。

空间侧计算 10 × 2=20U,小于预留后的 36U;网络侧按故障时每台 6 Gb/s 的忙时需求计算,10 × 6=60 Gb/s,小于剩余上联的 100 Gb/s。结论应写成“在当前假设和指定故障范围内,10 台方案通过初步核算”,而不是“这个机柜最多可以放 18 台”。高度上限只是多个约束中的一个,扩容数量必须由最先达到上限的资源决定。

最后安排现场验证:用有代表性的计算、内存和存储负载观察整机输入、两路电流、机柜进风温度和网络吞吐,并核对监控采样间隔。断电演练涉及真实业务时,应由授权人员按维护计划实施。课堂计算可以先用表格模拟故障转移,得到明确的预期读数,再把正式演练的步骤和停止条件交给运维确认。

5 密度与可持续取舍

提高机柜密度的直接收益是减少机柜数量和部分布线距离,但代价可能是更高的局部电流、更集中发热和更困难的维护。假设单台规划功率仍为 0.40 kW,每增加 1 台就新增 2U 和约 0.40 kW 热负荷。空间看起来还很宽松时,冷量可能已经首先到达边界。因此密度不应只写“每柜多少台”,还应写“每柜多少 kW,以及在何种故障和环境条件下成立”。

本例固定机柜辅助功率为 0.40 kW,设置服务器数量为 N,则规划 IT 功率为 0.40N+0.40 kW。保持供电 5.6 kW、有效冷量 5.0 kW、可用高度 36U 和故障上联 100 Gb/s 不变,可以看到:12 台时功率为 5.2 kW,已经超过冷量;14 台时功率为 6.0 kW,电力也超过规划上限;18 台虽然刚好占满 36U,却远不能通过全部容量条件。这些是模型边界,不是推荐运行点。

可持续取舍首先需要明确测量边界。PUE 是数据中心总能耗与 IT 设备能耗的比值,比较时应使用相同时间窗口和清晰的计量范围。若某段时间 IT 消耗 1000 kWh,设施总计消耗 1400 kWh,PUE 为 1.4。这个指标帮助观察供电、制冷等设施开销,但不能告诉我们业务是否高效。低利用率的服务器持续耗电,可能让 PUE 看起来不错,却仍然浪费能源。

因此应同时观察单位业务量消耗,例如完成固定数量的数据处理任务需要多少 kWh。合并低利用率负载可能减少开机数量,也可能使剩余节点更热、故障影响更集中。扩内存可以减少频繁访问存储的等待,却会增加内存条和整机功耗;更换高吞吐网卡可能缩短任务时间,也会改变插槽和散热需求。合理比较应包含任务完成时间、总能耗和故障后剩余能力。

新设备的运行效率也不是唯一成本。过早淘汰仍可满足需求的服务器,会带来采购、运输和设备制造相关的资源消耗;长期保留低效率设备,则可能增加电费和维护工作。入门阶段不必掌握完整环境核算方法,但应该记录设备预期使用年限、扩展能力、维修条件和退役去向,让更新决策有可追溯依据。

提高进风温度有时可以减少制冷开销,但必须遵守设备支持范围,监测局部热点,并考虑风扇功耗变化。不能只看空调耗电下降,就宣布整体节能。对于需要液冷的高密度设备,还会引入水路、换热和泄漏监测等条件;本课只把它视为可能改变设施接口的设备要求,不展开液冷系统设计。

密度受空间电力冷量和网络共同限制
密度受空间电力冷量和网络共同限制

6 常见坑:IT 容量与设施不同步

最常见的错位是 IT 团队按服务器交货日期安排上线,设施团队却按配电和制冷改造日期交付能力。服务器到了并不代表新增回路、冷量和网络端口已经验收。规划中应把“设备到货”“设施可用”“联合验证完成”设为不同里程碑。只有最后的条件满足,才能把新增设备计入可承载业务的容量,避免通过临时插线和占用通道来赶进度。

另一个问题是统计口径不一致。资产系统记录安装了 12 台,监控系统只采到了 10 台;机房报表给的是整间机房剩余冷量,采购方案需要的却是某个机柜的局部冷量。汇总数据看起来都留有余量,实际热点仍可能超温。容量台账应至少关联设备、机柜、供电回路、网络端口和监控测点,并区分安装容量、当前负载和已承诺但尚未上线的需求。

功耗口径也容易混淆。电源模块铭牌写 1200 W,表示相关额定能力,不意味着服务器一直消耗 1200 W;2 个这样的电源模块,也不意味着整机功耗一定为 2400 W。反过来,不能用空闲时 180 W 的读数作为全年峰值规划。应记录样机配置、负载类型、测量位置和持续时间,使用能够覆盖预期业务的结果,并说明还未覆盖的情况。

硬件扩展会悄悄改变旧假设。增加 8 条内存、加入 2 块 NVMe 盘或把网卡升级到更高速率,都可能增加功耗和发热。某些主板插槽会共享 PCIe 资源,装满磁盘后也可能影响其他扩展配置。规划不必深入总线协议,但要要求核对主板配置表,不能把“还有插槽”理解成“任何设备都能无条件增加”。

过热故障也可能被误判成算力不足。进风温度升高后,设备可能先提高风扇转速,再限制处理器性能;业务表现为任务变慢,操作人员却继续增加服务器,进一步加剧热负荷。排查时应把性能下降的时间,与进风温度、风扇转速、功率和设备告警对齐。单看 CPU 利用率,可能无法发现设施约束。

最后是变更资料不同步。现场为腾出插座移动了电源线,却没有修改供电图;新设备占用了原本留给故障转移的余量,却仍沿用旧的“通过”结论。容量余量属于有条件的资源,每次更改机型、位置、回路或运行方式,都要检查原校核是否仍然成立。台账需要版本和负责人,不能只是一张没人维护的初始表格。

用设备读数与设施读数解释性能和容量问题
用设备读数与设施读数解释性能和容量问题

7 案例:电力冗余被线路改造破坏

下面是一则教学案例。某机柜运行 10 台双电源服务器,设备的电源 1 原接 A 路,电源 2 原接 B 路。最初的验收确认了 2 路来自符合项目故障目标的不同上游路径,并验证单路退出时剩余线路可承载全部负载。运行一段时间后,现场进行线路整理,把 B 路 PDU 的输入迁到了另一个插座,标签仍沿用“B 路”。

问题在于,新插座与 A 路插座来自同一个上游分支保护器件。机柜外观依然有 2 个 PDU,每台服务器仍插着 2 根电源线,管理界面也显示 2 个电源模块正常。但设备层面的双电源,没有消除新出现的共同依赖。某次维护需要断开该分支时,A、B 两个 PDU 同时失电,所有服务器一起停机。线路数量没有减少,故障承受能力却已经改变。

调查不能从“服务器双电源失效”直接下结论。先对齐事件时间:两个 PDU 何时掉电、服务器电源告警何时出现、上游开关何时操作。再核对现场插座和回路标识,追踪到配电图及变更记录。若两个 PDU 同时失电、上游又共用被断开的分支,就能建立比猜测电源模块损坏更有力的证据链。恢复供电后两套电源正常工作,也能帮助缩小排查范围,但不能单凭恢复正常就认定原因。

恢复时先确认线路和容量满足条件,再按批准的顺序启动设备。突然同时启动可能造成新的冲击,也可能让交换机和存储尚未就绪时业务节点已经开始连接。恢复流程应列出依赖顺序、观察点和停止条件。对于可能受非正常断电影响的数据,还要检查存储和应用恢复状态,电源灯亮并不等于业务已经恢复。

整改不能止于把线插回原处。需要更新回路图和现场标签,确认 A、B 路在项目要求的故障范围内保持所需独立性,再重新检查剩余线路和插座的承载能力。如果上游仍存在共同 UPS、共同配电柜或共同外部电源,就要明确这些共同点是否在本项目承诺范围内。冗余是针对具体故障而言的,不能无限扩大解释。

这则案例说明,电力冗余是一条需要持续维护的路径关系。线路改造即使不改变服务器数量和总功耗,也可能改变可靠性。设施变更单应把“是否改变共同故障点”列为检查项,并让 IT 与设施人员共同更新容量和故障校核结果。检验的对象应是最终现场连接,而不是修改前的设计图。

从同时掉电追查共同上游并重新验收
从同时掉电追查共同上游并重新验收

8 把设施约束写进规划方案

正式方案应先说明业务要完成什么,再说明设备和设施如何支持它。例如,首期需要 10 台指定配置的服务器,支持给定忙时处理量;在失去任意 1 路机柜供电或任意 1 台机柜交换机时,按已确认的范围继续运行。这里的故障目标不是对所有灾害的承诺,方案需要把失电持续时间、设备维护和机房级故障是否覆盖写清楚,避免不同团队各自理解。

随后建立假设表。每台规划输入 0.40 kW、短时校核输入 0.45 kW、机柜辅助功率 0.40 kW、有效冷量 5.0 kW,均应注明来源和适用条件。假设有待测量并不意味着不能推进项目,但必须标注验证负责人和截止时间。若样机实测高于假设,应能定位受影响的供电、冷量和扩容结论,而不是等到上线当天才重新讨论。

容量表应分开写正常状态与约定故障状态。正常状态记录 A、B 路实测分担和交换机流量,故障状态记录剩余路径需要承担的负载。建议同时列出需求、可用上限、差额和证据来源。对于本例,规划 IT 功率 4.4 kW,单路供电上限 5.6 kW,局部冷量 5.0 kW,服务器占用 20U。把这些数字放在同一张表中,能够直接看出冷量是更紧的约束。

扩容规则也要具体。按当前模型,11 台时功率为 4.8 kW,只剩 0.2 kW 冷量差额;12 台达到 5.2 kW,超过现有冷量。因此不能只写“后续可增加 8 台”,也不应把第 11 台自动当成可批准容量。设备误差、环境变化和业务增长仍可能消耗余量,是否扩容需要重新验证实际条件和项目要求的预留。

验收应把计算变成可观察的结果。电力侧核对回路追踪、读数和转移后负载;制冷侧观察代表性负载下不同高度的进风温度;网络侧验证交换机退出后的连通性与忙时吞吐;空间侧完成导轨抽出、电源更换和动线检查。每项结果要有适用配置和记录时间,不能把空载验收报告直接当作满载运行证据。

交付后还需要变更触发条件。例如更换服务器配置、增加设备、移动 PDU 输入、调整冷通道或改变上联,都应触发相关复核。方案中注明谁维护设备清单、谁确认设施余量、谁批准上线,能让容量边界在项目结束后继续有效。规划的价值不只在最初选择多少台设备,也在于让后来的变化有章可循。

从假设和约束到验证与变更复核
从假设和约束到验证与变更复核

9 从数据中心规划走向强化学习(A54)

数据中心规划主要确定设备和设施的可行边界,但运行中的需求会随时间变化。白天业务繁忙,夜间可能有批处理;室外环境变化会影响冷却系统,设备增减又会改变热量分布。由此产生一个后续问题:在不越过容量与安全边界的前提下,能否依据观测持续调整运行方式,让任务完成得更好、资源消耗更少?这为理解强化学习提供了具体背景。

先用不依赖算法的方式描述决策。系统每隔一段时间读取机柜功率、进风温度、任务队列和设备状态;允许执行的动作可能是调整部分任务的启动时间,或在经过批准的范围内改变某项运行设定;随后观察任务完成情况和能耗变化。温度超过允许范围、剩余线路承载不足等,应作为必须遵守的限制。任务完成量和能耗则用于评价不同选择的效果。

这里的“状态”不是任意堆积的监控数字,而是帮助判断下一步动作的观测信息。“动作”也不是模型能够随意修改所有开关,而是事先定义并授权的有限选择。“回报”用于表达希望达成的结果,例如在满足任务完成时限的前提下减少能耗。先把这些对象说清楚,才有可能讨论强化学习;本课不展开训练算法和模型内部结构。

运行决策常有延迟影响。现在集中启动任务,可能在稍后推高功率和温度;为了降低瞬时用电不断推迟任务,又可能在截止前形成更高峰值。只看当前时刻哪个动作最省电,未必能让整个时间段表现更好。强化学习关注的连续决策问题与此相关,但这不意味着它天然优于清晰的固定规则或简单调度策略。

引入新方法前,应保留一个可以比较的基线,例如固定并发上限加温度告警的运行规则。先在历史记录、仿真环境或隔离测试环境中检查候选策略,再考虑经过批准的受控运行。若观测缺失、温度传感器异常或策略输出超出范围,应有确定的回退规则。不能通过让生产机柜反复过热或过载,来收集所谓探索经验。

从 H52 到 A54,最有用的准备不是背诵算法名称,而是保留本课形成的设备清单、容量约束、状态测量和故障记录。下一课可以据此讨论状态、动作与回报如何共同定义任务,以及为什么优化目标必须尊重真实硬件的边界。设施规划给出哪些事情允许发生,后续决策方法才有明确的运行空间。

放进方案里

在方案中增加“机柜容量与故障校核”页,注明设备清单版本、测量条件和负责人。首期采用 10 台 2U 服务器,每台包含 CPU、DDR5 内存、PCIe NVMe 存储和双端口 25 GbE 网卡,具体型号及插槽配置见附件。整机规划交流输入按 0.40 kW,启动校核按 0.45 kW,交换机等辅助设备合计按 0.40 kW。以上数值由样机测试确认后作为上线依据,配置变更需同步修订。

机柜接入 A、B 共 2 路供电,每路规划上限为 5.6 kW,要求任意 1 路退出后剩余路径承担全部约定负载。规划功率为 4.4 kW,启动校核为 4.9 kW,均低于该上限。回路独立性须以现场追踪和竣工图确认,并检查插座、电缆及单个电源模块能力。局部有效显热冷量按 5.0 kW 计,在代表性负载和设计环境下验证不同高度的服务器进风条件。

服务器占用 20U,另行核对重量、深度、导轨抽出和检修动线。业务端口分别接入 2 台交换机,按主备方式运行;任意 1 台退出后,上联可用带宽按 100 Gb/s 计,预计忙时需求为 60 Gb/s,并通过切换测试确认。管理网络、消防封堵和疏散通道列入联合验收,未完成项目登记责任人与完成日期。

当前余量不直接承诺后续扩容。新增服务器前,应重算电力、冷量、空间和故障上联需求;按现有假设,12 台时热负荷达到 5.2 kW,超过局部冷量。移动供电输入、改变设备配置或调整气流组织,都必须复核原结论。上线条件为设施验收、代表性负载验证及批准范围内的故障演练完成,记录归档后交接运维。

验收附件应标出机柜上、中、下部进风测点,将温度曲线与设备允许范围逐项比对,并保存同一时段的 PDU 读数。单路退出时,服务器不得重启,剩余回路不得超过规划上限;出现保护跳闸、温度越界或电源过载告警即停止测试。记录实际负载、环境条件与回路编号,未覆盖的季节工况另列验证计划。

10 小结:下一步强化学习(A54)

数据中心规划把服务器配置转换成可检查的电力、冷量、空间、网络和维护要求。判断容量时要同时看正常状态与约定故障状态,并追踪共同依赖。机柜有空位、设备有双电源,都不能单独证明可以扩容或承受停电。

自测时可以解释 3 个问题:为什么双路各 5.6 kW 的机柜不能在本例中承诺 11.2 kW 冗余负载?为什么 12 台服务器高度仍够却不能通过容量核算?为什么把 B 路插到另一个插座后必须重新确认冗余?能够用路径、数字和证据回答,就具备了进入 A54 的基础。

下一步学习强化学习时,继续使用这些硬件边界,区分可观测状态、允许动作和评价结果。先保证决策问题定义清楚,再讨论如何优化连续运行。

同阶段相关课

AI 答疑

默认关闭。启用后,只发送本课标题、最近阅读的屏幕内正文摘录(最多 6000 字)与本次问题。

配置自己的服务