新增节点后，队列里仍有作业排队，或作业启动了却频繁等待数据和通信，通常说明瓶颈不只是算力不足。进行训练集群横向扩容方案评估时，应同时检查资源是否能被调度、作业能否并行运行，以及扩容带来的管理成本。
先区分“有节点”和“可用算力”
集群总资源增加，不代表每个作业都能拿到所需组合。一个分布式训练作业可能同时申请加速器、CPU、内存和高速网络；只要其中一项不够，其他资源就可能被占住。节点型号、加速器数量或本地存储不一致时，按节点总数估算容量尤其容易高估。
先按节点记录可分配的加速器、CPU 核数、内存、网络连接和存储类型，再对照作业实际申请量。区分“已分配但利用不足”和“尚未分配”，前者要排查数据读取、通信或批次设置，后者才优先检查队列规则与资源碎片。
让调度策略匹配作业形态
整组启动与队列等待
需要多节点协同的作业可采用gang scheduling，即资源齐备后整组启动，避免少数节点先占用资源、其余节点长期等待。不过，整组等待可能拉长启动时间。适用于通信依赖强、无法由部分节点有效工作的作业；对可拆分的独立任务，则可比较分批启动，减少资源被整组预留的情况。
减少碎片，也保留拓扑意识
资源碎片指集群尚有空闲资源，却凑不齐某个作业要求的资源组合。紧凑放置（bin packing）能把作业集中到较少节点，通常有利于释放完整空闲节点；分散放置则可能避开热点或提升故障隔离能力。对跨节点通信明显的作业，还需采用拓扑感知策略，优先安排在网络距离较近的节点组内。具体取舍应以作业实测为准。
按步骤做扩容评估
固定一个代表性作业，记录数据集、软件配置、资源申请和检查点设置，避免对比时同时更换多个条件。
选取扩容前后的几档节点规模运行同一作业；每档重复运行数次，并记录等待时间、启动成功率、有效训练时间及资源占用。运行时长应足以覆盖常见的数据加载与通信阶段。
计算扩展效率：将新增规模下的有效工作能力，与新增资源的比例进行比较。若效率下降，分别检查数据管线、通信拓扑、单节点性能差异和队列等待，不要只看集群总利用率。
模拟混合负载：同时放入大规模协同作业和较小的独立作业，观察大作业是否长期凑不齐资源、小作业是否被阻塞，并调整优先级、配额或抢占规则。
上线前检查checkpoint恢复流程。扩容或调度变更可能伴随节点维护、作业重排；能定期保存并恢复训练状态，可降低中断造成的重复计算。
比较方案时看总成本
对训练集群横向扩容方案评估，至少比较三项：单位有效工作量所需的节点时间、作业从提交到完成的时间，以及闲置或等待资源比例。扩容节点若能缩短关键作业的完成时间，却使大量短作业排队，可能需要配合独立队列或资源配额；若作业本身受数据读取限制，增加计算节点则未必能改善结果。
评估还应纳入节点异构、故障恢复和日常运维。优先采用分批加入、可回退的变更方式，并保留扩容前基线。最终的训练集群横向扩容方案评估应回答：新增资源能否被作业整组获得，能否持续有效工作，以及改善是否足以抵偿管理成本。
常见问题
扩容后仍有节点空闲，先查什么？
先核对作业申请与节点可分配资源是否匹配，再检查队列配额、整组启动要求和资源碎片。
所有作业都适合整组启动吗？
不适合。强依赖多节点协同的作业通常更受益；可独立运行或可拆分的任务可考虑分批调度。
需要观察多长时间才能判断效果？
应覆盖作业的主要训练阶段，并重复运行以降低偶然波动影响。具体时长取决于数据规模、作业周期和环境稳定性。
