双卡高速互连大模型推理性能评测

一、评测概述

本文评测的对象，是双卡消费级图形处理器平台在保持模型、量化策略、推理服务配置和测试样本基本一致的前提下，将卡间互连从通用主板通道改为点对点高速互连后，对中等参数规模大模型推理服务的影响。评测重点不是简单判断“改造是否更好”，而是回答几个更具体的问题：单发场景下互连改造能带来多少收益；4并发场景下吞吐、首词元延迟和尾部延迟如何变化；并发本身与互连改造各自贡献了什么；这些收益在什么条件下成立，又有哪些边界和风险。

本文适合开发者、系统架构师、运维人员、技术负责人和企业技术团队阅读。对于正在评估单机双卡推理平台、准备进行卡间互连改造、需要决定优先优化并发调度还是互连链路的团队，本文可以提供一套可复用的评测框架。读者通过本文可以获得三方面判断：第一，互连改造在低并发和高并发场景下的收益差异；第二，如何设计控制变量、基线对比和长稳压测；第三，如何结合业务场景、成本、稳定性和维护复杂度做选型，而不是只看某一个吞吐数字。

需要强调的是，评测结论具有条件性。原始测试记录覆盖的是单机双卡、中等规模模型、小样本请求和最高4并发的场景，不能直接外推到多机多卡、超长上下文、混合负载或生产高峰环境。因此，本文将原始数据作为参考案例，重点说明如何解读指标、如何验证收益以及如何划定适用边界。

二、评测目标

本次评测围绕以下目标展开：

1. 验证单发场景下互连改造的收益边界。 单发推理通常更受计算能力、显存带宽和单请求调度影响，卡间通信占比未必很高。因此需要观察吞吐、首词元延迟和每词元生成时延是否出现明显改善，以及改善是否足以覆盖改造成本。

2. 验证4并发场景下互连改造的收益放大效应。 多并发会提高批处理规模，也会增加跨卡同步、参数分片交换和键值缓存传输的频率。互连带宽与延迟改善后，高负载下的排队时延和尾部延迟可能更敏感。

3. 区分并发收益与互连收益。 从单发到4并发，吞吐提升往往主要来自批处理调度和资源利用率提升；互连改造则是在此基础上降低通信与同步开销。评测必须把两者分开，否则容易把并发收益误判为互连收益。

4. 建立可观测指标体系。 不能只看平均吞吐，还要同时记录请求成功率、输出词元吞吐、总词元吞吐、首词元延迟、每词元生成时延、词元间延迟以及P99尾部指标。对交互式业务，首词元延迟和尾部延迟往往比平均吞吐更影响体验。

5. 形成选型与复测建议。 评测最终要服务于决策：是否值得改造、在哪些场景优先改造、改造前需要做哪些验证、上线后如何监控和回滚。

三、评测对象说明

被评测对象可以抽象为“单机双卡推理平台 + 中等参数规模大模型 + 高吞吐推理服务”的组合。双卡之间通过某种卡间互连方式协同完成模型推理，可能涉及张量并行、流水并行、参数分片、键值缓存交换以及集合通信操作。卡间互连的质量会影响跨卡同步等待时间、通信带宽利用率和高负载下的排队抖动。

评测设置两个对比组：

• 基线组： 双卡通过通用主板互连通道通信，保持模型、量化、采样参数、批处理上限和推理服务配置不变。
• 改造组： 双卡通过点对点高速互连通信，其余软件与模型配置尽量保持一致。

需要说明的是，互连改造不仅是软件配置问题，还可能涉及硬件连接、供电、散热、机箱风道、固件与运行时兼容性。因此评测对象不仅是“互连链路”，而是“改造后的整套推理平台”。如果只记录吞吐提升，而不记录温度、功耗、错误日志和长稳表现，结论是不完整的。

四、评测维度设计

评测维度应覆盖功能、性能、稳定性、易用性、兼容性、可维护性、可观测性、安全与成本。下表给出建议框架。

评测维度	重点关注	验证方法	结果解读
功能完整性	单发、多并发、流式输出、批处理、异常输入处理	功能冒烟、固定样本回归、接口调用验证	功能不完整时，性能数据没有决策意义
性能表现	输出吞吐、总吞吐、TTFT、TPOT、ITL、P99	单发与多并发压测、基线对比、多轮取中位数	平均指标看能力，P99看高负载体验
稳定性	长时间运行、温度功耗、降频、错误率、显存压力	长稳压测、异常注入、资源紧张测试	短时性能好不代表可长期生产
易用性	部署复杂度、配置项、调试便利性、回滚难度	按文档复现、记录人工操作成本	改造成本高会抵消性能收益
兼容性	主板通道、供电散热、运行时版本、模型格式	多配置复测、版本矩阵验证	兼容性不足会增加维护负担
可维护性	固件与运行时升级、故障排查、容量规划	日志分析、升级演练、故障恢复演练	可维护性决定长期使用成本
可观测性	日志、指标、告警、链路追踪	检查指标是否覆盖吞吐、延迟、错误和资源	没有观测能力就难以定位性能回退
安全性	模型权重访问、接口鉴权、日志脱敏、租户隔离	权限检查、日志审计、异常访问测试	本地推理同样需要安全边界
成本结构	硬件改造成本、功耗散热、停机成本、维护成本	成本清单与收益周期估算	不能只看吞吐提升比例
场景适配度	交互式、高并发、长上下文、离线批处理	按业务负载建模复测	不同场景关注指标不同

其中，性能指标需要明确定义。输出词元吞吐表示单位时间生成的输出词元数量；总词元吞吐同时计入输入和输出；首词元延迟表示请求发出到首个输出词元返回的时间；每词元生成时延表示首词元之后平均每个输出词元的生成耗时；词元间延迟描述连续输出词元之间的间隔；P99表示99%请求不超过的延迟水平，更适合观察尾部体验。对于交互式应用，TTFT和P99 ITL往往比平均吞吐更关键；对于离线批处理，吞吐和单位成本更重要。

五、评测环境与前提

为了保证对比有效，测试前需要固定以下条件：

• 双卡型号与数量一致，单机拓扑一致；
• 模型权重、量化策略、上下文长度、输出长度、采样参数一致；
• 推理服务版本、运行时配置、批处理上限、并发上限一致；
• 预热轮次一致，避免冷启动影响首轮数据；
• 温度、功耗策略和散热条件尽量一致；
• 测试样本具有代表性，输入与输出长度分布接近真实业务；
• 记录改造细节，包括连接方式、供电、散热和稳定性观察；
• 明确测试边界，如单机双卡、最大4并发、约千级输入与千级输出、样本量10个请求。

原始参考测试记录中，单发与4并发场景均使用10个成功请求，总输入约10763词元，总生成约10240词元，平均输入和输出约在千级。单发场景最大请求并发为1，4并发场景最大请求并发为4；记录中4并发场景的峰值并发计数出现高于设定值的情况，这可能与统计口径有关，复测时应明确“请求并发”“批处理并发”和“峰值并发”的定义，避免指标混用。

需要特别指出，10个请求下计算P99的统计意义有限，P99接近最大值，容易受单个慢请求影响。它可以作为尾部风险的早期信号，但不宜作为最终生产容量结论。生产环境应增加样本量、延长压测时间，并覆盖混合长度请求。

六、评测方法与流程

建议采用“基线—改造—复测—长稳—回滚”的流程：

1. 明确问题与基线。 先记录通用主板互连下的单发和4并发表现，形成基线。
2. 功能冒烟。 验证单发、多并发、流式输出、异常输入和超长输入处理是否正常。
3. 预热。 每个场景先运行若干轮，待温度、功耗和缓存状态稳定后再记录。
4. 分场景压测。 分别测试基线单发、基线4并发、改造单发、改造4并发。
5. 多轮取数。 每场景至少多轮运行，记录均值、中位数和P99，保留原始日志。
6. 长稳观察。 在高负载下持续运行，观察温度、功耗、降频、错误率和延迟漂移。
7. 异常测试。 注入错误输入、显存压力、服务重启和链路异常，验证恢复能力。
8. 回滚验证。 确认改造失败时能否快速恢复基线配置。

示意性伪代码如下：

for concurrency in [1, 4]:
    warmup(rounds=3)
    for round in range(N):
        for request in sample_requests:
            t0 = now()
            result = infer(
                batch_size=concurrency,
                input_tokens=request.input,
                output_tokens=request.output,
                sampling=固定参数
            )
            record(
                ttft=result.ttft,
                tpot=result.tpot,
                itl=result.itl,
                output_tokens=result.output_tokens,
                success=result.success,
                timestamp=now() - t0
            )
    report(mean, median, p99, throughput, error_rate)

记录过程数据时，应同时保存请求级延迟、吞吐、错误日志、资源使用、温度功耗和配置差异。结果解读要区分“能力提升”和“体验改善”：吞吐提升说明单位时间处理能力增强；TTFT降低说明交互响应更快；P99尾部延迟降低说明高负载下慢请求减少；TPOT上升则说明并发带来资源竞争，需要结合业务可接受时延判断。

七、参考结果与解读

原始测试记录中，无互连改造的基线数据如下表所示。以下数值已做去品牌化整理，仅用于说明指标关系。

场景	输出吞吐（词元/秒）	平均TTFT（毫秒）	P99 TTFT（毫秒）	平均TPOT（毫秒）	P99 TPOT（毫秒）	P99 ITL（毫秒）
无互连单发	40.41	1224.62	1342.89	23.57	23.83	46.98
无互连4并发	104.87	3510.60	4853.63	29.15	32.53	未单列

从单发到4并发，输出吞吐从40.41提升到104.87，约提升160%，即约2.6倍；总词元吞吐从82.89提升到215.09，提升幅度接近；请求吞吐从0.04提升到0.10，基准时长从253.37秒降到97.65秒。这说明并发批处理是吞吐提升的第一杠杆。代价是平均TPOT从23.57毫秒升至29.15毫秒，增加约23.7%，落在原文所述“每词元生成延迟增加约15%至25%”的区间内；平均TTFT和P99 TTFT也显著上升，说明高并发下排队和资源竞争加剧。

互连改造后的变化可概括为：单发场景吞吐收益约8%至10%，收益有限；4并发高负载场景吞吐提升约13%至15%，收益更明显；4并发下TTFT降低约23%，P99尾部延迟降低约50%。这些变化说明互连改造并非在所有场景都同等有效，而是更偏向高并发、通信同步频繁和尾部延迟敏感的场景。

从技术原因看，单发场景下推理更受计算、显存带宽和单请求调度限制，卡间通信在总耗时中的占比相对有限，因此高速互连只能减少部分同步等待，收益不会特别大。4并发下批处理规模增加，多请求并行导致跨卡同步、参数分片交换和键值缓存传输更频繁，互连带宽与延迟改善更容易转化为吞吐和尾部延迟收益。TTFT改善主要来自预填充阶段跨卡同步等待减少；P99尾部延迟改善则说明高负载下的排队抖动和同步抖动被缓解。

但必须强调，互连改造是“次级优化”。从单发到4并发，吞吐约2.6倍的提升主要来自并发与批处理，而不是互连。若业务尚未充分利用并发调度、批处理、量化和缓存优化，优先改造互连的投入产出比未必高。反过来，当并发能力已经打满、通信成为瓶颈时，互连改造才更可能成为有效增量。

八、适用场景分析

不同业务应关注不同指标，互连改造的优先级也不同。

场景	重点关注指标	互连改造优先级	判断依据
单用户低并发	TTFT、TPOT、稳定性	低	单发收益约8%至10%，需核算改造成本
多用户高并发	吞吐、P99延迟、错误率	高	4并发下吞吐和尾部延迟改善更明显
长上下文与重预填充	TTFT、P99 TTFT	中高	预填充阶段跨卡同步多，互连影响更大
张量并行度高	吞吐、ITL、通信等待	高	跨卡集合通信频繁，互连质量更关键
流式交互应用	TTFT、P99 ITL	中高	首词元与尾部抖动直接影响体验
离线批处理	总吞吐、单位成本	中	吞吐重要，但成本和长稳同样关键
成本敏感型部署	改造成本、功耗散热、维护成本	需谨慎	性能收益必须覆盖硬件与运维投入
生产混合负载	P99、稳定性、可观测性	先验证	小样本结果不足以支撑生产结论

对于以单用户、低并发为主的场景，优先优化模型量化、算子效率、缓存策略和请求调度，往往比改造互连更直接。对于多用户高并发、首词元延迟敏感、长上下文比例高、卡间通信密集的推理服务，互连改造更值得进入评估清单。对于生产系统，应先用小规模A/B测试验证，再决定是否扩大范围。

九、风险与限制

本次评测的结论存在明显边界。第一，样本量只有10个请求，P99尾部指标统计意义有限，单个慢请求就可能显著影响结果。第二，最高并发为4，属于较低并发，不能代表几十路或更高并发下的表现。第三，测试对象是单机双卡和单一中等规模模型，不能直接外推到多机多卡、超大模型、超长上下文或混合负载。第四，互连改造涉及硬件连接、供电和散热，改造一致性、温度功耗和长期稳定性都会影响结果。第五，软件版本、运行时配置、批处理策略和统计口径差异都会影响吞吐与延迟数据。第六，改造后若出现兼容性问题或硬件故障，回滚成本和停机成本需要提前评估。

因此，结果解读应坚持条件化表达：在高并发、通信密集、TTFT和P99敏感的场景下，应重点验证互连改造收益；在低并发、计算受限、成本敏感的场景下，应优先验证并发调度和软件优化。任何单次压测都不能替代长稳测试和生产灰度。

十、选型与使用建议

基于通用评测逻辑，建议按以下清单推进：

1. 先复测基线。 在固定模型、固定配置、固定样本下记录单发和4并发的吞吐、TTFT、TPOT、ITL和P99。
2. 分离并发收益与互连收益。 先观察并发提升带来的吞吐变化，再对比互连改造增量，避免归因错误。
3. 优先优化并发与批处理。 如果并发吞吐仍有提升空间，先评估批处理上限、调度策略、显存利用和量化方案。
4. 高并发场景再重点评估互连。 当通信同步成为瓶颈、P99尾部延迟明显、TTFT敏感时，互连改造优先级提高。
5. 做长稳与异常测试。 覆盖高温、高负载、错误输入、服务重启和资源紧张，记录错误率与延迟漂移。
6. 核算总成本。 包括硬件改造、功耗散热、停机、维护、回滚和人员投入，不能只看吞吐提升比例。
7. 保留回滚路径。 改造前后配置可切换，关键指标可观测，异常时可快速恢复。
8. 明确结论边界。 将测试结论限定在单机双卡、指定模型、指定并发和指定样本范围内，生产扩容前重新压测。

十一、总结

本文围绕双卡消费级图形处理器改造高速互连对大模型推理的影响，给出了评测目标、评测维度、测试方法、结果解读和适用边界。参考测试记录显示，互连改造在单发场景下吞吐收益约8%至10%，收益有限；在4并发高负载下吞吐提升约13%至15%，TTFT降低约23%，P99尾部延迟降低约50%，高并发收益更明显。与此同时，从单发到4并发，吞吐提升约160%、约2.6倍，是性能提升的主要来源，但平均每词元生成时延增加约23.7%，需要结合业务可接受时延判断。

综合来看，互连改造更适合作为高并发、通信密集和尾部延迟敏感场景的增量优化，而不是替代并发调度、量化和批处理优化的万能方案。评测时应坚持控制变量、基线对比、多轮取数、长稳压测和成本核算，并将结论限定在真实测试边界内。对于技术团队而言，最重要的不是记住某个提升比例，而是建立一套可复现、可解释、可回滚的评测方法，从而在性能、稳定性、成本和维护复杂度之间做出平衡决策。