每兆瓦并发智能体数：AI算力评测的新基准

概念定义：什么是“每兆瓦并发智能体数”？

“每兆瓦并发智能体数”（Agents per Megawatt，简称APM）是2026年6月由行业权威评测机构Artificial Analysis提出的新型AI算力效能基准。其核心定义是：在满足特定服务等级目标（SLO）的前提下，单位能源消耗（1兆瓦）下系统能够稳定支持的并发智能体数量。这里的“智能体”指能够自主分解任务、调用大模型及工具链、处理复杂上下文的AI代理，而非传统单次请求的简单交互。

APM的独特性在于，它突破了传统算力评测仅关注单次请求延迟或吞吐量的局限，转而聚焦智能体在长周期、多步骤任务中的综合效能。例如，一个智能体可能需要连续调用大模型生成代码、执行编译、查询数据库、验证结果并迭代优化，这一过程可能涉及数十次模型调用与上下文传递。APM通过模拟此类真实场景，更精准地反映AI基础设施对复杂任务的承载能力。

背景与价值：为何需要APM？

传统算力评测的局限性日益凸显。以FLOPs（每秒浮点运算次数）或TPM（每分钟令牌数）为代表的指标，虽能衡量硬件的理论性能，却无法反映智能体在实际业务中的表现。例如：

• 单次请求 vs 持续任务：传统指标假设每个请求独立，而智能体任务是连续的，上下文需在多次调用间传递，对内存与缓存管理提出更高要求。
• 工具链集成：智能体常需调用编译、搜索、数据库等外部工具，传统评测未覆盖此类异构负载。
• 能源效率：随着AI算力需求激增，能源消耗成为关键成本。APM将能源效率纳入核心指标，推动绿色AI发展。

APM的出现，为行业提供了从“单次性能”到“持续效能”、从“硬件算力”到“系统能效”的全新评估视角，帮助开发者与企业更精准地规划AI基础设施投资。

核心组成：APM的三大支柱

APM的评测体系由三部分构成：

1. 真实轨迹回放：评测数据集基于真实编程智能体的操作轨迹，覆盖12种以上编程语言，单段会话最长200轮，上下文长度突破10万令牌，远超传统合成数据集的复杂度。
2. 服务等级目标（SLO）约束：定义了智能体输出的关键指标，如首字延迟（Time to First Token, TTFT）需低于500毫秒、输出速度（Tokens per Second, TPS）需稳定在20以上。系统必须在满足这些约束的前提下，尽可能多地承载并发智能体。
3. 能源消耗归一化：将评测结果统一换算为每兆瓦（1,000,000瓦）的并发智能体数，消除硬件规模差异，便于横向对比不同系统的能效。

工作原理：APM如何运行？

APM的评测流程可分为四个阶段：

1. 轨迹生成：从真实业务中采集智能体的操作序列，包括模型调用、工具使用、上下文更新等步骤，构建评测数据集。
2. 系统部署：将待测系统（如GPU集群、AI加速卡）配置为标准环境，确保能源监控模块可实时采集功耗数据。
3. 压力测试：逐步增加并发智能体数量，直至系统无法满足SLO约束（如TTFT超过阈值或输出速度波动）。记录此时的最大并发数与总能耗。
4. 结果计算：根据公式APM = (最大并发智能体数 × 1,000,000) / 总能耗（瓦），得出最终评分。

例如，某系统在功耗为500,000瓦时支持10,000个并发智能体，其APM值为 (10,000 × 1,000,000) / 500,000 = 20,000 Agents/MW。

典型场景：APM的适用范围

APM适用于以下场景：

1. AI基础设施选型：企业可通过APM对比不同硬件（如GPU vs AI加速卡）或云服务商的能效，优化采购决策。
2. 系统优化：开发者可基于APM结果定位瓶颈，例如调整内存分配策略以支持更长的上下文，或优化工具链调用顺序以减少延迟。
3. 绿色AI实践：APM为能源效率提供了量化指标，帮助企业实现碳减排目标，符合ESG（环境、社会、治理）要求。
4. 智能体开发：APM可验证智能体设计的合理性，例如通过减少不必要的模型调用或压缩上下文长度，提升整体效能。

相关概念区别：APM vs 传统指标

APM与传统算力指标的核心区别在于：
| 指标 | 关注点 | 适用场景 |
|————————|—————————————|—————————————|
| FLOPs | 硬件理论算力 | 芯片设计、硬件选型 |
| TPM | 单位时间令牌生成量 | 大模型推理性能评估 |
| QPS（每秒查询数） | 单次请求处理能力 | Web服务、简单API调用 |
| APM | 持续任务下的能效 | 智能体、复杂工作流、绿色AI |

使用注意事项：APM的实践挑战

1. 数据集代表性：APM的评测结果高度依赖轨迹数据集的质量。若数据集未覆盖目标业务场景（如医疗、金融），结果可能失真。
2. SLO定义：不同业务对延迟与吞吐量的要求差异显著。例如，实时对话智能体对TTFT敏感，而代码生成智能体更关注输出准确性。需根据业务需求调整SLO约束。
3. 硬件异构性：APM假设硬件环境统一，但实际部署中可能混合使用不同型号的GPU或加速卡。需通过加权平均或分组建模处理此类异构性。
4. 动态负载：智能体的任务负载可能随时间波动（如高峰时段并发数激增）。APM的静态评测结果需结合动态调度策略（如弹性伸缩）才能指导实际运维。

总结：APM的核心价值与适用边界

APM通过引入“每兆瓦并发智能体数”这一指标，为AI算力评测提供了从“单次性能”到“持续效能”、从“硬件算力”到“系统能效”的全新视角。其核心价值在于：

• 精准评估：覆盖智能体任务的复杂性与工具链集成需求，反映真实业务场景下的系统表现。
• 能效导向：将能源消耗纳入核心指标，推动AI基础设施向绿色、可持续方向发展。
• 业务对齐：通过SLO约束确保评测结果与业务目标一致，指导开发者与企业优化系统设计。

然而，APM并非万能。其适用边界在于：

• 需基于真实或高度仿真的轨迹数据集；
• 需明确业务对延迟与吞吐量的具体要求；
• 需结合动态调度策略应对实际负载波动。

在AI算力需求持续激增的今天，APM将成为衡量AI基础设施效能的关键指标，助力行业迈向更高效、更可持续的未来。