重复Token路由攻击：MoE模型负载均衡的潜在威胁

概念定义：什么是重复Token路由攻击？

重复Token路由攻击（Repetition Curse）是一种针对混合专家模型（Mixture of Experts, MoE）的负载均衡攻击方法。其核心原理是：通过构造高度重复的输入Token序列，诱导MoE的路由机制（Router）将大量Token集中分配到少数专家（Expert）上，导致部分GPU成为性能瓶颈（Straggler），而其他GPU因等待同步而空闲，最终拖慢模型的推理速度。

MoE模型通过专家并行（Expert Parallelism）将不同专家分布到多个GPU上，以降低单次推理的计算量。例如，一个8-GPU部署的MoE模型，每个GPU负责一个专家，理论上可实现负载均衡。然而，重复Token攻击会破坏这一平衡：当输入中存在大量重复Token时，路由机制会将这些Token反复分配到同一批专家，导致单个GPU负载激增（如98%），而其他GPU负载极低（如1%），从而引发系统级拥堵。

背景与价值：为何MoE模型需要负载均衡？

MoE模型的核心优势在于“稀疏激活”：每次推理仅调用部分专家，而非全部参数。例如，一个拥有1000亿参数的MoE模型，可能每次仅激活100亿参数（10%的专家），从而在保持模型规模的同时降低计算成本。然而，这种稀疏性依赖路由机制的有效分配：若Token分配不均，部分专家会被过度使用，而其他专家闲置，导致资源浪费和性能下降。

负载均衡是MoE模型训练和推理的关键目标。在训练阶段，模型通过梯度下降优化路由策略，使Token均匀分配到各专家；在推理阶段，负载均衡直接影响用户体验（如首Token延迟TTFT）。重复Token攻击揭示了MoE路由机制在极端输入下的脆弱性：即使模型参数和路由算法设计合理，恶意构造的输入仍可绕过防护，破坏系统性能。

核心组成：攻击的三大关键要素

1. 输入构造：攻击者需生成高度重复的Token序列。例如，在自然语言处理中，连续输入多个相同的单词（如“是是是是”）；在图像处理中，重复使用相同的像素块。这种输入模式在真实场景中可能罕见，但可通过恶意请求或数据投毒实现。
2. 路由机制：MoE的路由模块负责将Token分配到专家。常见路由算法包括Top-k路由（选择概率最高的k个专家）和Softmax路由（按概率分布分配）。重复Token攻击不依赖具体算法，而是利用重复输入导致Token隐藏表示（Hidden Representation）高度相似，从而被路由到同一专家。
3. 专家并行：MoE模型通常将专家分布到不同GPU上。例如，8-GPU部署中，每个GPU负责一个专家。当大量Token被路由到同一GPU时，该GPU成为瓶颈，其他GPU需等待其完成计算才能同步，导致整体延迟增加。

工作原理：从分散派单到固定派单

MoE的路由机制可类比医院的分诊台：每个Token相当于一个患者，路由模块根据患者症状（Token的隐藏表示）将其分配到不同科室（专家）。在正常输入下，患者症状多样，分诊台会将他们均匀分配到各科室，避免拥堵。

重复Token攻击则构造了一群“症状相同的患者”：连续输入的Token隐藏表示高度相似，路由模块无法区分它们，只能反复分配到同一科室。例如：

• 正常输入：Token A→专家1，Token B→专家2，Token C→专家3 → 负载均衡（33%/33%/33%）。
• 攻击输入：Token A→专家1，Token A→专家1，Token A→专家1 → 负载失衡（98%/1%/1%）。

这种失衡会逐层累积。在多层MoE模型中，每一层的路由都可能被攻击，导致少数专家在多层中持续过载，最终引发“路由崩溃”（Routing Collapse）。实验显示，在8-GPU部署的MoE模型中，攻击可使TTFT增加20%~148%，严重拖慢用户响应。

典型场景：哪些场景易受攻击？

1. 黑盒场景：攻击者无需知道模型参数或路由细节，仅需观察输入-输出延迟即可构造攻击。例如，通过反复发送重复请求，监测响应时间变化，逐步优化攻击输入。
2. 低熵输入：某些真实场景（如数据清洗、重复模式检测）可能包含重复Token，但概率较低。攻击者可放大这种模式，构造恶意输入。
3. 延迟敏感应用：对话系统、实时翻译等场景对TTFT敏感，攻击者可通过拖慢响应破坏用户体验，甚至触发服务降级。

相关概念区别：与梯度攻击、数据投毒的区别

1. 梯度攻击：通过修改输入梯度干扰模型训练，需访问模型参数或梯度信息。重复Token攻击仅依赖输入模式，不依赖模型内部状态。
2. 数据投毒：通过污染训练数据破坏模型性能，需控制训练流程。重复Token攻击针对推理阶段，无需干预训练。
3. 拒绝服务攻击（DoS）：通过大量请求耗尽系统资源，重复Token攻击则通过构造特定输入破坏负载均衡，资源消耗更“精准”。

使用注意事项：如何防御重复Token攻击？

1. 输入预处理：检测并过滤重复Token序列。例如，设置Token重复阈值，超过阈值时随机替换或丢弃。
2. 路由随机化：在路由分配时引入随机性，避免固定派单。例如，在Top-k路由中，对选中的专家进行随机排序，分散负载。
3. 动态负载均衡：监控各GPU负载，动态调整路由策略。例如，当某GPU负载过高时，临时将其部分专家迁移到其他GPU。
4. 模型鲁棒性训练：在训练阶段引入重复Token数据，增强路由机制对极端输入的适应性。

总结：重复Token攻击的启示

重复Token路由攻击揭示了MoE模型在负载均衡方面的潜在风险：即使模型设计合理，恶意构造的输入仍可绕过防护，破坏系统性能。这一现象不仅影响学术研究（如ICML’26论文的关注点），也对工业界部署MoE模型提出挑战：如何在保持模型规模优势的同时，防御极端输入导致的性能崩溃？未来研究需进一步探索鲁棒路由算法、输入过滤机制和动态负载均衡策略，以提升MoE模型在真实场景中的可靠性。