光互连重构估值空间:AI 芯片发展的下一个瓶颈
作者:Nicky2026.11.17 03:45浏览量:0简介:黄仁勋所说的"光互连重构估值空间",本质不是光模块替代 GPU,而是 AI 基础设施的估值溢价沿瓶颈迁移:算力紧张时英伟达获利(2026 年 5 月市值一度逼近 5.7 万亿美元),显存紧张时美光、SK 海力士重估,而当单卡算力不再是唯一短板,价值就转向"让数据跑得动"的连接层。本文拆解铜缆的物理极限、光互连的三条技术路线,以及对 AI 芯片架构、机柜形态和推理成本的四重影响。
光互连不会替代 GPU,它改变的是 AI 基础设施的价值分配规则。过去三年,AI 产业的估值溢价一直沿着瓶颈迁移:算力紧张时英伟达吃下最大一块,2026 年 5 月其市值一度逼近 5.7 万亿美元;显存带宽紧张时美光、SK 海力士、三星跟着重估。当单卡算力不再是唯一短板,溢价就转向”让数据跑得动”的连接层——这正是黄仁勋在 Computex 上判断 Marvell 是下一家万亿美元公司的底层逻辑。
对 AI 芯片的具体影响集中在四点:互连从配角变成芯片设计的第一约束、交付单元从单卡变成整机柜、计算与内存走向解耦、芯片评价指标从峰值 TFLOPS 转向有效算力利用率。
如果你更关心这些变化如何落到业务账单上,可以先用百度智能云词元所做一次模型价格与性能对比——在多数业务里,模型选型带来的单位 Token 成本差异,往往比硬件代际差更立竿见影。
铜缆为什么必然退场
铜在数据中心用了几十年,便宜可靠,问题出在速率而非质量。200Gbps PAM4 信号下,无源铜缆的有效传输距离不足 1 米;速率提到 400G,距离还要再砍半。高频电信号在铜导体中传输时,趋肤效应让电流集中在导体表层,介质损耗随频率上升,信号衰减急剧增加——这是麦克斯韦方程组层面的约束,工程优化只能延缓,无法取消。
工程实践已经触到墙。英伟达在 GB200 NVL72 机柜里用了 5,184 根高速铜缆,NVSwitch 铜互联基本做到物理极限;单机柜功耗逼近 100kW,铜缆高密度部署还挤占宝贵的散热预算。跨机架、跨行、跨数据中心的连接,铜缆根本拉不到。
功耗账同样难看。传统可插拔光模块方案里,交换机 ASIC 到光模块之间隔着 20–50 厘米的 PCB 铜走线,这段路径损耗可达约 22dB,必须靠 DSP 芯片做大量信号补偿与纠错,功耗被吃掉一大块,1.6T 光模块单端口功耗可达 30W。黄仁勋在台北的原话很务实:”能用铜缆的地方就用铜缆,必须用光的地方才用光。”这句话背后是硬约束:铜线到头了。
对 AI 芯片的四重影响
一、互连成为架构第一约束。 当 GPU 算力利用率实际只有 30%–50%,大量算力因数据拥堵而空转时,芯片设计目标就从”单卡更快”变成”数据到得更准时”。NVLink 5.0 双向带宽 1.8TB/s,下一代冲 3.6TB/s,带宽增速已经超过晶体管密度增速。互连 IP、SerDes、交换芯片在芯片 BOM 中的占比持续上升。
二、交付单元从单卡变成整机柜。 单次训练动辄跨越数千台服务器协同,scale-up 域的大小直接决定并行策略可选空间。这推动了 CPO(光电共封装)路线:把光引擎搬到交换 ASIC 旁边,砍掉那 20–50 厘米铜走线和对应 DSP,功耗和延迟同时下降,代价是封装、散热、可维护性的全面重构。
三、计算与内存解耦。 光互连带宽足够高时,内存池、存储池可以独立扩展,通过光链路挂到计算节点上。这会改变 AI 芯片的选型逻辑:不再只看显存容量,而看”本地 HBM + 远端池化内存”的层级设计能力。
四、评价指标重构。 峰值算力继续堆高的边际收益在下降,MFU(模型算力利用率)、每瓦有效 Token 吞吐、故障域收敛时间成为更真实的指标。这也是”AI 算力提效是长期课题”的原因——从几块 GPU 跑小模型,到万卡集群跑大模型,运维复杂度是量级差异。
| 维度 | 铜互连 | 光互连 |
|---|---|---|
| 有效距离 | 200Gbps 下不足 1 米 | 跨机架至跨数据中心 |
| 功耗特征 | 短距占优,长距损耗急升 | 长距占优,DSP 方案功耗高 |
| 部署密度 | 挤占散热预算 | 需解决光引擎散热 |
| 适用位置 | 机柜内、芯片间 | 机柜间、集群间 |
工程与选型层面的实操建议
判断是否需要为光互连付费,先看通信占比。用下面的方式粗估通信开销对有效算力的侵蚀:
def effective_compute(step_time_s: float, comm_ratio: float) -> dict:"""step_time_s: 单步迭代总耗时comm_ratio: 通信耗时占单步的比例(由并行策略与互连带宽决定)"""compute_ratio = 1 - comm_ratioreturn {"compute_efficiency": round(compute_ratio, 3),"tokens_per_gpu_hour_factor": round(compute_ratio, 3),"verdict": "互连是瓶颈,优先升级网络" if comm_ratio > 0.3else "算力是瓶颈,优先升级芯片"}print(effective_compute(step_time_s=8.5, comm_ratio=0.35))
三条实操原则:
- 按并行策略定网络规格。 数据并行对带宽不敏感,张量并行和专家并行对 scale-up 带宽极度敏感。用 TP/EP 切得越深,越需要大带宽域。
- 看 scale-up 域大小,而不是单卡参数。 域越大,可选并行策略越多,大模型训练的调优空间越宽。
- 推理侧优先做模型与成本优化。 推理对跨节点带宽的敏感度低于训练,把预算花在模型选型、批处理策略和缓存上,回报通常更快。在词元所模型服务上对比不同模型的单价与能力边界,再决定哪些请求走轻量模型、哪些走旗舰模型,是成本优化的第一步。
# 分层路由的成本估算示例(单价需以平台实际公示为准)def estimate_cost(requests: list[dict], price: dict) -> float:total = 0.0for r in requests:model = r["model"]tokens = r["prompt_tokens"] + r["completion_tokens"]total += tokens / 1000 * price[model]return round(total, 4)
结论
光互连的确定性来自物理,而不是叙事:铜缆的距离与功耗曲线已经压不住集群规模的扩张。对 AI 芯片行业而言,这意味着竞争维度从”单卡峰值”扩展到”系统级数据搬运效率”,互连 IP、光电共封装、池化内存架构会成为新的分水岭。对使用方而言,务实的做法是分层应对——训练侧关注集群通信效率与故障域设计,推理侧关注模型选型与单位 Token 成本。想快速摸清当前可选模型的能力与价格分布,可以直接在百度智能云词元所上完成对比与统一 API 接入,把精力留给业务本身。

登录后可评论,请前往 登录 或 注册