随着企业对 AI 应对多场景的负载均衡日趋增加。企业需要一个更加灵活、自动化的解决方案，来确保 AI 基础设施的高可用性、低延迟和无缝扩展。
通过在etcd指定的主题下注册的服务业能在对应的主题下查找到。为了确保连接，我们可以在每个服务机器上都部署一个proxy模式的etcd，这样就可以确保访问etcd集群的服务都能够互相连接。
降低网关产品的网络延迟、解决高负载场景下网关丢包和抖动问题。 可编程负载均衡 UNP-BGW 网关 1.0 主要分两部分，X86 网关部分和可编程交换芯片部分。
对于多模态模型，图像分辨率、图片张数以及视频帧数存在分布差异，因此除 LLM 文本解码器主干网络需要保障 DP 维度负载均衡外，视觉编码器（ViT Encoder）的图像、视频特征处理环节也存在独立的计算负载差异问题
集群负载重平衡基于节点疏散，通过手动的方式，控制将部分连接从负载较高的节点疏散到负载较低的节点，从而达成整个集群的负载平衡。
以太网的标准拓扑结构为总线型拓扑，但快速以太网（100BASE-T、1000BASE-T标准）为了减少冲突，将能提高的网络速度和使用效率最大化，使用交换机来进行网络连接和组织。
基于 AR 自适应路由技术的逐包负载均衡 基于 AR 自适应路由技术的逐包负载均衡，由端侧网卡和网侧交换机在硬件层面协同完成。
▪ 负载均衡网关 BGW（Baidu Gateway） 百度智能云负载均衡器作为 BLB（负载均衡）、服务网卡等产品的底层实现设备，提供负载均衡、4层地址转换、单机限速等功能。
但是并不会和负载均衡设备协同，完成负载均衡配置信息的自动化修改。
机器级 L2 Cache 需要以内存与 L1 HBM 交换数据，过去每张卡对应一个 CUDA Context，需要逐页 Pin 并注册主机内存；随着容量和 Context 数量增大，这一过程会被线性放大
