随着企业对 AI 应对多场景的负载均衡日趋增加。企业需要一个更加灵活、自动化的解决方案，来确保 AI 基础设施的高可用性、低延迟和无缝扩展。
要解决服务发现的问题，需要下面三大支柱，缺一不可。 一个强一致性、高可用的服务存储目录。 基于Ralf算法的etcd天生就是这样一个强一致性、高可用的服务存储目录。
多模态模型的 DP 负载不均难题 相较于纯文本大语言模型，多模态模型的训练负载均衡问题更为复杂棘手。多模态模型的训练数据由文本和图像数据构成，其中图像与视频模态本身就存在显著的负载不均问题。
通过引入 UNP 平台可充分发挥软硬一体化的技术优势，百度智能云在 2023 年 1 月推出了可编程负载均衡 UNP-BGW 网关 1.0，有效解决了负载均衡网关中的大带宽、大象流、低延迟等问题需求，为负载均衡网关带来如下收益
另一方面，长连接一旦建立就不会轻易断开，新加入集群或重新启动的节点会长时间处于负载不足的状态。 为解决以上困难，集群负载重平衡与节点疏散应运而生。
其他加载图像的步骤我再这里就不一一概述了！ 先看一下用到了几个角色吧！
一、大型高并发系统架构 高并发的系统架构都会采用分布式集群部署，服务上层有着层层负载均衡，并提供各种容灾手段（双火机房、节点容错、服务器灾备等）保证系统的高可用，流量也会根据不同的负载能力和配置策略均衡到不同的服务器上
这一趋势对存储提出了高性能与混合负载的双重考验： 复杂混合 IO：具身、智驾等多模态训练带来大小 IO 混合、随机与顺序混合的复杂 IO 模型，存储需要在各种 IO 形态下都保持高效的数据供给； 规模与成本的平衡
基于数据包的负载均衡是最不常用的负载均衡方法，可以在多条链路上随意的连续发送数据包，而不用考虑主机或用户的具体情况。基于数据包的负载均衡采用轮转机制来确定每个数据包走哪条路径到达目的地址。
但是并不会和负载均衡设备协同，完成负载均衡配置信息的自动化修改。
