随着企业对 AI 应对多场景的负载均衡日趋增加。企业需要一个更加灵活、自动化的解决方案，来确保 AI 基础设施的高可用性、低延迟和无缝扩展。
一种注册服务和健康服务健康状况的机制。 用户可以在etcd中注册服务，并且对注册的服务配置key TTL，定时保持服务的心跳以达到监控健康状态的效果。 一种查找和连接服务的机制。
多模态模型的 DP 负载不均难题 相较于纯文本大语言模型，多模态模型的训练负载均衡问题更为复杂棘手。多模态模型的训练数据由文本和图像数据构成，其中图像与视频模态本身就存在显著的负载不均问题。
X86 部分依然使用 DPDK 的方案处理管控配置、路由转发控制、session 管理和非 offload 的报文负载均衡功能转发，单独从这个角度来看，类似部署了一台双 NUMA 的 X86-BGW。
集群负载重平衡基于节点疏散，通过手动的方式，控制将部分连接从负载较高的节点疏散到负载较低的节点，从而达成整个集群的负载平衡。
在Sidecar下发完成后，会自动完成微服务的自动化注册和接入过程。但是并不会和负载均衡设备协同，完成负载均衡配置信息的自动化修改。
多Service之间负载均衡 支持在提供相同服务的多个Service之间按权重进行负载均衡 3.TLS终结 4.灰度发布 支持基于HTTP Header/Cookie的服务灰度发布 更多信息，见
一、大型高并发系统架构 高并发的系统架构都会采用分布式集群部署，服务上层有着层层负载均衡，并提供各种容灾手段（双火机房、节点容错、服务器灾备等）保证系统的高可用，流量也会根据不同的负载能力和配置策略均衡到不同的服务器上
负载均衡,保障企业 AI 业务永久在线 通过 APIPark 的智能负载均衡功能，系统能够自动分配请求，避免单一模型过载，确保高效运行。
CP 核心原理：计算分摊与负载均衡 百度百舸设计的 CP 方案通过切分输入数据，从根本上分摊了每张 GPU 的计算与显存压力。
