随着企业对 AI 应对多场景的负载均衡日趋增加。企业需要一个更加灵活、自动化的解决方案，来确保 AI 基础设施的高可用性、低延迟和无缝扩展。
etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现。
，基础 Token 层面的负载均衡无法等同于真实计算负载均衡。
背景 负载均衡网关是云计算网络的一个关键基础设施，为云计算各应用业务提供高性能的转发功能。 目前云计算网关普遍是基于 X86 CPU + DPDK 通用服务器平台的形态实现。
集群负载重平衡基于节点疏散，通过手动的方式，控制将部分连接从负载较高的节点疏散到负载较低的节点，从而达成整个集群的负载平衡。
第二，在负载调度层实现动态分桶与调度，解决引擎内部负载不均的问题。
围绕这一问题，百度智能云面向典型的 AI 集群网络基础设施场景，整合通信库、网卡、交换机等软硬件能力，为 HPN 多平面负载均衡提供两类优化方向：一是细化负载粒度，二是优化逐流选路策略并实现端网协同的动态调度
也就是说ServiceMesh基本可以实现所有的API网关的能力，除了统一的流量代理和负载均衡。
负载均衡将工作负载分配到多个服务器上。 如何实现：使用像 Nginx、HAProxy 这样的负载均衡器，或者使用 AWS 或 Azure 等云端负载均衡服务，分配进入的流量。
随着基础设施全面迈向云原生，训练、推理、Agent、强化学习等混合负载交织演进，这一业务形态的转变正在重新定义并行文件存储的能力边界。
