负载均衡BLB基于百度自研4/7层负载均衡设备，为客户提供高可用的流量分发服务，可以在多台云服务器之间进行均衡的应用流量分发，避免单点故障并能提升业务可用性。轻松应对海量访问请求，实现业务水平扩展。
随着企业对 AI 应对多场景的负载均衡日趋增加。企业需要一个更加灵活、自动化的解决方案，来确保 AI 基础设施的高可用性、低延迟和无缝扩展。
，服务发现(Service Discovery)要解决的是分布式系统中最常见的问题之一，即在同一个分布式集群中的进程或服务如何才能找到对方并建立连接。
通过引入 UNP 平台可充分发挥软硬一体化的技术优势，百度智能云在 2023 年 1 月推出了可编程负载均衡 UNP-BGW 网关 1.0，有效解决了负载均衡网关中的大带宽、大象流、低延迟等问题需求，为负载均衡网关带来如下收益
集群负载重平衡基于节点疏散，通过手动的方式，控制将部分连接从负载较高的节点疏散到负载较低的节点，从而达成整个集群的负载平衡。
Accurate traceroute技术对发往同一个目标IP的一系列探测数据包保持流标识不变，从而很好的解决了由per-flow和per-destination类型的负载均衡器带来的假连接和环路等问题
该方案首先实现了千卡、万卡规模的 PD 分离系统部署，并在全集群范围内完成混合并行策略的全面支撑；通过自研 DP 与 EP 负载均衡算法，结合内部全局负载均衡调度系统，有效解决了负载不均问题；同时构建主动与被动双模式
3）一套基于服务器负载均衡的分配策略： 长链接接入服务器周期性上报当前服务器负载到负载均衡服务集群，负载信息存储在共享缓存中，接入分配服务根据负载信息动态分配接入地址。
一、大型高并发系统架构 高并发的系统架构都会采用分布式集群部署，服务上层有着层层负载均衡，并提供各种容灾手段（双火机房、节点容错、服务器灾备等）保证系统的高可用，流量也会根据不同的负载能力和配置策略均衡到不同的服务器上
HTTP服务端实现负载均衡的常见方案，以及具体到方案中的负载均衡算法的实现原理。
根据架构图，数据在系统中的流动遵循以下高效路径： 数据切分和重排： 经过 Embedding 后，cp_split_tokens 将 Token 序列进行 2N 负载均衡重排并分发至各并行 Rank。
