随着企业对 AI 应对多场景的负载均衡日趋增加。企业需要一个更加灵活、自动化的解决方案，来确保 AI 基础设施的高可用性、低延迟和无缝扩展。
，服务发现(Service Discovery)要解决的是分布式系统中最常见的问题之一，即在同一个分布式集群中的进程或服务如何才能找到对方并建立连接。
，各节点的实际核心计算开销就会出现巨大差距，基础 Token 层面的负载均衡无法等同于真实计算负载均衡。
通过引入 UNP 平台可充分发挥软硬一体化的技术优势，百度智能云在 2023 年 1 月推出了可编程负载均衡 UNP-BGW 网关 1.0，有效解决了负载均衡网关中的大带宽、大象流、低延迟等问题需求，为负载均衡网关带来如下收益
集群负载重平衡基于节点疏散，通过手动的方式，控制将部分连接从负载较高的节点疏散到负载较低的节点，从而达成整个集群的负载平衡。
这个过程叫做虚拟机的类加载机制。 图示 作用 类加载子系统负责从文件系统或者网络中加载Class文件（Class文件在开头有特定标识）。
升级完成后，不需要集群负载重平衡，各节点间的连接相对均衡（与 LB 调度策略有一定关系）。 方案设计 蓝绿发布是一种同时运行两个版本应用的发布策略。
从技术上说负载均衡必备的服务是按源IP分配的TCP负载均衡，让这个负载均衡主要做HA用，后端可以再接用户自定义的LB；但是各大云平台都已经支持HTTP/HTTPS/UDP负载均衡，云管平台可以一开始就把四七层负载均衡功能都开放给用户
每个微服务都为准入请求维护自己的优先级阈值，并通过检查系统级资源指标，如待处理队列中请求的平均等待时间，来监视自己的负载状态。
这三层能力是逐层收敛的：先让流量平稳，再让负载均衡，最后守住 Cache 命中率与容量安全。 1. 流量调度与弹性能力 面对洪峰，常见做法有两种：按照峰值提前准备冗余资源，或者在压力到来时统一限流。
