单机房故障自愈--运维的春天

干货概览

在单机房故障自愈--黎明之战中,我们介绍了单机房故障自愈的准备工作和基础设施,包括容灾能力建设、监控平台以及流量调度平台。本篇主要介绍单机房故障自愈的具体解决方案,内容包括:

单机房故障止损的能力标准

单机房故障自愈的整体架构

单机房故障自愈的常见问题和解决方案

单机房故障止损的能力标准

在单机房容灾能力、故障发现能力、流量调度能力基础上,业务线具备了通过流量调度进行单机房故障止损的条件。理想情况下,我们希望构建一套完整、自动、智能的自愈方案,但各个业务线的服务特点不同和基础能力参差不齐,很难一蹴而就,所以我们建立起一套自愈能力的等级标准,业务线根据自身情况制定相应建设计划,逐步提升自愈能力。

自愈能力等级标准划分为5级,从Level 0的完全人工止损,到Level 4的自动化、智能化止损。对于Level0、Level1,人工感知止损面临着速度慢、误操作、场景覆盖不全、风险控制能力不足等问题;、Level2则实现了止损操作的平台化、预案化,一定程度上提升了止损效率;Level3则实现了自动化报警联动故障止损,实现了止损效率的进一步提升。2016年,百度大部分核心产品线已经实现了Level 2、Level 3的自动止损能力,但在场景覆盖与风险控制上仍存在不足。由此,Level 4智能自愈方案应运而生。

单机房故障自愈的架构

针对传统故障自愈方案中存在的问题,我们构建了单机房故障自愈整体解决方案。

自愈方案通过抽象、规范处理流程实现单机房故障自愈的自动化,即将止损过程划分为统一的感知、决策、执行三个阶段;同时通过运维知识库解决基础数据、基础设施差异化问题;通过策略框架支持智能化异常检测、策略编排、流量调度问题,同时支持用户自定义策略需求。实现单机房故障自愈的标准化、智能化。

在单机房故障自愈--黎明之战提到的百度网络与业务架构情况,我们将整体流量调度止损架构拆分为3层:接入层、服务层、依赖层。

针对这3层的监控感知、止损决策与故障止损方式的不同,将止损自动决策拆分为外网止损自动决策与内网止损自动决策。

外网止损自动决策:覆盖接入层。基于外网、内网监控信号;触发外网止损决策器进行止损决策;执行DNS流量调度止损。

内网止损自动决策:覆盖服务层、依赖层。基于内网监控、基础监控、业务监控提供的故障信号;触发内网止损决策器进行止损决策;执行流量调度、主备切换、弹性降级等止损操作。

单机房故障自愈的常见问题和解决方案

传统的流量调度自动止损方案存在如下问题:

1容量风险控制能力不足

【问题描述】

传统流量调度的模式有两种:固定比例模式与容量保护模式。

固定比例模式:按照预先设定的固定预案,一个机房故障,该机房的流量按照预先设定的比例分配到其他的机房。很可能某个机房的容量或剩余机房的总容量不足,切流量后导致多个机房发生故障。

容量保护模式:针对固定比例模式存在的容量风险问题,改进的流量调度方式为执行前判断容量是否充足,容量充足则进行流量调度,否则不进行调度并通知人工介入处理。但此种方案面对的问题是:

1.容量仍有buffer可以进行部分止损。期望能够在不超过容量保护的情况下进行尽可能的调度,减少对用户的影响。

2.即使按照容量进行调度,服务过载仍可能发生,容量数据本身存在一定误差,流量成分的变化以及变更等导致的容量退化,都可能导致原先容量无法完全可信。

【解决方案】

基于容量水位的动态均衡

在流量调度时,对于容量不准确存在的风险,我们划分两条容量警戒线。

安全水位线:流量处于在安全线以下则风险较小,可以一步进行切换。

水位上限:该水位线表明服务的最大承载能力,一旦流量超过故障水位线,很大概率会导致容量过载。

如果安全水位线提供的容量不足以满足止损,那我们期望使用上两条中间的容量buffer,同时流量调度过程中进行分步试探,避免一次性调度压垮服务。

基于快速熔断的过载保护

在流量调度时,建立快速的熔断机制作为防止服务过载的最后屏障。一旦出现过载风险,则快速停止流量调度,降低次生故障发生的概率。

基于降级功能的过载保护

在流量调度前,如果已经出现对应机房的容量过载情况,则动态联动对应机房的降级功能,实现故障的恢复。

2业务线止损策略需求差异大

【问题描述】

我们实现了基础的单机房故障流量调度止损算法,但在部分业务线中仍存在较大的需求差异,比如:

分步动态调度需求:业务存在充Cache的情况,过程中服务能力降低,需要控制切换速度。

优先级调度需求:产品对延迟敏感,止损时需要优先切到同地域机房;业务服务于多个上游,多个上游的重要程度不同,优先保证重要上游服务稳定。

容量负载计算需求:请求成分不同,不同成分请求带来的容量负载不同。

这部分需求一部分与业务强相关,不具备通用性,另一部分则存在不同产品线需求冲突的情况。

【解决方案】

针对以上问题,我们推出了故障止损流量调度策略开放框架。支持用户根据业务需求自定义策略实现。同时将较为通用的策略开放为插件,使业务线可以根据需求自由插拔策略。

基于以上两点,结合智能运维开发框架(详见AIOps时代,你准备好了吗?),单机房故障自愈框架无缝支持不同业务线,使得研发者可以更关注策略本身,而无需关注不同业务线运维模型、底层平台适配成本。

总结

通过单机房故障自愈系列文章,我们详细介绍了单机房故障止损的必要性、准备工作,并构建了基于容量动态分步流量调度的单机房故障自愈框架,实现自动化智能化故障止损。对整体单机房故障自愈解决方案不同阶段的改进总结如下:

收藏 评论(1)
分享到:
共1条回复 最后由Q1058204131 回复于2019-08-05 15:29
#2 Q1058204131 回复于2019-08-05

棒棒哒

0