危险背后的机遇--云服务故障危机分析

前言

 

云计算是一种服务,服务不仅要一次性验收其服务能力,还要持续关注其服务品质。客户用IaaS云服务就跟用IDC一样,用谁家的云就知道谁家有故障,用一家就知道一家的短处才是正常,只有前一个厂商烂到无可救药,客户才会对新厂商充满认可和感激。

 

本文的目的就是归类IaaS云故障的表层现象和深层原因,客户知道云服务的短板才好做系统设计,云厂商出故障也要老实认错,别总把客户当外行来糊弄。

 

至于PaaS云和IaaS云的设计实现思路完全不同,不在本文讨论范围内。

 

客户的感知和建议

 

IaaS云的核心资源是云主机,其他IaaS资源都是依附于云主机的;云主机的可靠性略高于物理机,但并不是云主机永不宕机。

 

只要云主机采购量稍微上规模,云主机用户总会遇到一些故障。请谅解和忘记供应商的营销话述,云主机用户必须自己在架构设计层面规避这些故障。

 

网络抖动

 

现在云平台已经都用SDN组网,SDN本质是“软件定义网络”,其主打卖点是灵活管理和控制,其性能和稳定性并不是主打方向,SDN软件的质量也要略差与于传统厂商。云平台都会有网络IO超卖复用,而且用服务器CPU软解海量报文,其性能还是比传统网络略差的。云用户做架构设计时,建议通过开更多节点的方式分散单节点网络压力。

 

硬件故障

 

硬件故障无法彻底避免,依附于物理硬件的云主机也会意外中断。云主机可以在计划内跨硬件迁移,所以可以说云主机可靠性略高于物理机。但是云厂商可能买劣质资源,或者频繁迁移云主机,甚至后台操作误停机误删除,以前用物理机客户自运维的各种故障点依然存在。理论上云平台技术人员会很专业和敬业,但很难深入了解客户业务。云用户以前的硬件冗余设计仍然有效,而且可以利用多AZ/多region/多云等云上隔离方案。

 

资源不足

 

云资源的隔离不彻底且会超卖,带来了瞬时资源不足问题。比如说云主机突然变慢又恢复,导致客户的业务异常崩溃,云用户缺乏有效的监控手段,可能会想不到故障和云资源有关,或者无论什么问题都让云平台自证清白。

 

资源不足还会影响新建资源,很多DevOPS客户自动化申请资源,但如果账户配额不足或者区域资源不足,自动申请资源失败时有备选方案或者人工干预吗?

 

以前客户只要观测公网接入资源是否紧缺,自控硬件和内网的信息很清楚,上云以后硬件和内网也要多留心了。

 

软件BUG

 

相比客户自己粗选一个物理机的OS,云主机精选的虚拟机OS、宿主OS、Hypervisor的软件BUG并不多,大中型云厂商都有精选底层支撑软件的实力,但客户装物理机自选的OS都可能有驱动问题,三个精选软件的故障率真没一个粗选软件更高。

 

但是从云资源的管理、调度、监控软件,到客户界面,API管理、账户和后台策略层面,越往上走的软件质量还不如XXXX,此处省略一万五千字,客户自己揣摩吧。

 

厂商深层原因

 

厂商报故障就跟滚刀肉挨揍一样,脸疼了就把屁股凑过来,屁股疼了就捏捏脸,一般不会按住一只羊使劲薅羊毛,毕竟云报障也要负载均衡。但客户自己心里要有秆秤,厂商究竟是偶尔发挥失常还是烂泥扶不上墙,故障的性质对长久的服务品质很重要。

 

我列一下潜在的故障原因,哪些故障能忍,哪些故障不能忍,这些要云客户自己评估了。

 

技术原因

 

IaaS服务的核心主体功能(云主机、云硬盘、VPC),在没有特型要求前提下,是可以用开源方案搭建。如果是云厂商连个开源平台标准模块都部署失败,那就该换厂商了;如果是偶发的BUG,那确实客户要自认倒霉,因为友商也会遇到同样问题。

 

现在容易出问题的是云平台的运营维护和云厂商的自定义管理模块,客户就是缺合格运维才被逼上的云平台,但云厂商自己也缺人;在软件BUG这一部分我已经吐槽过做云平台外延模块程序员的技能水平了。这些地方出了问题该投诉投诉、该索赔索赔,逼着客户去招更敬业专业的工程师。

 

资源投入

 

云资源贩售过程中,合格的厂商可以让云资源物有所值,但巧妇难为无米之炊,原始资源投入不够云服务就不可能很稳定。面向中小客户的时候,云厂商很忌讳透露具体硬件成本,也尽量避免承认资源不足,但面对大客户时会很坦诚。

 

作为持久共生的大甲方,请关注乙方的成本红线,买家永远没有卖家精。如果甲方给够钱了,乙方仍然用劣质硬件IDC和过高超售比,小云厂商一般是老板带头节俭,而大云厂商很可能是执行层的人弄错了,作为甲方该闹就要闹。

 

人为原因

 

云厂商的人为故障总是糊涂账,但细心的甲方是能看出来端倪的。有时候厂商想遮蔽技术和资源的问题,会说是人为原因,缓过这一次故障赶紧修订BUG和准备资源;有时候明明是人为原因,但人为故障都是打脸实锤,厂商脸会肿而且要赔偿,可能会找个其他原因来给脸部降降温。

 

对于落实是人为导致的故障,甲方单纯的索赔追责并不能解决问题,因为云厂商总是比甲方的实际损失更小,甲方无法触及云厂商能倒腾出故障的部门。甲方只能根据云厂商销售和服务线的能力和态度,确认自己交钱了能否买到靠谱的服务。

 

最重是商誉

 

云计算既是资源又是服务,资源相对可以量化,但服务短期内看直观感受,长期看商业信誉。商誉分为企业商誉和个人商誉,云厂商的企业商誉都积淀不足,胜者也是比烂大赛中靠友商更烂胜出的,和IDC/CDN的比优大赛无法相提并论。大客户在吃够了厂商的亏以后,会选择信任能有个人商誉,能做出承诺、调动资源和平复问题的销售和服务人员。

 

有个客户非常信任某个小云销售,他告诉该销售,虽然某大云有高层合作,某大云也说报价肯定比某小云低5%;但是某大云的服务机制有问题,出故障从来都是衙门话,每次故障都要客户去乱猜和背锅。最终这个单子在客户执行层的暗助之下,该小云快速把业务切过来并坐实站住了,这份暗中相助就是靠个人商誉带来的信任。

 

我和大客户谈故障的时候,喜欢把详细故障原因刨析给客户,企业客户是讲道理的,不要把糊弄ToC用户的手段来对付ToB客户。面对意外故障,我们有信心向客户证明,换了其他厂商也一样会挂;面对人为故障,踏实认错是对客户的最后尊重,而公开事实也是逼着内部不会重蹈覆辙犯同样的错误。

 

过去大家卖IDC、CDN、服务器和软硬件积累的个人商誉,是可以应用到云计算领域的。而云服务的高科技光环褪去、产品同质化以后,企业的核心竞争力仍然是有商誉的销售-售前-售后团队,这类人才永远是稀缺资源。

 

附录

 

请各位多琢磨评估本厂的云服务到底哪些组件是靠谱的,不要让信赖你的客户受伤又受骗。如要学习云计算相关知识,可以多关注我往期云计算文章,比如说

 

云计算最重要的工作是配合销售和服务客户:云客户需求引导管理--实战型IT太极拳

 

中国云计算现状系列汇总:

 

做云计算要花哪些钱,请看第一篇成本篇,原创链接。

 

云计算产品各有什么特色该如何分类,请看第二篇产品篇,原创链接

 

客户的采购人员如何看云计算,厂商如何锁定采购人员需求,请看第三篇采购篇,原创连接。

 

如果我们?

 

时无英雄使竖子成名,但这也是机遇, 看云厂商花式作死的九种方法 。

 

收藏 评论(1)
分享到:
共1条回复 最后由代开深圳票 回复于2019-08-06 22:34
#2 代开深圳票 回复于2019-08-06

棒棒哒

0