关于 超级蜘蛛池管理系统σσ:1716160 的搜索结果,共331
流****水 2018-07-11
度云企业运维平台——NoahEE
随着规模变大,人力成本等成本上升,然而效率低下、可用性不升反降等等都是非常可能出现的问题。百度对于这个问题给出的答案是,必须先要解决资源组织问题。简单的说,服务要解决的最核心问题就是如何对资源进行有效组织与定位: 图2 解决规模带来的问题 在服务这个地基打好后,我们再来回顾下上面的例子。这个例子中,地图研发的同学就可以在运维平台中选中导航的模块进行升,运维平台会通过服务来定位此次升操作需要影响的机器并进行批量的操作。NoahEE中的所有运维,都以服务为基础来进行运维操作,例如在监控中,我们可以对导航模块(而不是单台机器进行操作)添加一些指标采集任务,并在一定条件达成时报警。服务通过对资源合的组织,极大的简化了运维操作,提升了运维效率。 资产 在机房里,各种各样的服务器、网络设备和安全设备7x24小时的运转,为我们的业务提供了硬件保障,是企业的重要资产。各种设备的物损坏、升、新增、搬迁等等都在考验着机房运维人员的能力。怎样维护这些资产并记录信息,是个很重要的问题,搞得不好,这些资产可能变成运维人员的“包袱”,越多越头疼。
金****洲 2018-07-10
混乱的集群遇见TA 从此岁月静好
中窥豹,我们可以发现如果在私有云或者混合云场景中还是通过人肉运维的方式,那么效率将会十分低下,并且其中重复繁杂的操作,难以保证云环境的稳定性和安全性。急人之所急,需人之所需。百度云的工程师们便展开了一场头脑风暴...... 原始太初 私有云中存在大规模的机器集群,集群中一片空虚混沌,渊面黑暗,仅有字节流在其间穿梭。为有效地控体量庞大的集群,合分配资源,降低运维成本,保障云上服务穿越狂风暴雨,工程师们意识到:“必须要有一个优秀控这混沌的集群世界!” 第一天 工程师们说:”这个要代表操作的意志!占用资源少!对外部零依赖!装机自带!要能自升和自保活!“。当裸机启动之后,这个便以root身份运行,能保活自己,还能托维护其余基础设施,后续迭代升也能自动完成,整个流程高度自动化,不需要人工介入,极大地降低运维成本。 第二天 工程师们说:“这个必须运行稳定,性能卓越,支持跨平台(Linux、Windows、ARM)安装,要做到同时上万台服务器,一点儿都不慌”。
m****t 2018-07-11
设计中立公有云云平台
至于渗透测试和漏洞扫描,其实和云服务没直接关,没必要纳入云平台。WAF可以参照负载均衡服务进行设计处。 物机和自控卖比虚拟机,这是部分云厂商才提供的功能,这类资源开销偏大和计费不灵活,客户要给云平台发邮件才能申请到资源,客户日常有类似于虚拟机的和监控需求。 云监控是一个基本免费的服务,对该服务的设计包含安全评估、数据展示和通知机制。安全评估就是要不要装各厂商以Root权限运行的Agent,数据展示就是各种监控计表和折线图展示给客户,各厂商是直接通知到最终用户还是通知到云平台后中转传递信息。 其他,诸如域名、ICP备案、虚拟空间等服务。 第五核心业务 已知云平台要上述资源,且不同资源的优先不同、同一个资源也不需要部署所有功能,那云平台自身该如何设计和展示?经过对多个云平台的调研计,其核心必须的业务有四个,分别是“平台”“用户”“计费”“厂商API封装工作”。这几个业务子都有几个人月就可以做出的简易版核心功能,也可以按照大型软件工程去做全功能规划设计。 平台 这是运营人员使用的的资源计、展示操作平台。
嘟****y 2018-07-11
大型企业适用的云平台账户体
但套用过去虚拟机的经验,IaaS和PaaS服务时要有资源隔离,不同部门和项目的主机资源要分别计费和。 一个很常见的场景是,人事部的OA申请了15万云主机费用,生产车间的ERP和销售部的CRM不设上限,外部客户A项目预算是50万,B项目是200万,等等等等。 如果没有资源的概念,就是一个账户所有资源的“大通铺”模式,客户要把脚趾头都掰完了才能算清各项目的消费金额;万一云平台调整了资源价格,较真的客户又要从头重算一次。 这个“大通铺”最尴尬的不是计费繁琐,而是一个账户下所有资源毫无权限隔离,客户或者只有一个人去登录云平台,或者将不同业务注册完全孤立的账户。互联网公司无法解传企业和自然人有关的流程是多沉重,客户选一个云平台员完成所有操作,客户的项目越多员员就越晕越累。将不同业务区分为不同账户也解决不了问题,因为客户和云平台都要将这批账户,但实际扣费进度总会出意外,项目欠费停机或者追加预算,挨骂受累的都是平台员。
亚****啦 2018-07-11
IT断魂枪--闲聊Linux启动过程
这个文件注释很简单但水很深,我们该用标签还是UUID来标识磁盘,文件自检功能要不要开,这都可以聊好几个小时。 看看各服务的启动优先也是一个讲究多多的过程,iptables会比network先启动这类依存关很好解;但我也遇到过云平台的DHCP获取太慢,而云主机操作启动快、Network还没从DHCP那里获取到IP地址,然后Mysqld等需要监听端口的服务启动失败。 后记 以上内容只能算精简科普版的Linux启动过程,正式版的启动过程可以写十万字,有兴趣的朋友可以自己查维基百科,或拿我说的关键字去百度搜索。 曾经我把这些技能当做资历,但现在大家都上云了,它们就只是闲聊的谈资了。但客户上云就能少招一个研究这事的工程师,上云确实也很有意义啊。 夜静人稀,沙子龙关好了小门,一气把六十四枪刺下来;而后,拄着枪,望着天上的群星,想起当年在野店荒林的威风。叹一口气,用手指慢慢摸着凉滑的枪身,又微微一笑,“不传!不传!”----老舍《断魂枪》
h****8 2018-07-10
能力比梦想更重要——企业服务难寻产品经
个人产品经是一个需要梦想和热情的职业,但在政企和工业IT服务领域,能力比梦想更重要。 本文是想说清楚,政企和工业软件领域,能力比梦想更重要,个人产品经来到这个行业就会被秒成渣。如果一个企业要招产品经,要知道这个行业有哪些难点痛点,需要什么样的产品经(其实是软件和服务设计师)。 1. 需求拆解的能力 个人产品经在设计一款APP时,是可以用生上的主观感受给产品打分的。但是让一个产品经来设计个流水线自控,他的主观感受并不重要,必须用技术和业务能力将客户需求描述和引导。某些产品经因为自己毫无感受憋不出词来,就把客户的要求当做圣旨跪拜,这不仅是吃里扒外,还是会搅黄项目的搅屎棍。 要拆解客户的需求,必须技术上能跟客户做平等对话,业务上了解客户工作流程,还要解大型客户内部的利害关,不能靠“视察”客户会议室装专家上宾,也不能像外行一样凡事都跪问客户。 我举第一个例子是很多都有监控,监控的产品经要完成下列工作才合格: 技术:产品经对“check tcp 80”和“check http 200”这类业务术语没概念,需要客户被坑一次骂一次才能改一点点。
笑****山 2018-07-10
监控专用对象存储的畅想
为什么要设计监控型对象存储 写了《让PB存储不再神秘》以后,我很久没聊过对象存储。我不想涉密去关注具体厂商的技术底实现,但会考虑通用技术可行性,做一个监控型对象存储的技术畅想。 每天都有用监控抓小偷的新闻,监控行业的价值已经得到社会认可和买单;监控视频是最容易实现PB文件容量和百亿文件数量的场景,摄像头数量越来越多、清晰度越来越高,而文件、存储和分析的压力也越来越大。 监控厂商自己做的堆盘式存储是个临时应急性方案,而且客户要求开放式监控视频,中立又可靠的对象存储方案是最佳选择。 最近几年IT行业并没有核心技术飞跃,我们能做的都是优化选型,过去针对http访问场景的优化选型,现在要做的是贴合监控场景的优化选型。 从客户访问和内部实现的角度,本文分为“访问界面”“读写代”“元数据设计”“存储实现”四部分。 访问界面 这里指的是应用程序访问界面,而不是自然人访问界面。访问界面有四个问题: 要不要存储直接支持RTMP?直播和存储技术跨度太大,且监控厂商已经有方案,低优先该功能。 要不要提供文件访问接口?
5****a 2018-07-11
监控专用对象存储的畅想
为什么要设计监控型对象存储 写了《让PB存储不再神秘》以后,我很久没聊过对象存储。我不想涉密去关注具体厂商的技术底实现,但会考虑通用技术可行性,做一个监控型对象存储的技术畅想。 每天都有用监控抓小偷的新闻,监控行业的价值已经得到社会认可和买单;监控视频是最容易实现PB文件容量和百亿文件数量的场景,摄像头数量越来越多、清晰度越来越高,而文件、存储和分析的压力也越来越大。 监控厂商自己做的堆盘式存储是个临时应急性方案,而且客户要求开放式监控视频,中立又可靠的对象存储方案是最佳选择。 最近几年IT行业并没有核心技术飞跃,我们能做的都是优化选型,过去针对http访问场景的优化选型,现在要做的是贴合监控场景的优化选型。 从客户访问和内部实现的角度,本文分为“访问界面”“读写代”“元数据设计”“存储实现”四部分。 访问界面 这里指的是应用程序访问界面,而不是自然人访问界面。访问界面有四个问题: 要不要存储直接支持RTMP?直播和存储技术跨度太大,且监控厂商已经有方案,低优先该功能。 要不要提供文件访问接口?
b****z 2018-07-11
智能运维基础-运维知识库之ETL
ETL架构 运维元数据、状态数据、事件数据分布在几十个不同的中,随着业务的增长和相关的不断增加暴露出了以下几个问题: 数据分散,访问方式不一致:同一类型的数据分散在多个不同的,各提供不同的访问入口; 数据术语、概念、模型不一致:各使用的术语、概念、模型各不相同,例如“应用”这个概念,每个或工具对于Application的解都不尽相同; 间数据没有建立关联:例如部署、监控和路由服务等核心场景在运维数据上没有打通,表现为部署平台、路由服务、监控所使用的服务机制各不相同,三个间的数据难以关联,且无联动性。 因此,依托『书同文』的念建立运维知识库,提供一个一的运维数据,来运维工作中的公共基础数据,打通间的数据关联,使这些数据能够遵循一的模型被共享和使用。 为了使这些数据能够遵循一模型,我们制定了各类数据的模型(Schema),采用ETL机制从各获取(Extract)数据、转换(Transform)成一的模型、并存储(Load)在知识库中,其架构如图所示。
布****五 2018-07-10
如何执行一条命令
为什么要执行命令 在分布式产品的开发维护过程中,有三个主题是无法绕过的,分别是配置、部署升和监控采集。 配置 配置的目标是为了标识变更、控制变更、确保变更正确实现并向其他有关人员报告变更。从某种角度讲,配置是一种标识、组织和控制修改的技术。通常情况下,配置都会一部署配置服务器来同步所有节点的配置。但是在开发测试过程中,总会出现临时修改某个或某一批节点的配置的情况,这时通过人工逐个登录来完成修改显然是不太可能的。 部署升 DevOps的概念如今日趋流行,部署升越发成为开发运维过程中重要的一环,频繁的交互意味着频繁的部署。部署过程可以拆解为两个小的步骤,一是新软件包的上传,二是服务进程的重新启动。服务进程的重新启动不必多说,软件包的上传可能有多种方式,如sftp的集中式,p2p的点对点式等。 监控采集 软件运维过程需要时刻监控及业务软件的运行状态,各种运维决策都是以这些数据为依据进行的。
无****禾 2018-07-11
云客户需求引导--实战型IT太极拳
我们并不介入用户内部问题,但我们要把客户变成朋友,而不是做一个冷脸旁观的衙门。 4.推进业务的能力 无论是个人技术革新业绩,团队节省成本业绩,还是内部工作流改善,甚至对外服务能力优化,都是帮推进客户的业务,帮客户出政绩。 客户很容易会异想天开,我现在更多是说服他们的想法达不到出政绩的目的,大鸣大放后黯然收场,对客户也不是好事。 传IT企业在198X年成功崛起,是因为他们的技术帮客户延伸了业务能力,比如用ATM机帮银行拓展柜台、用更好的技术算账和转账;最近十几年则只能靠拿软硬件升来从客户手里套钱,上那些IT只是保命续命却诞生不了新生命。 希望云厂商能够引以为鉴,我也在摸索如何帮客户真正意义上推进业务。 人员需求 客户需求不能靠谦卑的态度来引导,而是可靠IT技能方案的输出。这对方案推进者,也就是解决方案架构师的个人素质要求非常高。技术上要可以取信于客户技术团队,又要非常了解云产品,还要认可企业IT服务模式,这才有可能胜任这项工作,让客户的消费额上千万甚至上亿。 只了解产品说明书的业售前是完不成这种工作的,从云技术后台转售前的同样也搞不定该工作。
s****d 2018-07-11
亿元云用户分析
硬件和——硬件是标准还是特配、产权是租是卖、内网代维还是自主设计、服务器交钥匙还是黑盒服务——不同的客户项目需求,导致硬件和监控不同于传方案也不同于其他云项目。 广域网联通方案——云厂商大都是互联网出身,他们拥有DDOS的资源和一前端的实践经验,还有海量廉价优质带宽。限制客户梦想的是老旧是否支持常见协议,还有底层工程师能否推动上层业务测试和变动。 API调用PaaS——API云服务就是不可控过程的黑箱,客户没预算没精力就盲目信任云厂商。客户有精力就做多云冗余校验,有预算就做专有资源部署;未来云厂商还会自定义SLA标准——大部分API云服务连等待时都没定义。 版本发布和数字化转型——无论是微观的版本发布还是宏观的数字化转型,其实都和上云没直接联,一个是室内装修工作,一个是新建房屋工作,但装修的最好时机是房屋重建的时候,云厂商要帮客户推动IT技术革新。 5.服务输出分析 云厂商输出给客户的即有云端IT资源,也有平台服务输出。服务是个比资源更难量化的概念,我只引一把火苗出来。
小****园 2018-07-10
让PB云存储不再神秘
鉴权认证 计费以及附属的计费日志搜集。 运维监控和资产。 核心组件设计 坚持有中心设计 很多分布式都宣称无中心设计,说有中心架构里到处是性能瓶颈和高可用单点。但我坚持有中心设计,有中心设计非常容易做文件计,群集的修复和扩容范围可控,支持异构存储。而所谓的性能瓶颈和高可用单点,在Http对象存储场景下都有成熟的解决方案。 为了让下文的设计更有目标性,我们先预设一个通用访问场景: 当前10PB的存储群集已有200亿个500k的文件,群集并发带宽20G,并发链接(含等待链接)5万个,客户每秒写入5000个文件,读取5000个文件,查询2万个文件的fileinfo,有5个客户在做五千万文件的list操作。 2、给元数据减负 元数据服务是个数据库,存储每个文件的key值、所属bucket、metadata、filehandle以及一些特殊标识。客户每次读访问、写访问、列表计都会访问元数据服务,我们要充分考虑其性能和高可用问题。
TOP