关于 贴吧自动发帖软件操作简单5秒即可发布完成许雪娜的文章企博网职. 的搜索结果,共1980
疏****月 2018-07-09
一键上线Archer | 百度持续部署瑞士军刀
干货概览 业务部署(熟称上线)是运维领域最常见业务类型,主要涉及线上代码变更、配置变更(数据变更由于其高频、大量特点,我们已在数据传输《嗖一下,让数据生效》中专门讨论过)。一般业务上线具有不定时、业务部署情况复杂、机启停策略复杂等特点。在手工运维时代,运维人员需要花费大量精力进行此类重复性工,且易于出错。从公数据显示,Google 70%生产事故由上线变更触,如何减少变更过程中人为误,提供一个灵活、稳定部署系统是运维平台研人员所亟需解决问题。 基本介绍 在运维大潮下,百度运维管理平台Noah了一键上线部署系统——Archer。Archer致力于提供一套产品线全过程迁移解决方案,实现一键机器初始化、服务部署、添加模块监控、添加CT任务、态数据等全过程。在方面,Archer提供了命令行工具起一次上线入口,这种设计模式也决定了其易于集特点。在DevOps流水线业中,Archer为一个环节结合进整条测试流水线中。
流****水 2018-07-11
度云业级运维平台——NoahEE
资产管理 在机房里,各种各样服务器、络设备和安全设备7x24小时运转,为我们业务提供了硬保障,是重要资产。各种设备物理损坏、升级、新增、搬迁等等都在考验着机房运维人员能力。怎样维护这些资产并记录信息,是个很重要问题,搞得不好,这些资产能变运维人员“包袱”,越多越头疼。 对这些设备运维,通常都涉及不少物理,比如说更换损坏硬盘,增加内存条等等。这里涉及到几个要解决问题: 故障如何及时现?现后由谁来进行修复? 物理维护怎样反应到系统里? 不同角色(责)运维人员之间如何协同? 对于故障处理与修复,NoahEE通过故障现与工流程解决了上面问题。系统探测故障放入故障池,并建立故障工,由相应人员进行。另外,NoahEE提供了不同流程覆盖了日常机房运维中,从设备采购入库、上架、机架变更,直到设备下架、出库全生命周期覆盖,做到所有运维记录追溯。有了资产管理,运维人员以在服务器入库、上架工在服务管理中看到该服务器并进行管理,无须任何其他
小****盈 2018-07-09
如何生Docker镜像?
概述 本档将演练一次生Docker镜像到Docker镜像数据中心步骤。 生版本镜像 首先,键入指令exit退出Docker容器环境。 然后,生一个新Docker镜像: bash apollo_docker.sh gen 如果出现下述报错,则需要检查一下夹${HOME}/.cache/apollo_release/apollo/是否存在,镜像默认存放在该夹下。如果不存在该夹,则需要新创建一个。 Release directory does not exist! 上述指令将在版本夹内生一个新Docker镜像。版本镜像被命名为 release-yyyymmdd_hhmm。同时,最近构建镜像会被标记为 release-latest。
小****园 2018-07-10
让PB级云存储不再神秘
比如你往我平台塞个200M大图我是拒绝处理,友商不管图片多大都敢去切图,但有30%几率是后台切图程序崩溃,让你等是十分钟才收到个50X报错;比如说某些音频编解码规范应用了半个世纪,某款新出手机能会出兼容性问题。这类技能太生僻,云厂商培养技术人员都很困难,客户要靠己评估厂商就更难了。我建议是多几个工,看接工是技术人员还是商务客服,看工处理周期和结果。 分能力好理解,某盘厂商一开始是把云存储挂载服务器后端,由服务器端BGP带宽来负责下载,后来改云存储通过CDN直接给盘客户端数据,带宽本降低到以前20%。 (3)厂商守 前刚一本正经说云计算是业服务,现在怎么突然又提到守了?国内云平台都是做互联ToC业务起家,习惯用摆个人用户伎俩去招揽业生意,近几年大型云平台屡屡爆出蛮横管理狡诈运营丑闻。云计算是业服务,云平台是我们供应商不是我们管理者。TB级用户正是业务高速关键时刻,我们更要防备某些吃相难看混蛋。 云存储相对业务,遇到野蛮运营问题主要集中在窃取数据、估算业务量、恶意不兼容其他服务这三方面。
红****2 2018-07-10
故障愈机器人,保你安心好睡眠
干货概览 在大型互联公司中,机房故障因为其故障时间长、影响范围大,一直是互联公司运维人员心头之痛。在传统运维方式中,由于故障感知判断、流量调度决策复杂性,通常需要人工止损,但人工处理时效性会影响服务恢复速度,同时人靠性也能导致问题扩大。 为了解决这类问题,我们针对百度内外部络环境建设了基于智能流量调度机房故障愈能力。结合外运营商链路监测、内链路质量监测与业务指标监控构建了全方位故障现能力,基于百度统一前端(BFE)与百度名字服务(BNS)实现了智能流量调度与止损能力。同时,基于实时容量与实时流量调度止损策略与管控风险,实现了任意机房故障时业务均快速效果。当前此解决方案已覆盖搜索、广告、信息流、、地图等众多核心产品机房故障愈场景。 机房故障频影响业务用性 回顾近2年来各大互联公司被披露故障事机房故障层出不穷。
G****H 2018-07-09
【 开指南 】内容播报技能,持续更新
2、教学视频 点击观看 3、开步骤 开流程详见档:https://dueros.baidu.com/didp/doc/dueros-bot-platform/dbp-broadcast/news-broadcast_markdown 内容播报数据格式 新闻:https://dueros.baidu.com/didp/doc/dueros-bot-platform/dbp-broadcast/news-broadcast_markdown 有声:目前暂未上线,敬请期待;以先使用定义技能来实现; 资源注意事项(符合特定Schema) XML格式 Encoding=“UTF-8” 大小 <10 Mb,且每个记录 <50000条;否则需要拆分; 同一数据结构中,标签应按照档中标签序号由小到大排列 拆分后URL,需要整理一个新,这个新地址为资源地址提交到平台 source_name是对应技能Id 如何调试播放效果 在线校验 直接粘资源(全部\部分)内容,系统会进行校验并提示是否存在错误; 模拟器测试 资源地址和格式校验通过后,以在模拟测试里按照提示进行调试
嘟****y 2018-07-11
大型业适用云平台账户体系
创建和打通子账户以后就以给客户设置各个资源组权限,很多客户不需要高权限,低权限也是对保护。每个资源组大约有如下权限分组: a.管理角色,以对该资源组不受限执行全部,还以做二级授权,减少云平台管理员压力。但很多客户怕己配置错误不想要这个权限,比如怕己手滑删了CDN域名设置导致业务中断,所以干脆就有什么都让供应商和管理员帮配,这就引出了其他低阶权限。 b.角色,类角色只能各类逆性云资源变更,比如说不以释放RDS但以备份RDS,不以释放“核心必要”云主机但以创建和删除“临时扩展”云主机。只有云平台精通产品真实使用场景,才能定义好各类资源管理和权限;开放给DevOPS“低风险日常API权限”也集中在这个角色上。 c.查看角色,对不想或不能承担责任客户以给与查看权限;有些大公司有线上变更流程,事起方、业主审核方、业务执行方是分离,事起和审核方都只要查看资源权限就以了。 d.财务角色,有些财务人员要上云平台做截图和导出账,这就需要财务角色。
Z****E 2018-07-09
产品迭代最后一公里
当我们谈变更时我们谈些什么? 产品生命力在于不断功能迭代。一个新功能从需求产生到整地呈现给终端用户,中间经过了调研、立项、需求分析、设计、开、测试等一系列步骤,而变更则是整个流程最后一步。具体来说,变更是指将产品功能修改内容到一组服务器上过程。 变更过程到由一个研人员手工将代码上传到一台服务器上,也以复杂到上万台机器数据传输和命令执行。如果我们深入地考查整个变更过程,现无论变更过程本身如何变化,其中有些组部分是不或缺,这里将其总结为变更三要素,变更源、变更策略、变更目标。 变更源:描述变更涉及具体内容,以是程序、数据或者命令; 变更策略:描述变更过程如何执行,包括但不限于顺序、并度、失败容忍度等; 变更目标:描述落地变更内容一个或者多个目标机器,也能是虚拟机或容器。
布****五 2018-07-10
如何执行一条命令
部署升级 DevOps概念如今日趋流行,部署升级越为开运维过程中重要一环,频繁交互意味着频繁部署。部署过程以拆解为两个小步骤,一是新上传,二是服务进程重新启。服务进程重新启不必多说,上传能有多种方式,如sftp集中式,p2p点对点式等。 监控采集 运维过程需要时刻监控系统及业务运行状态,各种运维决策都是以这些数据为依据进行。随着化运维展,很多运维都从人工执行变为了执行,执行决策过程更是需要采集大量实时信息(前期《百度大规模时序数据存储》中介绍TSDB就是为了解决这些数据存储问题而研)。监控数据来源主要分两种,一种是通过业务提供接口直接读取状态数据,另一种是通过日志/进程状态/系统状态等(如使用grep提取日志,通过ps查询进程状态,通过df查询磁盘使用等)方式间接查询。 无论是配置管理、部署变更还是监控采集,都有一个共同:控制服务器。在现阶段,要想对服务器进行控制,离不开“在大量服务器上执行命令并收集结果”这一基础能力,这也是今天我们主题“如何执行一条命令”意义所在。
C****X 2018-07-10
群雄逐“图”,百度缘何备受关注?
同样是图商,四维图新也已经宣与车宝马合,为其在我国销售汽车提供地图产品。 我们现,高精地图领域入局者基本上以分为这样几类,以Google 为代表互联业,包括百度;以丰田、特斯拉为首大厂;以Moblieye(已经被英特尔收购)为主传感器厂商;以及包括 TomTom、四维图新、高德等在内图商。 不过仔细想想,入局归入局,但是要想玩比别人都好,为领先玩家,确实不是一容易事儿。 其实对高精度地图,除了在技术上需要攻克一些难关之外,更需要站在驾驶产业链角度上思考问题。高精度地图是驾驶专属地图,了解车需求或比“造图”本身更重要。 如果从开角度来看,以百度为代表互联业以及传统车在整合产业链资源,全局入手能力上更占优势。 关于高精度地图一些based问题 地图,对于人们日常生活来说很普遍。 通常我们了解都是用于导航、查询地理信息传统电子地图,这类地图主要服务是人类驾驶员。 传统电子地图 (图片来源于《高精地图在无人驾驶中应用》) 如图所示,传统电子地图是对路一种抽象表现,将路抽象有向图形式。
l****m 2018-07-10
五年前预言——2012年云计算时代运维位展望
我在写一篇新,其中会引用到这篇2012年,所以我原样摘抄下来,很庆幸能转型进入云计算这个行业。 云计算时代正在来临,运维也将在今后几年中生翻天覆地变化。 如果你是一个能给己做主人,你必须看清形势顺势而为,在变革时代埋头苦干仍然保证不了你正常生活;如果你是一个弓骑兵,无论你怎么勤学苦练都打不过坦克手;铁达尼号上乘客无论多有钱,总是免不了泡进海水里。 首先,我为一个运维为何唱衰运维这个业。 我们运维靠什么能力在公司里立哪? A.关心硬和施工; B.关注络问题; C.擅长系统和服务调试维护; D.相对与架构师/DBA价格优势; E.快速响应. 大家看看云计算能给业带来好处。 A.硬全免维护; B.络接近免维护; C.系统、服务接近免维护; D.无论是硬还是人力本都很廉价; E.靠性高于个人。 我们会现,云计算目标就是要做比运维人员更好,好到“不用关心”地步。从技术上来说,各大云计算运营商对通用Web、RDBMS、存储 服务都是以做到很好
y****i 2018-07-11
做容器云最佳用户
容器编排系统核心优势 很多人都说容器云是“私有云谁用谁爽,公有云谁用谁丧”,其实原因就是:容器云需要开人员配合才能用好,而容器编排系统比容器身更重要。K8S与其说是Docker竞争者,不如说是容器行业庇护者。有了K8S这个容器编排系统,虽然Docker技术不那么醒目了,但其用性更高更接地气了。 纯用Dokcer容器,更像是个封装比较彻底,做足了资源隔离JVM。研人员只在程序出错时才会关注Runtime,而运维人员没感觉到这有什么酷,但确实容器云已经有存在价值了。比如说OpenStack、PaddlePaddle这类新兴和开框架部署环境没那么,用Docker包一层就变非常友好了。 对于持续集和交付场景来说,以前我们是硬压着研和测试,务必保持版本一致、务必保证打好包,从不盲信回滚预案,必须后半夜上线,就这样还天天出故障;现在上线压力确实小多了,大家都以放心测试生产环境一致、保证不漏传、以和Git无缝集以扔给研和测试半助上线了。这就是我前所说,容器快速部署优势在于决策快、
m****t 2018-07-11
设计中立公有云云管平台
这个封装工结果能是一个写死类库,也以做高大上态配置代理。如果当前只接入一个云平台以省掉这份工,后续无论是己开还是甩锅给新供应商都是。 上谈了这么多平台设计,大家一定觉得很不爽,问题怎么会这么繁琐,实现结果为什么会如此陋,是应该有资源隔离但统一计费父子账户系统,是应该有功能强大百调不厌计费API接口。笔者以前就规划过和用过这些系统,写本也是为了催促各个云平台开放此类功能。 第六进阶补充系统 除了上述核心业务系统外,云管平台还以有一些补充子系统,让用户像在用像一个标准云平台。 面向客户API系统。高级用户会有调用API管理资源需求,云管平台需要逐步开放面向客户API或SDK。 客户智能化系统。云管平台以更近用户业务,主替客户一些运维如滚快照云主机,复杂如根据LB负载态扩容缩编Web服务器。云管平台离客户业务足够近,又对云端资源有深入了解,以以此为切入点,从资源贩售展为技术输出。 日志系统。无论是计费日志还是日志都以逐步记录和开放出来。 通知和工系统。此系统不用过多描述。
亚****啦 2018-07-11
IT断魂枪--闲聊Linux系统启过程
那是在更早版本GRUB程序读不了GB级磁盘分区,没办法加载vmlinuz内核,现在已经只是一个迷信而已。 5.内核启加载驱,但这还没触及任何业务。 不同硬同一个版本vmlinuz内核hash值是相同,因为驱信息放在initrd*.img里。Initrd*.img是一个精但带了所有驱linux镜像,一般系统安装之后,也以事后手。 曾经某偏门推荐用集镜像安装,装了就是起不来,我把同内核版本、同硬配置init*.img替换以后系统就正常启。 Kernel加载了所有驱后就会卸载initrd*.img,早期linux版本在系统启过程中还能看到很多“umount filesystem”提示,那不是卸载正式系统,而是卸载了initrd*.img这个迷你系统, 6.Init进程启,服务正式启。 从看到“Welcome use CentOS”彩色欢迎字开始,init服务已经启了。 在这之前过程也就读取BIOS/MBR/GRUB和/boot分区,现在终于开始读/etc目录配置了。
笑****山 2018-07-10
监控专用对象存储畅想
优先要求监控厂商使用存储SDK读写和管理监控数据,但以考虑开只支持明确路径写入和读取、不支持管理和遍历系统驱,这样才不会给元数据服务造负担。 要不要合业务做URL规范?默认对象存储URL是http://一域名/key值,以考虑在域名和Key值中合监控业务逻辑,让监控和非监控应用都以快速定位和读取。比如说这个URL样例结构,http://region01.{7/14/31}day.local/{date}/{time}/{camera_id}.MP4 ,只要监控厂商把通用存储格式,记录好摄像头id位置,客户主读取监控给各种视频分析程序。从存储开角度,这种URL也为后台做生命周期管理、读取预判都做了很好需求疏导。 要不要约束为固定大小?监控摄像头RTMP流到监控厂商服务器以后,会由监控厂商己切类似于HLS。如果存储SDK做好切分工,比如说将原始都切分4M碎片,或者客户直接要求监控厂商原始就是4M,对于读写代理和缓存、元数据设计、存储落盘优化都有极大助力。
5****a 2018-07-11
监控专用对象存储畅想
优先要求监控厂商使用存储SDK读写和管理监控数据,但以考虑开只支持明确路径写入和读取、不支持管理和遍历系统驱,这样才不会给元数据服务造负担。 要不要合业务做URL规范?默认对象存储URL是http://一域名/key值,以考虑在域名和Key值中合监控业务逻辑,让监控和非监控应用都以快速定位和读取。比如说这个URL样例结构,http://region01.{7/14/31}day.local/{date}/{time}/{camera_id}.MP4,只要监控厂商把通用存储格式,记录好摄像头id位置,客户主读取监控给各种视频分析程序。从存储开角度,这种URL也为后台做生命周期管理、读取预判都做了很好需求疏导。 要不要约束为固定大小?监控摄像头RTMP流到监控厂商服务器以后,会由监控厂商己切类似于HLS。如果存储SDK做好切分工,比如说将原始都切分4M碎片,或者客户直接要求监控厂商原始就是4M,对于读写代理和缓存、元数据设计、存储落盘优化都有极大助力。
TOP