百度技术沙龙第 25 期 海量数据处理技术解析

在 4 月 7 日由 @百度 主办、 @InfoQ 策划组织和实施的第 25 期百度技术沙龙活动上,来自百度数据流计算系统 DStream 项目负责人杨栋( @Sherlock__Yang)、58 同城 (58.com) 云平台技术负责人,58 同城技术中心架构部架构师徐振华( @浊者)分别分享了各自在海量数据存储和处理上取得的成果及经验,话题涉及“Hypertable Goes Realtime at Baidu”,以及“58 同城在分布式存储方面的架构实践”等。本文将对他们各自的分享做下简单的回顾,同时提供相关资料的下载。

 

主题一:Hypertable Goes Realtime at Baidu(微盘下载讲稿)

 

来自百度数据流计算系统 DStream 项目负责人杨栋第一个为大家分享,本次演讲的主要内容包括:Hypertable 能够满足应用的哪些需求、实际应用中遇到的挑战有哪些、可靠性 or 性能、如何应对这些挑战以及 Hypertable 和 HBase 有哪些异同。杨栋提到,在 Noah 系统最初建设时,主要遇到了以下的问题:

 

MySQL 

 

 

 Not inherently distributed(数据的无序增长、频繁地手工分配数据);表大小的限制;不够灵活的结构

Hadoop 

 

 

 不支持随机写入;随机读取的支持也不理想

由此,Hypertable+Hadoop 的组合成为了最终的理想方案,在此基础上 S,不仅从系统的角度有了足够多的灵活性,数据写入的高吞吐量、高可用的灾难恢复特性、错误隔离机制以及随机扫描等特性都得以大大增强。在详细介绍了模型设计和评估方法之后,杨栋对主要的设计关键点进行了总结:

 

应用层面 

表设计

加载策略

去重处理

高可用层面 

数据集中化

日志与数据隔离

负载均衡

内存使用 

内存池

简洁策略

读 / 写性能 

内存 /SSD/SAS/SATA

块 / 队列缓存

压缩策略

资源隔离

最后,杨栋从多个角度对 Hypertable 和 HBase 进行了对比:

 

社区(Hypertable:Hypertable;HBase:Apache)

实现语言(Hypertable:Boost C++;HBase:Java)

内存管理(Hypertable:详尽的内存管理;HBase:垃圾回收)

缓存管理(Hypertable:动态的缓存管理;HBase:Java 堆栈缓存)

性能(Hypertable:高;HBase:一般)

编译配置(Hypertable:容易;HBase:复杂)

压缩机制(Hypertable:直接的 Native 压缩;HBase:基于 JNI 方式)

主题二:58 同城在分布式存储方面的架构实践(微盘下载讲稿)

 

58 同城 (58.com) 云平台技术负责人,58 同城技术中心架构部架构师徐振华第二个为大家分享,徐振华主要从理论、分析和实践三个层次分享了 58 同城在分布式存储领域的思考和实践。首先,通过 Draw Something 成功和 C10K 问题,引出分布式系统的目标是提高资源利用率, 做到线性扩展;同时分享了分布式存储的主要存储模型,分布式 hash 表和分布式 B+ 树,以及常用的用空间换时间,用错误率换空间,用查询性能换插入性能等思想:

 

Consistent hash(去中心化)

B+ tree(实时、随机)

LSM tree(批量、顺序)

接着,和大家分享了 58 同城做为一个创业公司,如何根据自身业务的特点,选择适合自己的技术和架构,用最小的成本获得最大的回报:

 

分析需求,做好平衡

使用 Kiss 原则,做到 RAS(可靠、可用、可扩展)

设计和充分利用硬件,分级存储

然后,和大家分享了 58 同城在分布式存储方面的实践:

 

信息系统 :Search engine(index) +MySQL(shard + M/S)+ memcached

统计数系统 :MongoDB + Auto sharding

图片系统 :CDN+Nginx+simple GFS(master-slave)

统计分析:Hadoop + HBase

最后,徐振华提到 58 同城在使用开源软件的同时,也在积极参与和回报开源社区,推动开源社区的发展。

 

Open Space(开放式讨论环节)

 

和以往的环节一样,​为了让参会者能够有更多的时间进行相互的交流,本次活动依然设置了 Open ​Space(开放式讨论)环节。除了讲师杨栋、徐振华外,新浪微博唐福林、阿里云王乐珩也参与了小组讨论。在 Open Space 的总结环节,几位话题小组长​分别对讨论的内容进行了总结。

 

杨栋:主要分享了“如何构建一套完整的数据分析平台”的话题,包括如何构建分布式的存储系统、如何构建分布式的计算系统以及如何构建分布式的数据仓库,此外还讨论了关于实时计算和数据量方面的问题,并与个别参会者就如何处理压缩的问题进行了细节的讨论。

 

徐振华:主要分享了“如何构建一个弹性计算平台”的话题,并就 Hadoop 的使用经验与大家进行了讨论。

 

唐福林:主要分享了“最简单的大数据实现(微博计数器)”的话题,从微博计数器出发,引出每种大数据解决方案在特定限制条件下都有不足,并就如何选择和开发适合自己的大数据解决方案工具进行了讨论。

 

王乐珩:主要分享了“Offline 大数据处理”的话题,并就云平台上数据分析的工具和方法进行了讨论。

 

会后,一些参会者也通过新浪微博分享了他们的参会感受:​​

 

@genstoneV:即时心得:云集算服务需要满足很多业务特点,所以什么边界条件都要研究。

 

@gqgl_work:58 实现计算资源的统筹,任务与计算不绑定,灵活部署。

 

@Andy 平安:Draw Something 为什么可以这么火?出色的产品创意不可否认,另外一方面是 Zynga 早在用户膨胀之前就提前做了 Couchbase 方面的技术储备。兵马未动,粮草先行,用户数据量的增长是难以准确 hold 的,我们不能总是被动升级现有系统。

 

@genstoneV:刚听完# 百度技术沙龙 # 的 Hypertable 的分享,对分布式系统的搭建过程,需要面临的细节问题提了些,很有心得。不过分享时能否尽量不要用 e 文呢,毕竟大家都是说中文,理解有些慢。

 

@Baidu 朱涛:百度需要的是持续创新,永葆活力,这样才能赢得更多百度用户的好评和网民的认可。

 

@solochar:# 百度技术沙龙 #hypertable 高可用,内存,读写优化。Hypertable 很多思想与 HBase 很一致,优化的想法也很一致。C++ 的优势在于操控性,用于较苛刻的场景。

 

@赵国栋 TMT:百度技术沙龙,讨论大数据技术。主题是海量数据处理技术。人非常多,许多人席地而座。我们准时到达,也只能站边上。

 

@ujnjing:# 百度技术沙龙 # 诺亚最开始使用 MySQL 存储数据量确实太大了,而且数据格式无规律。

 

此外,在本次的沙龙活动中,还特别邀请到中科院计算所副研究员、大规模数据计算专家查礼(@solochar)来与大家分享在大数据领域的研究成果。

收藏 评论(1)
分享到:
共1条回复 最后由代开深圳票 回复于2019-08-02 15:01
#2 代开深圳票 回复于2019-08-02

不错的转发下,有啥东东,抱歉
http://cphoto.wikidot.com
http://fengniao.wikidot.com
http://fsjiaju.wikidot.com
http://110199.wikidot.com
http://txtnovel.wikidot.com
http://fayifa.wikidot.com
http://cssmoban.wikidot.com
http://evergrande.wikidot.com
http://10086shenzhen.wikidot.com
http://ccedip.wikidot.com
http://lollipop.wikidot.com
http://wpumpkin.wikidot.com
http://moment.wikidot.com
http://wbanana.wikidot.com
http://wbubble.wikidot.com
http://cherish.wikidot.com
http://wsunflower.wikidot.com
http://gorgeous.wikidot.com
http://wrainbow.wikidot.com
http://wsunshine.wikidot.com
http://hilarious.wikidot.com
http://wlullaby.wikidot.com
http://wgalaxy.wikidot.com
http://wbutterfly.wikidot.com
http://wtwinkle.wikidot.com
http://wsmile.wikidot.com
http://lovetu.wikidot.com
http://wmother.wikidot.com
http://wpassion.wikidot.com
http://fantastic.wikidot.com
http://opsteel.wikidot.com

0