百度技术沙龙第 49 期 大规模分布式存储

2014 年 4 月 19 日，在由@百度主办、@InfoQ负责策划组织和实施的第 49 期百度技术沙龙活动上，来自百度运维部 MFS 组技术负责人程一仕，和目前负责整个搜狐云服务的后端存储和数据库系统的开发和运营陈伟，各自分享了其在大规模分布式存储的实战经验。他们的话题涉及“MooseFS 和 redis 在海量存储下的架构改进和性能提升”和“高性能 NoSQL 系统 BladeCube 的设计与优化”这两个方面，本文将对讲师各自的分享做简单的回顾，同时提供相关资料的下载。

 

主题一：MooseFS 和 redis 在海量存储下的架构改进和性能提升（下载讲稿）

 

程一仕通过对 MooseFS 的单点 master 的架构升级，来提升系统的性能和扩展性，进而支撑百度的众多业务。他使用 redis 的代理中间层构建高可用的分布式 redis 集群来满足产品的低延迟，大数据量的业务需求。这两个系统广泛应用于百度商业产品体系，LBS 产品体系，数据库文件热备等在线业务，并支撑大量关键服务。

 

在线应用数据

“MosseFS 和 redis 大家都比较了解，因为很大的技术架构方面我讲的比较少。先介绍一下应用数据，存储量大概是 10PB 以上，比如说大家用百度影音，它主要应用的场景还是在商务系统，包括凤巢的报表，文件的数量大概是 3 亿左右，我们大概有 20 个群左右的数量，单个集群的规模大概可以到 1000 左右。”

中心化节点的设计和问题

master 的功能

• 客户端对元数据的访问和变更请求
• chunkserver 之间的数据容量调整
• 元数据的存储和持久化
• 集群健康状态的维护

master 的局限和隐患

• 性能瓶颈
• 单点故障（single point of failure）

主从架构扩展性能瓶颈

“我们做的第一个改进就是开发一个 Shadow master，我不保证它的同步是一致的。大家对存储了解一点的都知道，我的访问有延迟。客户端这边会把这个全部发到 Shadow master 上面去。”程一仕使用 redis 的代理中间层构建高可用的分布式 redis 集群来满足产品的低延迟，大数据量的业务需求。

主题二：高性能 NoSQL 系统 BladeCube 的设计与优化

BladeCube 系统是搜狐自己开发的一套 NoSQL 系统，陈伟的设计参考了 BigTable 和 HBase，使用 C++ 实现，性能优于 HBase，以下主要讲一下搜狐云服务在设计和优化这个系统时的一些心得。

MySQL 的可扩展性太差，分库分表带来的运维太大，无法搞定，主从结构的一致性也难以保证读写性能差，变 schema。包括 MongoDB 在内的数据库，在真正面对超大规模数据时，难以保证性能和可用性。超过十亿之后性能问题，潜在的 bug，丢数据等。持久化和内存放在一起，不能充分利用资源。

分层结构的优势，目标是减少运维开销，大部分错误能够自动恢复，不影响服务。

“最近一有一些比较新的开源系统宣传的很美好，但是真的用起来会有很多问题，我们有过一些测试。比如说超过 10 亿量级以后，在响应的性能上，以及它的某些丢数据的行为都是我们不能容忍的，因此我们抛弃了这些选择。”陈伟说。

“C++ 实际上性能是非常好的，跟 HBase 对比的过程中，我们可以发现在架构基本一致的情况下，我们通过一些比较好的编程的实现以及内部的优化，可以在性能上做到三倍、四倍，甚至更高。但是 C++ 也有一个问题，它的调试和开发周期都比 java 困难，为什么开源系统都采用 Java 来实现，但是实际上对于我们严肃的来完成一个基础架构的话，Java 虽然有天花板，但是用 C++ 可以更好的控制内存，可以把系统做的非常好。”

OpenSpace（开放式讨论环节）

为了促进参会者与我们每期的嘉宾以及讲师近距离交流，深入探讨在演讲过程中的疑问，本次活动依然设置了 Open Space（开放式讨论）环节。在 Open Space 的总结环节，几位话题小组长分别对讨论的内容进行了总结。

夏粉：深度学习话题在现在大数据时代将会越来越火，我在演讲时算是为大家抛了个砖，互动过程中大家问了许多实际的问题，希望我的解释能给大家带来一些帮助。

 

王晓博：关注机器学习的同学热情很高，夏老师讲的干货很多，但只要不涉及关键商业化数据，比如百度广告点击的具体数字，这些模型公布出来对大家的学习还是很有好处的。希望下次主办方能准备相关话题，这样在 Open Space 时，讲师可提前做一些准备，为听众做更针对性的解答。

 

会上，一些参会者也通过新浪微博分享了他们的参会感受：

 

程序猿刘静：Tradeoff every details

 

_ 胡凯 _：碉堡了！居然中头奖

 

韩占康 _ 极简：原来技术高地在搜狐啊，哈哈。