百度智能云对象存储BOS(Baidu Object Storage)是一款稳定、安全、高效、高可拓展的云存储服务,支持标准、低频、冷和归档存储等多种存储类型满足多场景的存储需求。用户可以将任意数量和形式的非结构化数据存入BOS,并对数据进行管理和处理。
在云计算的领域离不开存储,那么云计算使用的存储包括三种类型:虚拟化的存储、分布式存储、集中式传统存储。
第一部分介绍一下高性能计算场景下面临哪些存储问题,第二部分简要介绍一下百度内部的高性能存储实践经验,第三部分介绍百度沧海是如何解答这些存储问题的,最后是一个客户案例。 1.
作者简介 运小军 百度云资深研发工程师 负责百度智能运维方向大规模日志处理、海量事件数据存储相关设计研发工作,在分布式系统架构、大数据存储计算、高性能网络服务和即时通讯服务有广泛实践经验。
由于 HDFS 计算资源和存储资源混布在一起,只有计算和存储资源匹配,才不会出现资源的浪费。
接下来我们需要做的就是拆分系统中的计算与存储,并且用分布式的远程存储方案来替代本地存储,从而让容器的调度不再受限于存储资源所在的位置。
作者简介 运小尧 百度高级研发工程师 负责百度运维大数据存储平台的设计和研发,致力于追求大规模存储系统的高性能和高可用。
随着移动互联网、物联网、AI 计算等技术和市场的迅速发展,数据规模指数级膨胀,IDC 预测全球数据量从 2018 年的 33 ZB 将会增长至 2025 年的 175 ZB,云存储系统的扩展性面临更大的挑战
HDFS 诞生于存算一体的时代,而对象存储天然面向存算分离设计,结合 EC 编码、分级存储等丰富的能力,可以实现大规模数据长期保存的更优成本。
基于丰富的存储产品矩阵,在大数据、AI 高性能计算等各个应用场景形成了完备的解决方案。 百度沧海·存储丰富的产品体系和完备的解决方案都致力于实现一个目标:加速智能计算,释放数据价值。
采用存算分离架构可以带来如下好处: 存储和计算独立扩展,计算能力不够单独扩展计算集群,存储空间不足单独扩展存储容量,可以降低大数据平台的建设成本。