百度智能云对象存储BOS(Baidu Object Storage)是一款稳定、安全、高效、高可拓展的云存储服务,支持标准、低频、冷和归档存储等多种存储类型满足多场景的存储需求。用户可以将任意数量和形式的非结构化数据存入BOS,并对数据进行管理和处理。
在云计算的领域离不开存储,那么云计算使用的存储包括三种类型:虚拟化的存储、分布式存储、集中式传统存储。
作者简介 运小军 百度云资深研发工程师 负责百度智能运维方向大规模日志处理、海量事件数据存储相关设计研发工作,在分布式系统架构、大数据存储计算、高性能网络服务和即时通讯服务有广泛实践经验。
第一部分介绍一下高性能计算场景下面临哪些存储问题,第二部分简要介绍一下百度内部的高性能存储实践经验,第三部分介绍百度沧海是如何解答这些存储问题的,最后是一个客户案例。 1.
由于 HDFS 计算资源和存储资源混布在一起,只有计算和存储资源匹配,才不会出现资源的浪费。
接下来我们需要做的就是拆分系统中的计算与存储,并且用分布式的远程存储方案来替代本地存储,从而让容器的调度不再受限于存储资源所在的位置。
作者简介 运小尧 百度高级研发工程师 负责百度运维大数据存储平台的设计和研发,致力于追求大规模存储系统的高性能和高可用。
通过完全存储在内存中的数据和索引、非统一内存访问感知(NUMA-aware)设计、消除锁和锁存争用的算法以及查询原生编译,MOT 可提供更快的数据访问和更高效的事务执行。
随着移动互联网、物联网、AI 计算等技术和市场的迅速发展,数据规模指数级膨胀,IDC 预测全球数据量从 2018 年的 33 ZB 将会增长至 2025 年的 175 ZB,云存储系统的扩展性面临更大的挑战
HDFS 诞生于存算一体的时代,而对象存储天然面向存算分离设计,结合 EC 编码、分级存储等丰富的能力,可以实现大规模数据长期保存的更优成本。