百度智能云对象存储BOS(Baidu Object Storage)是一款稳定、安全、高效、高可拓展的云存储服务,支持标准、低频、冷和归档存储等多种存储类型满足多场景的存储需求。用户可以将任意数量和形式的非结构化数据存入BOS,并对数据进行管理和处理。
通过完全存储在内存中的数据和索引、非统一内存访问感知(NUMA-aware)设计、消除锁和锁存争用的算法以及查询原生编译,MOT 可提供更快的数据访问和更高效的事务执行。
表1 传统文件存储被对象存储替代的应用场景 新兴应用场景是未来对象存储的增长点 我们还要看到,除了传统文件存储的市场,对象存储在新兴场景的增量是一个更大的市场。
敬请期待~~ 若您有任何疑问或想进一步了解百度大规模时序数据存储问题,欢迎给我们留言!
总体上来讲,对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。
读写代理要访问元数据时可以看到主从库的选举结果,还可以从状态服务获取存储群集的自宣告信息。它不会访问已经宕机的数据库,也不会往已满的存储内写入数据。
而在NAS中,呈现出来的是一个基于文件系统的目录架构,有目录、子目录、孙目录、文件,我们称之为文件存储。 文件存储的最大特点,就是所有存储资源都是多级路径方式进行访问的。
从客户访问和内部实现的角度,本文分为“访问界面”“读写代理”“元数据设计”“存储实现”四部分。 访问界面 这里指的是应用程序访问界面,而不是自然人访问界面。
论文介绍了百度智能云 CFS 文件存储元数据系统的核心设计,对长期困扰文件系统元数据领域的 POSIX 兼容性和高扩展性(特别是写扩展性)难以兼顾的问题,进行了解答。
用户数据量和访问量的增加会导致元数据面存储的条目数和 QPS 增加,元数据面的扩展性会直接影响到整个存储系统的扩展性。