百度智能云对象存储BOS(Baidu Object Storage)是一款稳定、安全、高效、高可拓展的云存储服务,支持标准、低频、冷和归档存储等多种存储类型满足多场景的存储需求。用户可以将任意数量和形式的非结构化数据存入BOS,并对数据进行管理和处理。
这张图展示了我们三代架构的演进过程。 首先,第一代架构。在初期,我们的元数据存储分布在多套系统之上,比如对象存储,同时依赖于 MySQL 和一套分布式 K-V 键值系统。
注:该文章来源——直播公开课《初识块存储——CDS技术架构及产品特性》
,我们设计了具备分钟级自愈能力的异地冗余架构;为了节约存储成本,我们引入并改进了 Facebook 的时序数据压缩算法。
整体架构分为四个层级:负载均衡、Webservice、存储以及硬件层。 整个 BOS 结构中,最上一层是自主研发的软 4 层负载均衡层:集群模式无单点,负责接入防攻击和 4 层负载均衡。
CFS 的 Namespace 架构 百度沧海的文件存储 CFS 作为百度智能云提供的分布式文件存储服务,通过标准的文件访问协议(NFS/SMB),为云上的虚机、容器等计算资源提供无限扩展、高可靠、地域级别共享的文件存储
openGauss 内存优化存储引擎结构 openGauss 内存优化存储引擎结构图 openGauss 内存优化存储引擎组件负责管理 MOT 和事务。 MOT 与基于磁盘的普通表并排创建。
受云原生架构影响,Hadoop/Spark计算层为了适应弹性,采用云/容器化的趋势增加,而HDFS云化/容器化难度较大,所以存算分离架构的需求越来越多。
留空,最终的表结构: 表2 索引表设计 总结 底层存储选型和数据模型设计是 TSDB 设计中的两个重要的基础环节,前者决定了后者的设计思路,后者的设计影响上层功能的设计实现,二者又与集群的架构设计和性能表现息息相关
1、虚拟化存储架构 虚拟化存储:由 SAN 和 NAS 提供的存储空间,需要添加一层文件系统(VIMS)屏蔽底层差异,性能较差。支持更多的虚拟化特性如迁移、快照等等。有文件系统。
TSDB 架构 接入层:负责数据的接入和接口的透出。