EasyDAP (EDAP) 是一站式数据湖管理与分析平台,提供数据采、建、管、用全生命周期的大数据能力, 帮助企业数据资产建设和开发分析应用。EDAP 提供多种计算平台支持及可拓展的开放能力,降低企业大数据开发应用门槛、提高大数据开发效率。
1 概览 本文主要介绍通过 DTS 数据迁移功能,结合消息服务 for Kafka 与 TiDB 数据库的 Pump、Drainer 组件,完成从TiDB迁移至百度智能云云原生数据库 GaiaDB。
这对快速开始迁移,管理和处理迁移过程中的异常,到最后成功完成数据迁移都产生了影响。同时,通过公网传输数据,速度慢、成本高,无法有效应对大规模的数据流转。传统的方式已经不能胜任现在的数据流转需要。
2 上云迁移方案 数据库上云迁移是一个复杂的系统性工程,需要客户和云服务商共同配合完成。 我们将上云迁移分为三个阶段:迁移前、迁移中、迁移后。 迁移前的工作主要是做数据库选型和迁移可行性的评估。
可生成迁移报告,包括迁移难度评估、人天估算。可选对导出数据进行压缩,节约磁盘开销。配置选项丰富,可自定义迁移行为。
2.2 迁移问题分析(1)时延分析根据上述原生 Redis 集群迁移操作步骤的了解,可以总结出原生迁移功能按照 key 粒度进行的,即不断扫描源节点上正在迁移的 slot 数据并发送数据给目的节点,这是集群数据迁移的核心逻辑
基于上面讲述的原则,将整个系统的迁移划分成两个阶段,迁移前后的数据存储和模型都不变。
比如可以使用通用代码生成器,将 MariaDB 数据库连数据迁徙到 PostgreSQL。操作并不复杂,却十分适用。
另外还涉及到模块间的数据交互,因此性能对于移动端来说是一个最大的瓶颈。
云计算应用程序没有弹性,在单个数据中心丢失时,会影响灾难恢复。 多云架构 要构建高度可扩展且可靠的应用程序,应该进行多云架构设计。其目的是为了迁移在多种独立云上运行的基于云的系统的迁移提供架构指导。
项目地址:https://gitee.com/beyondstorage/go-storageBeyondStorage基于这个开发库,在接口层上构建了应用层,生长出了数据迁移、数据管理、FTP、FUSE