EasyDAP (EDAP) 是一站式数据湖管理与分析平台,提供数据采、建、管、用全生命周期的大数据能力, 帮助企业数据资产建设和开发分析应用。EDAP 提供多种计算平台支持及可拓展的开放能力,降低企业大数据开发应用门槛、提高大数据开发效率。
2 GaiaDB 的高性能&多级高可用设计 接下来我来分享一下 GaiaDB 的性能核心设计理念——通过融合和裁剪,将数据库和分布式存储进行深度融合,为全链路的同步转异步化提供条件,从而实现极致的性能与通用性
1 数据库迁移面临的挑战 根据大数据技术标准推进委员会今年 7 月发布的《数据库发展研究报告(2023 年)》,我们可以看到,去年国内的数据库市场规模约为 400 亿,今年预计可以达到 540 亿,预计到
是谁修改了我的数据,动了我那些数据?什么时候操作的?都有那些资产被修改了?登录和修改得到批准了吗?如何获取到这个权限账号的?针对以上问题,光有日志审计是完全不够的,无法及时定位故障点和追溯。
分布式系统使数据库资源充分共享,包括数据和服务器资源,这种将部件或功能分布到不同计算机系统和不同位置的方法一般称为分布式计算。
伴鱼早期,整个大数据仓库下的数据基本处于裸奔状态,没有做任何的权限校验与审计,用户可以对数据为所欲为,这个阶段主要考虑效率优先。
timebase 置于 RowKey 的字节低位,使得同一个时间序列数据的 RowKey 连续分布,可以高效地按时间进行范围扫描 固定长度的 RowKey 减少了空间浪费,同时前缀式的设计可以充分利用
分库设计 数据规模小的情况下我们为了简便可以将数据都存放在一个库中,当数据规模越来越大,这种存储方式会带来两方面问题: 一是数据难以管理维护,例如我们想把某类业务数据清理掉,无法通过直接删除索引的方式来清理数据
因此,在选择部署方式时,需要根据业务需求和实际情况进行综合考虑。 欢迎大家了解数据库产品
; 低可用性:业务流量弹性较大,自建数据库的设备无法支持轻松扩缩容。
为了避免单点问题,我们设计了实时数据备份,利用服务配置化双写能力,将数据写入备份集群。代码层面设计数据库切换开关,以支持主集群不可用后,可以方便的切换至备份集群,从而达到数据高可用。