推荐｜AllData开源数据中台技术分享

近期，AllData数据中台架构师团队对开源项目alldata进行全方位的分享，包括开源项目的功能设计，架构分析，源码解读等多方面的内容。
Github项目地址：https://github.com/alldatacenter/alldata

1. 分享了AllData的总结、未来发展规划和商业化演示；

2. 提到了关注公众号-大数据商业驱动引擎，以及进入体验群的信息；

3. 分享了团队在功能开发、商业化功能开发、新版本发布、公司团队建设、软件销售合同和发票支持等多个方面的努力和成果。

4. 讨论了涉及到的难点和挑战，包括数据中台组件众多、大数据组件了解不足等问题。最后，提到了一个全新架构设计版本发布，以及老会员升级新会员的优惠。

一、数据治理-元数据管理框架、数据质量与开源项目实践
主要讨论了一个数据治理框架的数据质量、数据安全、元数据管理等方面的问题。

首先，提到了一个名为Ranger的框架，介绍了相关使用流程。其次，关于数据安全，提到了Spark、Hadoop、ES等目录存储表的权限管理。然后介绍了实时IDE，目前已经实现了蓝图，能点击、运行和正常提交任务。最后，提到了一个名为智能数仓建模的项目，用于OLAP、数仓建模、数仓规划等建设。

二、调度引擎与商业版代码的介绍
主要讨论了调度引擎和框架的选择，以及面临的挑战。首先，会议提到了Airflow作为国内一等一的调度引擎，有较多用户使用。

最后，会议分析了当前面临的挑战，包括开发组件难度大、前端页面渲染慢、大数据中台使用流程不够丝滑等。此外，还讨论了开源框架的使用、部署和运行问题，以及资源调动、数据平台等方面的应用。

三、数据平台的使用与商业化探索
主要讲述了未来五年数据中台和AIOPS平台的规划。首先，会使用一套完整的框架来支撑制定过程，包括未来五到十年的数据中台研发迭代周期，会进一步做更多的开源产品功能建设。其次，会对接更多大模型应用的场景。然后介绍了DataOps，MLOps的场景，以及将接入更多大模型的场景。

接着，介绍了AllData数据中台功能，包括元数据管理、数据量、数据比对等，并提到离线调度采集Python, SQL, FlinkSQL等。最后，介绍了实时开发功能，并分享了开源项目的一些组件和互联互通方式。

数据中台的功能与应用

主要介绍了数据中台的功能和应用，包括用户管理、角色配置、权限管理等。同时，提到了新版商业版提供了较多功能源码，企业用户可以选型使用创始版、尊贵会员和高级会员版等会员通道商业版源码，以及购买会员获取商业版源码的多个方式。

此外，还介绍了数据中台在项目中的应用，如数据采集、数据治理、报表等。最后，提到了实时开发、stream功能、data功能等新功能，并建议关注如何完成目标客户的核心需求。

四、数据平台的使用与商业化探索
主要讲述了未来五年数据中台和AIOPS平台的规划。首先，会使用一套完整的框架来支撑制定过程，包括未来五到十年的数据中台研发迭代周期，会进一步做更多的开源产品功能建设。其次，会对接更多大模型应用的场景。然后介绍了DataOps，MLOps的场景，以及将接入更多大模型的场景。

接着，介绍了AllData数据中台功能，包括元数据管理、数据量、数据比对等，并提到离线调度采集Python, SQL, FlinkSQL等。最后，介绍了实时开发功能，并分享了开源项目的一些组件和互联互通方式。

数据中台的功能与应用

主要介绍了数据中台的功能和应用，包括用户管理、角色配置、权限管理等。同时，提到了新版商业版提供了较多功能源码，企业用户可以选型使用创始版、尊贵会员和高级会员版等会员通道商业版源码，以及购买会员获取商业版源码的多个方式。

此外，还介绍了数据中台在项目中的应用，如数据采集、数据治理、报表等。最后，提到了实时开发、stream功能、data功能等新功能，并建议关注如何完成目标客户的核心需求。

1641717415303.pic.jpg
1621717415293.pic.jpg
1661717415313.pic.jpg
1681717415320.pic.jpg
1681717415320.pic.jpg
1701717415333.pic.jpg

五、数据平台的使用与未来规划
主要讲述了近三年或近五年内的产品策略，包括终身免费使用、打包销售和按年收费等。同时，介绍了数据平台的使用流程，包括创建群、加主机、选服务角色等。

此外，还提到了数据质量平台，可以帮助用户更好地了解数据。最后，鼓励大家在社群中分享AllData数据中台产品使用经验，以提高产品的价值。

六、开源作者分享项目经验与未来规划
主要讲述了项目的发展历程和未来规划。该项目已经存在了4年半到5年的时间，目前正在进行商业化产品的开发。项目团队将不断完善和优化产品，以满足更多用户的需求。

同时，会议还提到了开源社区的重要性，鼓励大家关注公众号，视频号，获取更多AllData数据中台知识库内容，商业版架构，AllData数据中台核心优势。

最后，会议强调了在咨询问题时，希望大家能关注开源项目AllData社区文档，更快的获取关于AllData数据中台的知识内容

七、关注公众号与会员升级流程
主要介绍了视频号关注、公众号关注、教程视频扫码关注等内容，并提到了正式发版和试用的情况。同时，会议还讨论了会员升级的问题，提到了老会员的版本升级需要补差价，以及源码会一次性提供给大家。最后，强调了项目的发展方向，鼓励大家继续深入挖掘。

加入AllData社区