Dinky:实时计算的新篇章

作者:起个名字好难2024.01.17 19:42浏览量:16

简介:Dinky是一个基于Apache Flink的一站式实时计算平台,致力于流批一体和湖仓一体的探索与实践。本文将介绍Dinky的特性和部署方式。

千帆应用开发平台“智能体Pro”全新上线 限时免费体验

面向慢思考场景,支持低代码配置的方式创建“智能体Pro”应用

立即体验

Dinky是一个开箱即用、易扩展的实时计算平台,以Apache Flink为基础,连接OLAP和数据湖等众多框架。它致力于流批一体和湖仓一体的探索与实践,使得使用标准SQL开发流式应用变得简单,免去代码开发。Dinky提供沉浸式Flink SQL数据开发环境,支持自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore、血缘分析、版本对比等功能。
Dinky支持Flink SQL多版本开发及多种执行模式,包括Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application等。它还支持Apache Flink生态,包括Connector、FlinkCDC、Table Store等。在Flink SQL语法方面,Dinky提供表值聚合函数、全局变量、执行环境、语句合并、整库同步等支持。
此外,Dinky还支持Flink CDC整库实时入仓入湖、多库输出、自动建表、模式演变。对于SQL作业开发,Dinky支持ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、Presto、SqlServer、StarRocks等。实时在线调试预览Table、ChangeLog、统计图和UDF也是Dinky的特色功能之一。
Dinky还提供Flink Catalog、数据源元数据在线查询及管理功能。在实时任务运维方面,Dinky支持上线下线、作业信息、集群信息、作业快照、异常信息、数据地图、数据探查、历史版本、报警记录等。它还支持作为多版本Flink SQL Server以及OpenApi的能力。此外,Dinky还提供实时作业报警及报警组功能,支持钉钉、微信企业号、飞书、邮箱等通知方式。
在资源管理方面,Dinky支持集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、系统配置等管理。同时,它还提供企业级管理功能,包括多租户、用户、角色、命名空间等。
关于Dinky的部署,目前推荐使用Docker形式进行部署,部署过程相对简便,不需要额外的配置与附属服务。部署前需要满足一定的环境要求,包括Docker 1.13.1+和Docker Compose 1.28.0+等。
总的来说,Dinky是一个功能强大的实时计算平台,提供了丰富的特性和便捷的部署方式。无论是对于流批一体还是湖仓一体的应用场景,Dinky都能够提供强大的支持。随着实时计算需求的不断增长,Dinky有望成为实时计算领域的新篇章。

article bottom image

相关文章推荐

发表评论