Dlink 1.0.0 已经发布，交互式的 FlinkSQL Studio
此版本更新内容包括：
升级说明
- Dinky 1.0 是一个重构版本，对已有的功能进行重构，并新增了若干企业级功能，修复了 0.7 的一些局限性问题。 目前无法直接从 0.7 升级到 1.0。建议重新部署 1.0 版本。
- 自 Dinky 1.0 版本起，Dinky 社区将不再维护 1.0 之前的所有版本。
- 自 Dinky 1.0 版本起，Dinky 社区将对 Flink 1.14.x 及以上版本提供支持，不再维护 Flink 1.14 以下的版本。同时 Flink 新增一些特性，Dinky 也会逐步支持。
- Dinky 1.0 及以后版本, Flink 每新增一个大版本，Dinky 也会新增一个大版本，同时会视情况剔除一个 Dinky-Client 版本。剔除版本可能会进行投票，投票结果决定剔除的版本。
- 在重构过程中陆续发布了 4 个 RC 版本,RC 版本可以进行升级,但是仍建议重新部署 1.0-RELEASE 版本。避免出现一些位置问题。
- Dinky 0.7 版本的用户可以继续使用 0.7 版本，但是不再提供任何维护和支持。建议尽快安装 1.0 版本。
不兼容变更
- CDCSOURCE 动态变量定义由
${}改为#{} _CURRENT_DATE_等全局变量移除，使用表达式变量代替- Flink Jar 任务定义由表单改为 EXECUTE JAR 语法
- Application 模式的 dinky-app-xxxx.jar 的定义移到集群配置中
- 数据库DDL 部分不兼容升级
- Dinky内置Catalog的类型属性由
dlink_catalog变更为dinky_catalog
重构
- 重构数据开发
- 重构运维中心
- 重构注册中心
- 重构 Flink 任务提交流程
- 重构 Flink Jar 任务提交方式
- 重构 CDCSOURCE 整库同步代码架构
- 重构 Flink 任务监控与告警
- 重构权限管理
- 重构系统配置为在线配置
- 重构推送DolphinScheduler
- 重构打包方式
新功能
- 数据开发支持代码片段提示
- 支持实时打印 Flink 表数据
- 控制台实时打印任务提交 log
- 支持 Flink CDC 3.0 整库同步
- 支持自定义告警规则和自定义告警模板
- 支持Flink k8s operator 提交
- 支持代理 Flink webui 访问
- 新增 Flink 任务 Metrics监控自定义图表
- 支持 Dinky jvm 监控
- 新增资源中心功能（local,hdfs,oss）并扩展 rs 协议
- 新增 Git UDF/JAR 项目托管及整体构建流程
- 支持全模式Flink jar 任务提交
- 新增 ADD CUSTOMJAR 语法动态加载依赖
- 新增 ADD FILE 语法动态加载文件
- openapi 支持自定义参数提交
- 权限系统升级，支持租户，角色，token，菜单权限
- 支持LDAP
- 数据开发页面新增小工具功能
- 支持推送依赖任务至 DolphinScheduler
- 实现 Flink 实例停止功能
- 实现 CDCSOURCE 整库同步多并行度下数据有序
- 实现可配置方式的告警防重发功能
- 实现普通 SQL 可被 DolphinScheduler 调度执行
- 新增获取系统内加载的依赖 JAR，并进行分组， 便于排查 JAR 相关问题
- 实现集群配置测试连接功能
- 支持 H2、Mysql、Postgre 部署,默认为 H2
新语法
- CREATE TEMPORAL FUNCTION 用于定义临时表函数
- ADD FILE 用于动态加载类/配置等文件
- ADD CUSTOMJAR 用于动态加载JAR依赖
- PRINT TABLE 用于实时预览表数据
- EXECUTE JAR 用于定义 Flink Jar 任务
- EXECUTE PIPELINE 用于定义 Flink CDC 3.x 整库同步任务
修复
- 修复 auto.sh 的 CLASS_PATH 中缺少 extends 路径的问题
- 修复发布/下线后作业列表生命周期状态值没有重新渲染的问题
- 修复 Flink 1.18 set 语法不工作并产生 null 错误
- 修复提交历史的保存点机制问题
- 修复 Dinky Catalog 中创建视图的问题
- 修复 Flink application 不会抛出异常
- 修复告警选项渲染不正确
- 修复作业生命周期的问题
- 修复集群配置中 k8s 的 YAML 无法显示
- 修复运维中心作业列表耗时格式化错误
- 修复 Flink dag 提示框问题
- 修复 checkpoint 的路径未找到
- 修复向海豚调度推送作业时节点位置错误
- 修复当 set 配置中包含单引号时作业参数未生效的问题
- 升级 jmx_prometheus_javaagent 到 0.20.0 来解决一些 CVE
- 修复 checkpoint 展示问题
- 修复作业实例始终处于运行中状态
- 修复 Yarn Application 提交任务失败后缺少日志打印
- 修复作业配置不能渲染 yarn prejob 集群
- 修复 URL 拼错导致请求失败
- 修复多用户登录时出现相同令牌值插入错误的问题
- 修复告警实例表单渲染问题
- 修复FlinkSQLEnv 无法检查的问题
- 修复 set 语句无法生效的问题
- 修复yarn集群配置自定义Flink，hadoop配置无效问题
- 修复运维中心检查点信息获取不到问题
- 修复Yarn Application作业结束后状态无法检测问题
- 修复yarn作业提交失败控制台日志无打印问题
- 修复从集群配置启动的Flink 实例无法在作业配置中选择的问题
- 修复RECONNECT状态作业状态识别错误
- 修复 FlinkJar 任务在提交到 PreJob 模式的问题
- 修复Dinky启动检测pid问题
- 修复内置 Paimon 与用户集成版本不一致时,导致冲突的问题(使用 shade 实现)
- 修复FlinkJar 任务在 Application 模式下CheckPoint 参数不生效问题
- 修复修改 Task 作业时名称和备注信息更新错误的问题
- 修复注册数据源时密码为必填的问题
- 修复集群实例心跳检测不正确的问题
- 修复 Jar 任务提交不能使用 set 语法的问题
- 修复数据开发-> 作业列表部分情况下无法折叠的问题
- 修复多线程下告警信息重复发送的问题
- 修复数据开发-> 打开作业的 tag 高度问题
- 修复运维中心作业详情的 jobmanager 日志部分情况下无法正常展示的问题
- 修复 Catalog NPE 的问题
- 修复prejob 任务状态错误的问题
- 修复 add customjar 语法问题
- 修复 jar 任务无法监控的问题
- 修复 Token 无效异常
- 修复语句分隔符导致的一系列问题, 并移除系统内配置
- 修复运维中心任务状态渲染问题
- 修复作业实例不存在时删除任务失败的问题
- 修复重复异常告警
- 修复 PythonFlink 提交的一些问题
- 修复 Application Mode 无法使用全局变量的问题
- 修复 K8s 任务由于未初始化资源类型导致无法启动问题
- 修复 Jar 任务的 pipeline 获取错误导致前端无法正常使用
- 修复 SqlServer 时间戳转换为字符串
- 修复带有 UDF的任务发布时 NPE问题
- 修复 Jar 任务无法获取执行历史问题
- 修复 Doris 数据源获取 DDL 以及查询时 NPE 导致前端崩溃问题
优化
- 添加作业配置项的键宽度
- 优化查询作业目录树
- 优化 Flink on yarn 的 app 提交
- 优化 Explainer 类使用建造者模式来构建结果
- 优化文档管理
- 通过 SPI 来实现 operator
- 优化文档表单弹出层
- 优化 Flink 实例的类型渲染
- 优化数据源详情搜索框
- 获取版本方式优化为后端接口返回
- 优化CANCEL作业逻辑，对于失联作业可强制停止
- 优化注册中心部分删除时的检测引用逻辑
- 优化作业创建时可指定作业模版
- 优化Task 删除逻辑
- 优化部分前端国际化
- 优化执行预览时控制台与结果 Tag 自动切换
- 优化 K8S的 UDF 下载逻辑
- 优化整库同步之分库分表
- 优化注册中心->数据源列表跳转到详情页的逻辑
- 作业配置逻辑优化(作业已发布状态下作业配置不可编辑)
- 优化数据开发中作业配置的集群实例渲染逻辑
- 优化Flink集群的心跳检测
- 优化数据源获取数据异常未反馈前端问题
- 优化程序停机策略为优雅停机
- CDCSOURCE 支持最早偏移和时间戳 scanStartupMode
- 取消任务表保存点路径唯一性限制
- 优化CDCSOURCE从Mysql到Doris的light_schema_change
- 优化启动脚本类路径添加 FLINK_HOME
- 优化一些前端的绝对路径为相对路径
- 修改默认的 admin 账户的密码为强密码
文档
- 完善注册中心的集群实例列表文档
- 完善注册中心的告警文档
- 完善注册中心的Git项目文档
- 修改域名
- 完善注册中心和认证中心的文档
- 完善贡献者开发文档
- 在 CDCSOURCE 添加参数描述 debezium.*
- 修改官网文档结构
- 添加部分数据开发相关文档
- 删除一些弃用/错误的文档
- 添加快速开始文档
- 添加部署文档
- 优化分库分表的文档
- 优化常规部署文档
- 添加告警防重发相关文档
- 优化 openapi 文档
- 添加 HDFS HA 配置文档
- 优化 LDAP 相关文档
- 修复一些文档单词错误问题
- 修复集成DolphinScheduler文档中版本错误问题
安全
- CVE-2023-2976
- CVE-2020-8908
其他
- 增加一些自动化 Action
详情查看：https://gitee.com/DataLinkDC/Dinky/releases/1.0.0