Apache SeaTunnel 2.3.8版本正式发布!


Apache SeaTunnel 2.3.8 版本现已正式发布!此次版本后,用户将可以使用期待已久的Docker镜像,还可以体验Job级别日志功能,以及其他更新优化的功能。本文将详细介绍 Apache SeaTunnel 2.3.8 版本中的关键更新内容,欢迎更多开发者和用户参与到我们的开源社区中来。

  • 2.3.8版本下载: https://seatunnel.apache.org/download/
  • Release Note:https://github.com/apache/seatunnel/releases/tag/2.3.8

重点更新

Job级别日志

此次更新中,我们对日志功能进行了优化,在之前的版本中,多个任务的日志都在一个文件中打印,当同时运行多个任务后,多个任务的日志交织在一起,不便于排查问题。

此次更新支持两种方式的配置,以实现更加高效的日志查询。

第一种是在每行日志中添加JobId,从而可以过滤查询出每个日志单独的日志;


第二种是根据JobId拆分文件,只需修改日志配置文件,就可以每一个JobId打印单独的日志文件。

新增Docker镜像

此次更新中,添加了官方的镜像支持,在镜像中添加了全部的连接器,用户无需下载安装包,可以直接通过拉取镜像,更加方便地运行SeaTunnel,减小部署的复杂度,同时精简使用K8S部署的用户操作流程。

而对于有定制化需求,需要二次开发的用户,新版本也提供了一键式打包构建镜像的命令:

Flink/Spark引擎支持多表

之前的版本中,多表读取,写入的功能仅在Zeta引擎上进行了支持,此次更新后,Spark/Flink引擎也可以进行多表读取和写入。

适配 Prometheus 进行集群监控

此前,用户需要通过API来获取集群/任务的指标。现在,用户可以将指标进行导出到Prometheus上,Prometheus将定期拉取SeaTunnel的集群任务状态,并以可视化界面展示出来,以更便利地监控集群的状态,及时发现问题。

添加Typesense连接器支持

新增加对Typesense连接器的支持。

改进和优化

添加Embedding transform

通过Embedding transform,SeaTunnel支持将机器学习模型嵌入到数据转换过程中,把原始字段转换成向量值,再存储到相应的机器学习数据库。目前,SeaTunnel支持的机器学习模型提供商包括豆包、千帆、OpenAI,未来还将添加更多机器学习模型支持。

Kafka支持读取/写入Protobuf类型数据

增强了Kafka连接器对Protobuf数据格式的支持,在Kafka连接器下增加对Protobuf数据类型的定义,可以进行数据读取和写入。

文件支持读取压缩包

增加了对压缩文件格式的读取支持,省去了解压缩的步骤。

更加细粒度的资源加载隔离

支持将ClassLoader从任务组级别的隔离优化为任务级别,从而避免Source/Sink使用相同ClassLoader时可能造成的依赖冲突。

其他优化还包括:

  • Paimon流失读取和动态桶的写入支持

  • SQL嵌套查询支持查询Map结构字段

  • Iceberg的相关优化

  • 支持Kerberos认证

  • SaveMode添加IGNORE类型

  • 对于Redis不同版本的读取适配优化

  • MySQL 8.1/8.2/8/3版本的适配

  • 支持TiDB的CDC读取

  • 移除JDBC相关连接器中系统表的限制

  • 为所有连接器添加事件通知功能

  • ES连接器支持多表读取的功能

  • HBase连接器添加多表写入的功能

关键问题修复

  • 修复Hazelcast在非TCP连接时的组网问题
  • 修复资源隔离的问题
  • 修复Paimon Dynamic Bucket表,以及Decimal精度丢失的相关问题
  • 修复Iceberg任务结束资源未关闭的问题

详细更新情况请参考Release Note:https://github.com/apache/seatunnel/releases/tag/2.3.8

致谢贡献者

感谢@liunaijie对本次发版工作的指导和帮助,同时感谢以下社区成员的共同努力,让本次发版工作顺利完成:

hailin0, hawk9821, cl0924, sunxiaojian, dailai, corgy-w, Hisoka-X, liunaijie, chl-wxp, zhangshenghang, ISADBA, loustler, chenqianwen, FuYouJ, xxsc0529, EricJoy2048, ZhangWeike2000, jw-itq, kevinjmh, Carl-Zhou-CN, FlechazoW, PeppaPage, liugddx, Cheun99, happyboy1024, CosmosNi, Anush008, BruceWong96, zqr10159, cloud456, Gxinge, xxsc0529, luzongzhu, jiamin13579, Zuhdan, yujian225


相關推薦

2024-08-08

Apache SeaTunnel 2.3.6 版本于近日正式发布,社区期待的 SeaTunnel Zeta Master/Worker 新架构、事件通知机制、支持动态编译的transform等新功能和新能力在这次版本中都有了全面的更新,并添加了首个向量数据库 Milvus。此外,本版本还进

2023-01-06

️ Star · 照亮开源之路 https://github.com/apache/incubator-seatunnel 版本发布 今天,Apache SeaTunnel(incubating) 正式推出 2.3.0 正式版本,并正式发布自己的核心同步引擎 Zeta!此外,SeaTunnel 2.3.0 还带来了许多大家期待已久的新特性,

2023-03-30

SeaTunnel 2.3.1 版本于近日发布,这是一次备受瞩目的重磅发布,有多项重要功能更新和优化。 在编程使用体验层面上,新版本提升了 SeaTunnel Zeta 稳定性,并提升了 CI/CD 的稳定性;在连接器层面上,新版本实现了 7+ 个新连接器

2023-08-30

,聊聊 AI 大模型与底层技术 >>> 时隔两个月, Apache SeaTunnel 终于迎来大版本更新。此次发布的 2.3.3 版本在功能和性能上均有较大优化改进,其中大家期待已久的 CDC Schema evolution(DDL 变更同步)、主键 Split 拆分、JDBC Sink 自

2023-05-18

了基于 3.1.5 版本进行了 bug 修复、Doc 完善外, 还进行了 SeaTunnel Zeta 引擎的支持。   其中较为重要的为: 修复依赖任务不正确的超时警报 #13822 修复替换时间变量参数 #13975 修复流程实例 DAG 无法显示依赖任务的问

2023-09-15

thub.com/devlive-community/openai-java-sdk 该版本着重支持 Apache Seatunnel 作为流水线支持框架 DataCap 已发布 发布版本 发布时间 1.14.0 2023-09-14 General 修复数据源检查任务返回空的问题 添加验证码 支持登

2024-07-02

详情。 WhaleTunnel WhaleTunnel是基于白鲸开源主导的Apache SeaTunnel之上精心打磨的商业级的数据集成工具,拥有数据传输速度快、准确率高、稳定性强等技术特点,帮助企业完成内部EtLT中数据集成EtL部分,支持百余种连接器类型,

2023-09-05

发阶段,当然我们在 1.14.0 版中着重推出了基于 Apache Seatunnel 的中台功能,用于数据的摄取。同时我们开放了高度可定制化的配置项,用户可以通过自定义配置用于适配 Seatunnel 的各版本或者其他的新功能。话不多说,上图:

2022-10-10

airbytehq/airbyte alibaba/DataX apache/camel apache/flume apache/incubator-seatunnel apache/inlong apache/sqoop dbt-labs/dbt-core debezium/debezium ververica/flink-cdc-connectors 流处理 apache/beam apache/flink apache/incubator-heron apache/incubator-streampark apache/kafka apache/pul

2023-02-03

k、Python、Sqoop、OpenLooKeng、Presto、Trino、ElasticSearch、JDBC、SeaTunnel 和 Shell 等; 丰富的语言支持:SparkSQL、HiveQL、Python、Shell、Pyspark、Scala、JSON 和 JAVA 等; 强大的计算治理能力:能够提供基于多级标签的任务路由、负载均衡

2023-03-21

chatgpt 添加提交 pipeline api Experimental 添加 apache seatunnel 执行器 Client 支持执行SQL 修复代码bug Docs 添加连接器图标 SPI 添加执行器SPI Web 修复重复的树菜单数据 优化类型显示图标 优化数据源

2024-07-24

dot 修复 Hive jdbc url(#15627)@xxzuo [Bug][dolphinscheduler-task-seatunnel] 脚本资源文件路径错误 ( #15621 )@cqutwangyu [Bug] 修复可以修改不在资源路径下的文件的问题 ( #15652)@ruanwenjun [Bug] 修复即使任务已被终止也可能会被调度

2023-02-07

2023年1月26日,Apache 软件基金会 (ASF) 官方宣布 Apache bRPC 正式毕业,成为 Apache 顶级项目 (Top-Level Project, TLP)。 Apache bRPC 是由百度初始创立并持续贡献的工业级别 RPC 开源项目,在 2018 年正式贡献给 Apache 软件基金会进行项目孵化

2022-06-10

Apache Hop 2.0.0 已正式发布。 Apache Hop(Hop 是 Hop Orchestration Platform 的缩写)是一个灵活、元数据驱动的数据编排、工程和集成平台。该项目起源于二十多年前的 ETL 平台 Kettle,经过几年的重构,于 2020 年 9 月进入 ASF 孵化器。 Kettle