WhaleStudio 2.6 正式发布,WhaleTunnel 同步性能与连接器数量再创新高!


在这个数据驱动的大模型时代,数据集成的作用和意义愈发重要。数据不仅仅是信息的载体,更是推动企业决策和创新的关键因素。作为全球最流行的批流一体数据集成工具,WhaleTunnel随着WhaleStudio 2.6版本正式发布,带来了多项功能增强和新特性,性能大幅提升,连接器和功能方面也有大量更新。
上周,关于数据调度平台WhaleScheduler的更新状况在 《WhaleStudio 2.6重磅发布!调度模块WhaleScheduler更新78项核心功能》中已有介绍,点击链接了解详情。

WhaleTunnel

WhaleTunnel是基于白鲸开源主导的Apache SeaTunnel之上精心打磨的商业级的数据集成工具,拥有数据传输速度快、准确率高、稳定性强等技术特点,帮助企业完成内部EtLT中数据集成EtL部分,支持百余种连接器类型,满足用户离线全量同步、离线增量同步、实时增量同步、变化数据捕捉(即CDC)、数据库同步备份等需求。快速产品以代码形式面向数据开发工程师以及任何需要数据集成服务的用户,同时也提供可视化拖拽界面给数据科学家、数据分析师、产品经理等业务用户,支持全流程可视化的任务定义、调用、监控和管理。

数据源更新(部分)

2.6版本新增了多种数据源,数据源支持数量已经达到了188个,部分增加的数据源如下:

信创ARM CPU优化

在WhaleTunnel 2.6版本当中,Zeta Engine针对以ARM内核的CPU进行了引擎层面的深度优化,性能提升数倍(相关性能POC报告后续发布)。

  1. 内存映射文件和零拷贝技术: 为了最大限度地减少I/O开销,Zeta Engine采用了内存映射(mmap)技术和零拷贝(zero-copy)技术,直接在内存中操作文件数据。这样不仅加快了数据处理速度,还降低了系统资源的消耗。
  2. 内存对齐:Zeta Engine确保数据结构在内存中的对齐性,有效减少了内存访问的开销。内存对齐优化不仅提高了内存访问的效率,还提升了数据处理的整体性能。
  3. 高效算法: Zeta Engine使用了适合ARM架构的高效算法,减少不必要的计算和数据移动。通过高效的排序和过滤算法,显著提升数据转换和处理的效率。Zeta Engine算法优化确保了在数据密集型任务中,系统能够保持卓越的性能。
  4. 多核架构利用: Zeta Engine充分利用ARM CPU的多核架构,将ETL任务分解为更小的任务,进行多线程或多进程并行执行。通过并行化处理,显著缩短了数据处理的时间,提升了系统的吞吐量。

数据模型及自动建表能力加强

  1. 自动建表、已有数据处理: 除了文件类型的数据源外,所有数据源现支持自动建表。无论是已有表结构还是已有数据处理,WhaleTunnel都能轻松应对。同时,目标端支持自定义表名策略。无需手动处理复杂的表结构,极大地减少了数据集成的时间和人工成本。 

2. 数据模型推演: 在任务保存时自动触发,自动检查source、transform、sink中的配置是否合法;在任务重同步表发生表结构变化时,检查其变化可能导致的配置项非法问题。确保数据流的稳定性和一致性,减少因配置错误导致的数据同步失败。在运行数据集成任务之前,就可以自动识别潜在的问题并提前修复。 

3. 数据类型自动映射: 数据源到目标端的数据类型自动映射。自动适配不同的数据类型,减少手动调整的麻烦。从不同数据库迁移数据时,无需担心类型不匹配的问题。

与WhaleScheduler全面集成

  1. 增量同步和参数传递: WhaleTunnel与WhaleScheduler紧密集成,根据调度中的日历、业务日期(牌)以及上下游参数进行增量同步或者参数传递来进行数据内容控制,进一步提高数据同步的灵活性和准确性。例如,在券商监管报表生成时,能够自动获取符合上报规则交易日期的数据,确保数据的准确性。 

 

2. 独立同步调度任务组件: WhaleTunnel拥有独立的CDC实时调度组件和批量调度组件,可以在WhaleScheduler成为独立任务组件被上下游进行触发等工作,实现更灵活的任务调度和管理。在数据集成之后,进行相关数据加工,或者自定义微批任务,实现微批任务的串行等待等。 

3. 增量数据参数传递: 离线全量Source支持根据自定义where条件读取,可以使用调度传递的参数变量实现**增量数据参数传递,**精准控制数据同步范围,实现增量/批量/微批的多场景控制,提升整体数据批量和CDC实时处理能力。

加强可观测性与监控告警

  1. 离线同步新增支持失败、超时告警, 提前预警潜在问题,减少数据同步失败带来的影响。举例来说,在夜间批处理任务中,能够及时发现并处理异常,确保数据同步的顺利进行。 

2. 实时同步新增失败告警、实时同步新增DDL变更事件告警:实时监控数据同步状态,快速响应和处理异常情况。例如,电商平台可以及时发现和修正订单数据同步中的问题,确保业务的连续性,可以让用户快速收到DDL变更情况,从而更早的手工干预。 

通过虚拟表支持非结构化数据可视化转化

  1. 文件数据源: 新增支持 CSV文件类型以压缩格式读写,支持读取时跳过表头和写入时写入表头设置,支持新的文件格式:DBF, Debezium-Json, 更灵活地处理不同格式的文件数据,提高数据导入导出的效率。
  2. No-SQL数据源支持: 创建虚拟表时支持配置主键,且sink自动建表时使用该主键建表,提高数据一致性和查询效率。例如,在处理NoSQL数据时,可以更好地管理和索引数据。 

3. 虚拟表支持设置索引

 

4. HTTP数据源虚拟表优化: 优化数据源和虚拟表配置,token、路径、请求参数等支持填写参数变量,更灵活地集成和管理HTTP数据源,提高数据获取的灵活性和效率。

CDC同步增强功能

  1. 唯一索引表同步: CDC同步源表现支持拥有唯一索引的表同步,确保数据的唯一性和完整性。例如,在用户信息同步时,可以确保用户ID的唯一性,避免数据重复和冲突。
  2. 无主键表同步: CDC同步源表支持无主键表的同步,提供更广泛的数据同步支持,适应更多样化的数据库设计。例如,在某些历史数据表中,可能没有主键的设计,但仍然可以实现高效的数据同步。

小结

WhaleTunnel 2.6版本功能非常强大,涵盖了从数据模型设计、自动化建表,到高效的数据同步和监控告警,以及多样化的数据源支持。无论您的数据集成需求是简单的数据传输还是复杂的实时分析,WhaleTunnel都能为您提供定制化的解决方案,帮助您实现数据驱动的业务成功。

我们期待与您一同迎接数据集成的新时代!如果您对WhaleTunnel 2.6版本有任何疑问或想了解更多信息,请随时联系我们的客户服务团队。感谢您对WhaleTunnel的信任和支持!

白鲸开源

白鲸开源是一家开源原生的DataOps商业公司,是国家高新技术企业,由多个Apache Foundation Member成立,80%员工都是 Apache Committer,运营2个全球Apache开源项目(DolphinScheduler, SeaTunnel)。白鲸开源已根据全球最佳实践发布商业版产品WhaleStudio(含白鲸数据调度平台WhaleScheduler和白鲸数据集成平台WhaleTunnel)。我们致力于打造下一代开源原生的DataOps 平台,助力企业在大数据和云时代,智能化地完成多数据源、多云及信创环境的数据集成、调度开发和治理,以提高企业解决数据问题的效率,提升企业分析洞察能力和决策能力。

联系方式

公司网站: www.whaleops.com

联系邮箱: [email protected]

如果您希望深入了解我们的其他功能,或者讨论如何将 WhaleStudio 与你的业务流程相结合,我们非常愿意为你提供帮助。欢迎您首先试用白鲸调度系统(WhaleScheduler),开始您的大数据之旅。


相關推薦

2023-07-26

IBM Security 最新发布的一份 2023 年数据泄露成本报告显示,2023 年全球数据泄露的平均成本达到 445 万美元,创下该报告的历史新高,相较过去3年增长了15%。其中检测和升级成本在同一时期跃升了 42%,是数据泄露成本中最高的

2023-06-09

Astro 2.6 已正式发布。在该版本中,多项实验性功能进入稳定状态,包括:Middleware(中间件)、Hybrid SSR output mode(混合 SSR 输出模式)、Custom client directives(自定义客户端指令)和 CSS inlining(CSS 内联)。 此外还引入了许

2024-06-23

NCC Group 最新发布的一份威胁情报报告发现,5 月份全球勒索软件攻击环比增长 32%(从 356 起增至 470 起),同比增长 8%(从 435 起增至 470 起),均创历史新高。 臭名昭著的 Lockbit 勒索软件团伙则是此次激增的罪魁祸首。该组织

2023-01-06

Connector 的提交流程 #3451 [Connector-V2] [Oracle] 改进 Oracle 连接器的数据类型映射 #3486 [Connector-V2] [Http] 支持在 Http 连接器中提取复杂 Json 字符串 #3510 [Connector-V2] [File] [S3] 支持 S3A 协议 #3632 [Connector-V2] [File] [HDFS] 支持使用

2023-06-06

ome 从 100 分提升到 300 分则是横跨了 Chrome 40(2014 年 11 月发布) 至 Chrome 101(2022 年 4 月发布),中间间隔了 7 年半时间。 上图是在 M2 Macbook Air 上,使用开启了 Maglev 编译器的 Chrome 116.0.5803.2 所测出来的分数。 Jetstream JetStrea

2023-11-11

Qt for MCUs 2.6 已正式发布。 主要变化 新增适用于 Qt Quick Ultralite 的新 QML API 全新基准测试功能以性能作为核心 支持文件系统(技术预览阶段)   GHS MULTI IDE 集成汽车工具   支持 AUTOSAR Classic   公告写

2024-07-17

2024年7月15日,JumpServer开源堡垒机正式发布v4.0版本。在JumpServer开源堡垒机v4.0版本的设计过程中,JumpServer开源项目组继续秉持“内外兼修”的原则,并且开始迈步走向全球化,同时进一步提升用户的使用体验,真正用心做好一款

2023-08-24

2023 年 8 月 21 日,JumpServer 开源堡垒机正式发布 v3.6.0 版本。在这一版本中,用户管理层面,JumpServer 支持用户批量连接资产,通过 Web GUI 方式连接的数据库支持对表名和列名进行自动补全,Web Terminal 页面的会话 Tab 窗口支持手

2022-12-05

物联网通讯协议 iot-modbus V3.2.6 发布 更新内容 iot-modbus本次发布的V3.2.6版本支持设备上线、掉线、处理业务异常监听处理,请看下面的源码解读。 设备上线监听源码解读 主要是在MiiListenerHandler重写了channelActive方法

2023-06-07

4.提供用户生命周期管理,支持SCIM 2协议;开箱即用的连接器(Connector)实现身份供给同步。 5.简化微软Active Directory域控、标准LDAP服务器机构和账号管理,密码自助服务重置密码。 6.IDaas多租户功能,支持集团下多企业独立管理

2023-01-06

为它的启动系统;相反,它使用 OpenRC。 近日 Nitrux 2.6.0 正式发布,这个新版本结合了最新的软件更新、错误修复、性能改进和即用型硬件支持。 内核 6.1.0-2.1 Liquorix 内核现在是发行版中的默认版本。 更新了发行版中的

2023-10-13

4.提供用户生命周期管理,支持SCIM 2协议;开箱即用的连接器(Connector)实现身份供给同步。 5.简化微软Active Directory域控、标准LDAP服务器机构和账号管理,密码自助服务重置密码。 6.IDaas多租户功能,支持集团下多企业独立管理

2023-11-06

级设置及自动扩缩容算法。 高级语言优化编译: 正式定义ArkTS语法规则并新增ArkTS语法检查,在使用DevEco Studio进行代码编译时会对不符合ArkTS语法规则的代码进行告警。语法检查的规则详见从TypeScript到ArkTS的迁移指导。

2022-11-08

十月初,MQTT X 团队发布了 1.8.3 版本。对桌面端应用实现了 MQTT 5.0 版本适配,MQTT X CLI 支持了多主题订阅,同时修复了多个已知问题。此外,团队正专注于 1.9.0 版本的开发,最主要的更新是为 MQTT X CLI 加入了新的命令 – bench,