TIS V4.0.1 版本发布了，推出多个新功能值得一试

2024-10-22 發表於 开源资讯

TIS的v4.0.1版本终于和大家见面了

v4.0.1着重在以下几方面进行了功能加强和升级。

功能该要

  1. 添加Transformer功能

    通过在TIS流程中设置Transformer功能逻辑，可实现在ETL数仓功能中，在E（数据抽取）阶段即可高效实现各种字段值转换功能，如：字段脱敏，字段拼接，取子字符串等功能。

  2. 提供数据预览功能

    为了配合以上Transformer数据处理功能，当用户完成Transformer功能设置后，需要第一时间验证Transformer处理逻辑是否正确。基于此需求，TIS提供了数据预览功能，可以在预览数据页面直观查看数据表中真实的数据和被Transformer处理逻辑执行过的数据。

  3. 提供Cloudera版本的Hadoop/Hive实现

    加强Hadoop生态支持力度，提供Cloudera版本的Hadoop/Hive实现插件支持。

  4. 优化MongoDB数据源字段分析功能

    由于MongoDB是Schemaless，一般以MongoDB作为数据源导入，需要手动为MongoDB 的Collection设置Schema，这是一件烦冗且容易出错的事儿。TIS提供了基于Collection中的存量数据自动分析对应的Schema结构，大大提高了MongoDB作为源的数据管道配置效率。

  5. 增加数据管道、数据源的克隆功能

    用户在业务系统中需要添加大量类似的配置源，例如：多个MySQL数据库，只是数据库名称不一样，其他：host、用户名、密码都一样，因此用户不想每个数据源都从新开始配置，只需配置一个数据源，其他数据库实例只需克隆该实例，然后改一下克隆出来的数据库实例的数据库名就行，从而提高了添加数据源实例的效率。

  6. 提供了TIS与DolphinScheduler整合方案插件

    为响应用户多次提出TIS与DolphinScheduler整合方案的需要，提供了TIS与DolphinScheduler整合方案插件，事先在TIS中配置数据管道，验证无误后，通过在相应的配置插件页面，一键同步需要同步表任务到DolphinScheduler平台，即可在DS平台中事先轻松拉起数据同步任务，全程不需要编写一行配置代码。

    如果你在DolphinScheduler平台中，厌倦了烦冗枯燥且容易出错的DataX、SeaTunnel的JSON配置脚本编写。您可以尝试一下TIS新提供的与DolphinScheduler整合插件，一定会有惊喜。

  7. 优化增量实时同步任务启动速度

    当用户选择整库数据表同步任务执行，启动时间过慢。原因是有大量表执行启动任务时，需要针对每个表创建JDBC Connection实例，这样是非常耗时的。优化方案是，实现了Connection实例复用技术，大大加快了整库表同步增量任务启动速度。

  8. 添加MariaDB的Source/Sink Connector连接器

    支持MariaDB的批量读/写、实时增量读/写功能。

  9. 单机部署提供设置多同步任务并发执行

    为了充分挖掘单机版机器CPU并发执行的潜力，在TIS单机版部署模式下可以设置多个同步任务并发执行，可以大幅提高单机版数据同步的吞吐率。

Bug Fix

  • flink 启动立即失败，报告无法分配足够slot资源#362

  • 修改分表识别自定义规则没有生效#361

  • 通过savepoint或者checkpoint恢复增量任务执行有误#356

  • 达梦数据库最新版本有找不到表的情况#354

  • psgql同步到doris由于数据类型为geometry导致错误#333

  • MySQL创建增量通道到ES时，部署报错#332

  • K8S 环境中利用Powerjob启动执行器，打开datax执行器报错#330

  • 增量同步mysql到doris null值被转换成了\N#328

  • mongo->mysql通道构建发生报错#326

  • 使用Oracle作为流式管道Source当指定schema时存在错误#322

New Feature

  • 优化TIS Flink实时增量通道启动速度#366

  • aliyun ACK 测试flink-application模式增量通部署失败，须将TIS的JDK版本升级到JDK11#365

  • Make flink-cdc for mysql source connector support tableName matcher with regex pattern#360

  • DORIS date类型不能作为联合主键的第一个#359

  • 数据源添加Mongodb数据库名称无法使用符号-#352

  • 批量数据同步设置任务触发参数#347

  • TIS 与 dolphinscheduler 整合方案实现#345

  • Transformer中使用上下文绑定参数#342

  • 实现数据预览#338

  • MySQL版本:'10.5.21 使用哪种插件安装#337

  • 由于用户的MySQL服务器在美国导致启动时候checkTimeZone出错#327

  • Hive Haddop 增加Cloudera的版本支持#323

  • 尝试在生产环境中使用NodePort 作为服务暴露的方式#321

  • tis-k8s/src/main/filters/tis-console.yaml 中ConfigMap tis.host配置对应的Namespace冲突#320

  • K8S中以ReplicationController发布的资源需要改造成为 deployment类型#319

  • MariaDB数据库支持...#307

  • 增加任务实例和数据源复制功能#303

  • [feat]需要定义数据同步可自定义表列映射#225

经典案例

多源同步Doris

Installation

  • TIS Package 安装说明 (https://tis.pub/docs/install/tis/uber) 

  • TIS Flink Standalone Package 安装说明 (https://tis.pub/docs/install/flink-cluster/standalone) 

  • Flink On Kubernetes安装说明（ https://tis.pub/docs/install/flink-cluster/native）

  • 分布式批量数据同步组件PowerJob安装说明（  https://tis.pub/docs/install/powerjob/k8s）

  • TIS Zeppeline NoteBook Installation安装说明 (https://tis.pub/docs/install/zeppelin)

TIS是啥？​

TIS是一款实时ETL数仓产品，为您提供企业级数据集成服务，基于批(DataX)，流(Flink-CDC、Chunjun)一体，提供简单易用的操作界面，降低用户实施端到端数据同步的实施门槛，缩短任务配置时间，避免配置过程中出错，使数据同步变得简单、有趣且容易上手 详细介绍

如果您正在利用DataX、Flink-CDC、SeaTunnel编写脚本来驱动执行端到端数据同步程序，是非常烦冗且容易出错的事儿。并因此感到些许厌倦，您可以尝试一下TIS，一定会给您带来不小的惊喜。

相關推薦

DBApi v4.0.1 已经发布，零代码开发 API 服务

2023-08-25

层技术 >>> DBApi v4.0.1 已经发布，零代码开发 API 服务 此版本更新内容包括： 修复 （重大BUG）并发多个API结果错乱的BUG SQL调试页面，查询结果过多导致页面展示不全 优化 导出数据源可全选导出 导出分组可全选导

数据集成软件 TIS V4.0.0 版本发布

2024-05-21

TIS的v4.0.0版本终于和大家见面了，v4.0.0着重在以下几方面进行了功能加强和升级。https://gitee.com/qlangtech/tis 功能该要 飞跃性能，稳定如磐 TIS依赖的核心框架Flink全面升级到了1.18版本，同时配套的Flink-CDC也升级至3.0.1版本，这

Fastify v4.0.1 发布，极速 Node.js Web 框架

2022-06-12

使用更新的骨架模板 #3993 在候选发布阶段支持先前版本的插件 #3992 添加 Markdown linting #3990 修复：错误序列化程序 #3996 更新公告：https://github.com/fastify/fastify/releases/tag/v4.0.1  

rttys v4.0.1 已经发布，rtty 的服务端

2022-05-03

rttys v4.0.1 已经发布，rtty 的服务端。 此版本更新内容包括： Features it's configurable whether log caller (Jianhui Zhao) ui: clear last selected file on upload file (Jianhui Zhao) support build statically (Jianhui Zhao) Bug Fixes panic: send on closed channel (Ji

Git Extensions v4.0.1 发布，独立的 Git 仓库 UI 管理工具

2022-12-16

rosoft Visual Studio (2015/2017/2019) 集成。Git Extensions v4.0.1 现已发布，具体更新内容如下： Changes 10521 Git 2.39 bugs out for fetch --jobs=0 10516 theme：从可交付成果中删除深色主题 10514 无法从 git commands 运行 git 命令 10487

Datavane：一个专注于大数据领域的开源组织正式成立了

2023-06-21

源社区。 我们准备了一批优质的项目，等待和社区一同发布和大家见面，下面让我看看都有哪些精彩的项目吧!   #1. TIS - 人人都会用的数据集成产品 TIS[2] 是采用 Java 语言开发的，一款面向大数据领域端到端的数据集

InfoWorld 公布 2023 年最佳开源软件

2023-10-26

中为 LLM 提供服务的不二之选，并且 FlashAttention 2 支持等新功能也在快速添加中。 Weaviate 生成式 AI 的蓬勃发展激发了对新型数据库的需求，这种数据库可以支持海量复杂的非结构化数据。向量数据库应运而生。 Weaviate 在部署

JPress CMS v5.0.7 发布，开始支持 jdk17

2022-11-30

获得 Gitee 评为：最有价值的开源项目)。   到 v5.0.7 版本开始支持 JDK17 啦，当然 JDK8 ~ JDK17 随意选择。   JPress v5.0.7  更新内容如下： 优化：移除 findListByColumns 的缓存配置，使用默认的配置 优化：优化 tomcat 的 p

JPress CMS v5.0.9 发布，细节优化和新增

2023-03-10

ls 添加 font 标签到白名单 优化：升级 Jboot 到 v4.0.9 最新版本 修复：压测下文章分类可能出现某些错误的问题 说的再多，不如亲自一试。 在 阿里云（腾讯云） 上一键通过 8080 端口运行 wget https://gitee.com/JPressProjec

JPress CMS v5.0.8 发布，修复多站点的问题

2023-01-10

钮显示 browse 修改为 "浏览" 优化：升级相关依赖到最新版本   说的再多，不如亲自一试。 在 阿里云（腾讯云） 上一键通过 8080 端口运行 wget https://gitee.com/JPressProjects/jpress/raw/master/install.sh && bash install.sh

苹果发布 iOS 17 首个测试版，带来多项新的通信、共享功能

2023-06-07

识别模型，识别的准确率更高。   还有一个好玩的新功能：“贴纸”，可以把表情包贴到对话框里 其次还有新的 StandBy 模式，充电（或者其他用不着）的时候可以把手机侧放，当成音乐播放器、时钟等其他物件： &nbs

LiteFlow v2.10.1发布！我们又发迭代版本了，国内超好用的编排规则引擎框架

2023-03-24

/liteflow v2.10.1介绍 前段时间我们刚刚发布了LiteFlow的大版本2.10.0。在这个版本中增加了诸多特性和代码的优化。 我们现在又马不停蹄的推出了小版本升级：2.10.1。 其实2.10.0很稳定，最新的2.10.1版本主要为了增加一个新的脚

Hackathon idea 清单出炉，总有一款适合你

2022-10-15

TiDB 释放创新的更多可能性。（悄悄说：今年真的不卷，值得一试！） 两大赛道任选 应用组（推荐，因为特别奖项更多！） 以体现 TiDB 产品价值为主，使用 TiDB 构建代码开源的产品、工具、应用等均可。部署方式上，更

Firefox Android 版扩展支持即将推出

2023-11-07

Mozilla 计划在 Firefox 120 版本发布 (预计于 11 月 21 日) 后为 Android 版 Firefox 提供浏览器扩展，并督促开发者评估其扩展代码，为此做好准备。 在 Firefox 120 的发布周期中，我们将开始在 addons.mozilla.org (AMO) 上看到数十个新的、可

熱門推薦