数据采集 ETL & 流批一体化框架 bboss v7.0.2 发布 --- 高效、稳定、快速、安全
bboss 由三部分构成
-
Elasticsearch Highlevel Java Restclient
-
数据采集同步 ETL
-
流批一体化计算框架
bboss版本最新版本号从以下文档章节获取:
【1.1 在工程中导入bboss maven坐标】
https://esdoc.bbossgroups.com/#/db-es-tool
bboss详细介绍文档：
https://esdoc.bbossgroups.com/#/README
bboss介绍视频
Elasticsearch Bboss Stream ETL 介绍视频
实时采集 Mysql binlog 增删改数据视频教程
v7.0.2 功能改进
-
数据采集改进：处理增量状态类型转换异常
-
数据采集改进：去掉增量状态管理嵌套锁，消除潜在的死锁隐患
-
文件采集插件改进：一次性文件全量采集的处理，添加是否禁止记录文件采集状态控制开关，false 不禁止，true 禁止，启用记录状态情况情况下作业重启，已经采集过的文件不会再采集，未采集完的文件，从上次采集截止的位置开始采集。默认true，禁止增量状态标记：fileInputConfig.setDisableScanNewFilesCheckpoint(false);//启用增量状态Checkpoint机制
-
优化用户自定义dsl输出机制：用户可以自定义实现dsl语句日志，另外提供了一个慢日志的默认功能，二选一，自定义的优先，没有自定义就判断是否设置需要打印慢dsl，如果需要则调用慢日志输出组件输出，注意：开启自定义dsl输出后，要关闭showTemplate，否则会重复输出日志。
-
状态管理info日志调整为debug级别日志。
-
处理mysql binlog 插件flushInterval机制不起作用问题, 优化数据处理管道flushInterval机制。
-
mysql binlog插件增加异步启动机制，JoinToConnectTimeOut大于0生效，否则是同步启动，启用方法：
MySQLBinlogConfig mySQLBinlogConfig = new MySQLBinlogConfig();
mySQLBinlogConfig.setJoinToConnectTimeOut(20000L);
8. 细化数据处理管道停止状态：正常停止和异常停止，正常停止情况下需要继续处理完数据，异常停止情况下不处理后续数据
更多版本变更历史，浏览：https://esdoc.bbossgroups.com/#/changelog