ETL & 流批一体化框架 bboss v7.2.6 发布---简版Flink。文件输出插件新增将生成的数据文件写入oss数据库minio功能以及若干改进。
v7.2.6 功能改进-20240812
-
问题修复：修复部分Postgresql分页查询失败问题
-
功能改进：将框架中部分缓存功能中使用的HashMap调整为ConcurrentHashMap,消除可能存在多线程安全隐患
-
文件输出插件改进：增加将文件写入oss数据库minio功能，使用案例：抽取Elasticsearch数据生成文件，并写入oss数据库minio
-
问题修复：修复大数据量excel文件采集失败问题
-
持久层改进：优化持久层查询元数据缓冲机制和结构，去除不必要的缓冲和冗余信息，节约内存，提升性能
-
持久层改进：映射记录为Map类型时，默认关闭将查询列名称转换为大写值作为map key功能，如果需要开启(不建议开启)，则进行相应设置即可：db.columnLableUpperCase=true
-
文件采集插件改进：为文本文件采集增加内存缓冲区机制，大幅提升文本采集性能（近20倍性能提升）
-
并行数据采集改进：增加判断记录集是否为空逻辑，解决可能存在输入内容为空异常
bboss使用案例
https://esdoc.bbossgroups.com/#/bboss-datasyn-demo
数据采集ETL工具使用集成指南
https://esdoc.bbossgroups.com/#/db-es-tool
数据采集&流批一体化处理使用指南
https://esdoc.bbossgroups.com/#/etl-metrics
bboss-datatran插件清单
https://esdoc.bbossgroups.com/#/datatran-plugins
基于源码构建bboss
https://esdoc.bbossgroups.com/#/bboss-build