Fluentd v1.19.0 发布


Fluentd v1.19.0 现已发布,包含许多新功能和修复,重点是降低运维和运行成本,提升整体稳定性。

关于依赖冲突说明:

本次版本对依赖做了部分限制,执行如 bundle update 时可能出现冲突。遇到这种情况,请手动调整依赖或重新生成 Gemfile.lock,例如:

$ rm Gemfile.lock
$ bundle

更多详情请参考 fluentd#5048。

主要新功能和改进:

添加重试超限时转移 chunk 文件功能

本次版本为 buf_file 和 buf_file_single 插件新增了缓冲区转移功能,简化故障恢复。之前版本中,当输出插件因网络问题无法发送数据,且重试次数超限且未配置二级输出时,数据会被丢弃。

现在,重试超限时缓冲文件会被自动转移。问题解决后,可将转移的文件恢复到原缓冲目录,重启 Fluentd 继续发送数据。配合零停机重启功能,甚至可以无中断重启输入插件(如 in_udp)。

转移文件存放路径为:

${root_dir}/buffer/${plugin_id}/

注意:启用二级输出或 retry_forever 时此功能默认关闭。要启用缓冲转移,请移除这些设置。

改进缓冲区损坏检测

缓冲文件可能因系统崩溃或断电导致损坏。之前版本启动时会因损坏文件报错,需手动定位删除。

本版本改进了损坏检测,发现损坏文件后自动移至备份目录,启动错误将被抑制。

增强指标功能

提升了 Fluentd 的可观测性:

  • 输入插件指标默认开启
    之前需显式设置 enable_input_metrics=true。现在默认开启,关闭请设为 false。

  • 新增 in_tail 指标:tracked_file_count(当前跟踪的文件数)

  • 新增输出插件指标:

    • write_secondary_count:写入二级输出的累计记录数

    • drop_oldest_chunk_count:overflow_action 使用 drop_oldest_chunk 时丢弃的 chunk 数

性能提升:改用 json gem 替代 yajl-ruby

之前使用 yajl-ruby 处理 JSON(如写缓冲和 parser_json 解析)以提升性能。

现在 Ruby 标准 json 库性能大幅提升,改用 json gem 作为默认 JSON 处理器。

支持 Zstandard (zstd) 压缩

新增对 Zstandard (zstd) 压缩格式的支持,比 gzip 压缩率高且处理速度更快。

以下插件支持 compress zstd:

  • buffer
  • out_file
  • out_forward

注意:out_forward 使用 zstd 时,目标服务器需支持;Fluent Bit 或早于 v1.19.0 的 Fluentd 不支持此功能。

支持 TLS 1.3

out_http 插件支持 TLS 1.3,增强安全性。默认使用 TLS 1.2,启用方法:

<match tag>
  @type http
  ...
  tls_version TLSv1_3
  ...
</match>

其他实用改进

  • in_forward 插件:
    skip_invalid_event 默认开启,跳过损坏记录。

  • out_stdout 插件:
    新增 use_logger 参数,设置为 false 时强制输出到 STDOUT,忽略 Fluentd 的日志配置,适合 Kubernetes 等容器环境。

  • out_file 插件:
    新增 symlink_path_use_relative,支持 symlink_path 使用相对路径。

  • 系统配置:
    新增 forced_stacktrace_level,用于控制堆栈跟踪的日志级别。


相關推薦

2023-09-20

0 新增 11 个 features, 其中 Fluent Bit 新增支持 7 个插件, Fluentd 新增支持 1 个插件。此外,对 Fluent Operator 也进行了增强,调整了默认参数,以便适应更多场景,并对 helm chart 进行了优化,用户可以更方便的进行安装,并修复了

2025-07-22

rch、OpenSearch、S3 等后端收到干净的 UTF-8 日志。非常适合 Fluentd → Fluent Bit 平滑迁移。 Kafka + AWS MSK IAM + 性能提升 Fluent Bit 新增对 Amazon MSK 的 AWS IAM 认证支持(输入和输出插件均支持)。 亮点: 使用 OAuthBearer 的 AWS SigV4 签

2024-08-07

大家好!禅道20.4.stable发布啦!本次发布新增消息中心。现在您可以在一个集中的入口查看和处理各类重要信息。此外,我们还完善了发布功能,支持发布失败,让您更好地掌握发布动态,提高发布管理的透明度,GitLab类型代码库下

2023-02-25

开源 3D 建模软件 Blender 三年前开始执行每季度发布一次重要更新的策略,也就是每年发布 4 个重要版本。现在官方决定转变为每年只发布 3 个重要版本。 根据团队的介绍,未来 Blender 每年仅发布 3 个重要版本,其中一个将成为

2023-11-27

特别说明 平台公云版及企业私云版已经发布,增加多人团队协作支持,点击这里了解 [PDManer 元数建模 - v4],历时五年,持续升级,工匠精神,做一款简单好用的数据库建模平台。 元数建模平台,使用 React+Electron+Java 技

2023-03-27

特别说明 平台公云版及企业私云版已经发布,增加多人团队协作支持,点击这里了解 [PDManer 元数建模 - v4],历时五年,持续升级,工匠精神,做一款简单好用的数据库建模平台。 元数建模平台,使用 React+Electron+Ja

2025-03-21

本次发布中实际上包含了众多的版本,本文重点介绍一些主要更新优化,后面也包括距上次发布期间更新清单。 主要更新 新的权限配置模式 新版设计了新的权限数据来源,权限可直接读取控制器注解,去掉了对数据库的依赖

2023-06-08

特别说明 平台公云版及企业私云版已经发布,增加多人团队协作支持,点击这里了解 [PDManer 元数建模 - v4],历时五年,持续升级,工匠精神,做一款简单好用的数据库建模平台。 元数建模平台,使用 React+Electron+Java 技

2022-11-28

ner 元数建模软件 (v4 版本)介绍:PDManer [元数建模]-v4.0.0 发布:一款简单好用的数据库建模平台 4.2.2 (含 4.2.1 版本) 版本升级内容清单 1. 修复代码生成是索引信息错误的问题 2. 修复某些场景下重复粘贴的问题 3. 生成 html

2023-07-23

特别说明 平台公云版及企业私云版已经发布,增加多人团队协作支持,点击这里了解 [PDManer元数建模-v4],历时五年,持续升级,工匠精神,做一款简单好用的数据库建模平台。 元数建模平台,使用React+Electron+Java技术体系

2022-11-19

curl 7 的版本号已迭代到 7.86.0 —— 离发布 7.100.0 只差十多个版本,但 curl 作者 Daniel Stenberg 不希望在次版本号中使用三位数,因为他担心这会引发不必要的问题(可参考 Chrome 为发布 100 版本时所做的准备),甚至可能会

2023-01-08

特别说明 平台公云版及企业私云版已经发布,增加多人团队协作支持,点击这里了解 [PDManer 元数建模 - v4],历时五年,持续升级,工匠精神,做一款简单好用的数据库建模平台。 元数建模平台,使用 React+Electron+Java 技

2025-06-18

供多达 21 种数据源的支持。 六月 CloudDM 共迭代发布了 3 个版本: 2.5.0.0 更新亮点 发布一个应用到生产环境时,通常需要进行数据库变更发布和应用发布两个流程。数据库变更发布需要通过工单向 DBA 发起变更申请,

2023-10-15

Python 3.13.0 首个 alpha 已发布,目前处于非常早期的开发阶段。 本次发布的 Python 3.13 a1 是计划发布的七个 alpha 版本中的第一个。 发布 alpha 是为了更方便地测试新功能、修复错误,以及测试发布过程。请注意,这是一个预览版