Fluent Bit v4.0.4 发布


Fluent Bit v4.0.4 现已发布。本版本引入了强大的 OpenTelemetry 接口,提升编码解码能力;增强 Lua 脚本支持 OTLP 元数据访问;支持非 UTF-8 日志的字符编码转换;新增 AWS IAM 对 Kafka/MSK 的支持,同时带来性能提升、NFS-tail 修复及其他多项改进。

新的 OpenTelemetry 接口

Fluent Bit 持续强化作为现代 OpenTelemetry 数据管道的地位。v4.0.4 中新增内部 OpenTelemetry 接口,专注于编码和解码处理,使 OTLP 日志处理更快、更安全、更易测试。

主要改进:

  • JSON 与 Protobuf OTLP 统一处理

  • 输入、处理、输出阶段职责更清晰

  • 更好的单元测试与编码错误报告

  • out_opentelemetry 和 in_opentelemetry 新增自定义 logs_body_key 支持,方便按需构建 OTLP 日志体

此基础为跟踪、指标、日志的强力接入打下坚实基础,使 Fluent Bit 成为 OTLP 原生环境中可靠的转发器。

Lua 过滤器新能力:OTLP 元数据及分组访问

v4.0.4 中,Lua 过滤器支持 OpenTelemetry,能进行更灵活的记录级和分组级处理。适合根据资源或范围属性动态修改 OTLP 日志。

新函数签名:

function cb(tag, timestamp, group, metadata, record)

你可以做:

  • 注入 resource.attributes(如 service.name)到日志记录

  • 修改 OTLP 严重级别或标签

  • 每次调用返回多条记录和元数据

  • 简单脚本和复杂脚本兼容

示例:调整 OTLP 严重级别并添加服务名

function cb(tag, ts, group, metadata, record)
  if group['resource']['attributes']['service.name'then
    record['service_name'] = group['resource']['attributes']['service.name']
end

if metadata['otlp']['severity_number'] == 9then
    metadata['otlp']['severity_number'] = 13
    metadata['otlp']['severity_text'] = 'WARN'
end

return1, ts, metadata, record
end

兼容 OpenTelemetry Collector 日志和所有 OTLP 日志生产者。

亚洲市场编码支持:原生转码

亚洲很多组织日志仍用 GBK、Big5、Shift_JIS 等编码,发送到 UTF-8 后端时会出现乱码。

Fluent Bit 现在在 in_tail 中集成了原生字符编码引擎。通过 generic.encoding 属性,可在读取时直接转码为 UTF-8。

示例:GBK 转 UTF-8

pipeline:
  inputs:
    -name:tail
      path:/var/log/my_legacy_app.log
      parser:json
      generic.encoding:GBK

outputs:
    -name:stdout

确保 Elasticsearch、OpenSearch、S3 等后端收到干净的 UTF-8 日志。非常适合 Fluentd → Fluent Bit 平滑迁移。

Kafka + AWS MSK IAM + 性能提升

Fluent Bit 新增对 Amazon MSK 的 AWS IAM 认证支持(输入和输出插件均支持)。

亮点:

  • 使用 OAuthBearer 的 AWS SigV4 签名

  • 支持 EC2 IAM 角色、STS 令牌和无服务器 MSK

  • 基于 librdkafka 实现无状态令牌刷新

无需在配置中存储凭证,只需 IAM 即可。

额外功能:Kafka 输入支持 enable_auto_commit

Kafka 消费者支持:

enable_auto_commit: true
  • false(默认)= 安全优先,处理完毕后提交

  • true = 性能优先,批量提交,提高吞吐

适合能容忍重复消费、追求最大吞吐的场景。

in_tail 文件轮转改进(NFS 友好)

NFS 或远程挂载的日志文件轮转和覆盖常带来问题。

v4.0.4 中,in_tail 改用 fstat() 判断轮转,更适用于:

  • 网络文件系统(NFS)

  • 集中日志目录

  • 容器卷挂载环境

防止文件移动或轮转时日志重复、丢失或漏采。

其他亮点

插件:

  • out_opentelemetry:重试、元数据合并和分组修复

  • out_loki:避免多工作线程使用 Remove_Keys 时的竞态

  • filter_modify / filter_lua:内存修复和清理

  • in_kafka / out_kafka:改进 AWS MSK 集成和令牌验证

核心与构建系统:

  • librdkafka 升级到 v2.10.1

  • 新增编码、过滤器、上游行为测试

  • 优化上游连接复用逻辑

  • 安装器支持 Rocky Linux 和 AlmaLinux

  • 全面代码清理和内存泄漏修复


相關推薦

2023-09-20

日前,Fluent Operator 发布了 v2.5.0。 Fluent Operator v2.5.0 新增 11 个 features, 其中 Fluent Bit 新增支持 7 个插件, Fluentd 新增支持 1 个插件。此外,对 Fluent Operator 也进行了增强,调整了默认参数,以便适应更多场景,并对 helm chart 进

2022-05-31

日向 Chromium 提交了一个 commit,请求将微软出品的现代化"Fluent"滚动条合并到 Chromium。该 commit 目前已实现基本功能,并通过了单元测试。 根据微软的介绍,Fluent 滚动条的灵感来自其系统设计语言——Fluent。这意味着浏览器右

2023-03-04

概念证明。概念证明结合了 Calyptia 使用 NGINX 日志数据的 Fluent Bit 工具,以及 WorldTechIT 提供的仪表板内容,为社区提供了一种探索模式、提供反馈和建议未来开发仪表板类型的方法。 借助新架构,社区可以基于数据管道中的通

2023-06-28

ld"); } 增强的流畅风格和新的小部件 Slint 1.1 调整了 fluent 小部件样式,以符合 Microsoft 的现代 Fluent2 设计原则。集合中添加了两个新的小部件, Switch 和 ProgressIndicator 。 新的小部件库现在展示了新调整的

2023-11-13

了默认样式,以提供更真实的 Windows 和 macOS 界面。其中 Fluent 设计语言用于现代 Windows 应用程序,而 Cupertino 则体现了 macOS 应用程序的外观和风格。这两种风格都采用纯 Slint 代码实现。 至于 Linux,Slint 继续使用 Qt,以确保一致

2025-04-23

微软近日发布了20亿参数的1-bit模型——BitNet b1.58 LLM家族,称此新型模型比主流Transformer LLM更不占内存且更低能耗,适合在CPU或较小型硬件平台上执行。 Hugging Face 地址:https://huggingface.co/microsoft/bitnet-b1.58-2B-4T 微软研究院与

2022-08-31

Git for Windows 2.37.3 现已发布,主要更新内容如下: New Features 随附 Git v2.37.3 随附 tig v2.5.7 Bug 修复 Git for Windows现在可以正确处理非 Word 文档的.doc文件。 Filename SHA-256 Git-2.37.3-64-bit.exe b0442f1

2023-08-23

Git for Windows v2.42.0 现已发布,具体更新内容包括: New Features 附带 Git v2.42.0。 附带 cURL v8.2.1。 附带 Git LFS v3.4.0。 附带 OpenSSL v3.1.2。 附带 OpenSSH v9.4.P1。 附带 Git Credential Manager v2.3.2。 Bug 修复

2024-06-05

Git for Windows v2.45.2 现已发布,Git for Windows v2.45 是最后一个支持 Windows 7 和 Windows 8 的版本。值得注意的是,Git for Windows 的 32 位版本已被弃用;其最后一个正式版本计划于 2025 年发布。 New Features 随附 Git v2.45.2 随附 Ti

2023-02-16

Git for Windows 2.39.2 现已发布,主要更新内容如下: New Features 随附 Git v2.39.2。 Bug 修复 解决了 CVE-2023-22743,这是一个被评级为“高”风险的漏洞,使 Git for Windows 安装程序容易受到 DLL side-loading 攻击。 解

2022-07-14

Git for Windows 2.37.1 现已发布,主要更新内容如下: New Features 随附 Git v2.37.1。 随附 OpenSSL v1.1.1q。 随附 Git Credential Manager Core v2.0.785。 随附 tig v2.5.5。 Bug 修复 在 Windows Terminal 中运行时,在 Git for Windows

2022-08-05

OBS Studio 28 首个 Beta 已发布,公告称这是重大更新版本,新增了许多重要功能和其他升级。其中包括: 支持 HDR 编码和 10-bit 色彩(仅限 Windows,macOS/Linux 暂不支持) 目前只能使用 AV1 和 HEVC 编码器对 HDR 和 10-bit 色彩进

2023-11-22

Git for Windows v2.43.0 现已发布,具体更新内容包括: New Features 附带 Git v2.43.0。 附带 MSYS2 runtime v3.4.9。 附带 GNU TLS v3.8.1。 当安装到启用了 Mandatory Address Space Layout Randomization (ASLR) 的 Windows 设置时(该功能与支持

2022-08-13

Git for Windows 2.37.2(2) 现已发布,主要更新内容如下: (Upcoming) breaking changes 将包含的 Bash 更新到了 5.1 版本(之前是 4.4),用户需检查自己的 shell 脚本是否有潜在的兼容性问题。 此外,Git for Windows 放弃了对 Windows Vista 的支持