开源流存储项目 Fluss 正式加入 Apache 孵化器


由阿里巴巴开源并捐赠的新一代流存储 Fluss 项目,顺利通过了投票,正式成为全球最大的开源基金会 Apache 软件基金会(ASF)的孵化项目!这是 Fluss 社区发展的重要里程碑,标志着项目迈入更加开放、中立和规范的新阶段。未来,Fluss 将依托 Apache 生态,加速构建全球化的开发者社区,持续推动新一代实时数据基础设施的创新与落地。

Fluss 社区已于近日完成了所有捐赠的流程,并将 Fluss 项目正式移交到了 Apache 软件基金会名下。在 7 月 3 日于新加坡举办的 Flink Forward Asia 2025 的主题演讲中,项目发起人 伍翀(云邪)正式宣布了这一激动的消息,并分享了新仓库地址(https://github.com/apache/fluss/)和官方网站域名(https://fluss.apache.org/)。

什么是 Fluss?

Fluss 是一款面向实时分析场景设计的下一代流存储引擎,致力于解决传统流存储技术在流计算、Lakehouse 等分析场景中面临的高成本与低效率问题。它具备以下核心特性:

  • 列式流存储:支持毫秒级延迟的实时流读流写能力,以 Apache Arrow 列存格式存储实时流数据,通过列裁剪、分区裁剪等查询下推技术,可提升 10 倍读取性能并降低网络成本。
  • 实时更新与点查:创新性地将实时更新能力引入流存储中。通过高性能流式更新、部分列更新、binlog、维表点查以及 DeltaJoin 等特性,高效协同 Flink 构建低成本流式实时数仓。
  • 湖流一体:湖与流一体化存储,实现数据共享。Lakehouse 为流存储提供低成本的历史数据支持,而流存储则为 Lakehouse 注入实时数据能力,带来实时数据分析的体验,构建流批一体秒级湖仓。

Fluss 的发展历史与现状

2023 年 7 月,阿里云智能 Flink 团队正式启动了 Fluss 项目。项目名称源自 "FlinkUnifiedStreamingStorage"的缩写,寓意为 Apache Flink 打造统一的流式存储底座。巧合的是,"Fluss"在德语中意为" 河流 ",正如源源不断的数据流。

经过一年多的内部孵化与打磨,2024 年 11 月 29 日,在上海举办的 Flink Forward Asia 2024 大会主题演讲中,阿里巴巴正式宣布开源 Fluss 项目。自此,Fluss 迎来了多元化的国际化发展,吸引了来自全球的 60 多位开发者贡献代码,社区活跃度持续提升,平均每三个月发布一个重大版本。

与此同时,Fluss 在阿里巴巴集团内部也实现了大规模落地应用。目前,已支持超过 3 PB 数据规模,集群吞吐峰值达 40 GB/s,最大单表点查 QPS 达到 50 万次 / 秒,单表数据量最高可达 5000 亿条。在日志流量分析、搜索推荐、实时数仓等关键业务场景,Fluss 展现出卓越的性能与能力。

为什么加入 ASF 孵化器?

Apache 软件基金会是全球开源大数据技术的摇篮,孕育了众多改变世界的项目:Hadoop, Spark, Iceberg, Kafka, Flink 等。Fluss 期待加入 ASF,成为改变未来实时基础设施的一员。与此同时,Fluss 与这些 Apache 项目之间有着深度集成的需求,加入 ASF 能够加速与生态集成的进程。更重要的是,ASF 所倡导的 "开放、协作、中立" 理念,与 Fluss 的发展愿景高度契合。通过加入 Apache 孵化器,Fluss 不仅延续这一开源精神,也将融入更广阔的开发者社区,获得更完善的治理机制与可持续发展的坚实保障。


相關推薦

2023-06-30

(简称 "ASF")于美国时间 2023 年 6 月 28 日宣布 Kvrocks 从孵化器毕业成为顶级项目。这意味着 Kvrocks 社区在 Apache Way 的实践、成员多样性以及开放交流方面已满足 Apache 基金会的要求。当然,毕业只是一个新的起点,社区长期的健

2023-02-03

Apache 软件基金会(ASF)孵化器于2022年12月03日,通过了 Apache Linkis 计算中间件项目的孵化毕业投票。2023年01月18日,Apache 软件基金会官方宣布 Apache Linkis 顺利毕业,成为 Apache 顶级项目(TLP)。 以上截图来自 Apache 官网

2022-09-10

相关文章。         为什么加入 ASF 孵化器 StreamPark 加入 ASF 孵化器主要是基于以下几个原因 本身就是 ASF 大数据开源项目的生态项目,期待成为 ASF 正式一员。 在成熟开源基金会的指导下, 让 Stream

2022-05-24

,正式成为 Apache 软件基金会 (ASF) 的孵化项目。 进入孵化器后,Apache DevLake 将遵循 The Apache Way[1],在导师们的引导下,坚持以人为本、社区高于代码的理念,持续建设包容、多元、崇尚知识的社区。 Apache DevLake 主要特性 作

2023-02-07

将 bRPC 捐献给 Apache 软件基金会并命名为 Apache bRPC,进入孵化器 2021年,bRPC社区发布第一个正式版本 1.0.0 2022年,正式完成商标捐赠,推动 Apache bRPC 完成毕业,成为 Apache 软件基金会顶级项目(TLP) 截至2023年1月,Apache b

2023-11-16

Seata 正式通过 Apache 基金会的投票决议,正式成为 Apache 孵化器项目。 Seata 是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务。 2019 年 1 月,阿里巴巴中间件团队发起了开源

2023-03-28

Apache 软件基金会(ASF)孵化器于2023年2月15日,通过了 Apache EventMesh 项目的孵化毕业投票。2023年03月22日,Apache 软件基金会董事会通过了Apache EventMesh 毕业,成为 Apache 顶级项目(TLP)。  一、关于 Apache EventMesh Apache EventMesh

2023-02-07

将 bRPC 捐献给 Apache 软件基金会并命名为 Apache bRPC,进入孵化器 2021年,bRPC社区发布第一个正式版本 1.0.0 2022年,正式完成商标捐赠,推动 Apache bRPC 完成毕业,成为 Apache 软件基金会顶级项目(TLP) 截至 2023 年 1 月,Apache bR

2023-05-05

则,高度关注项目质量,努力建设发展社区。加入 Apache 孵化器以来,认真学习和遵循「The Apache Way」,我们将秉承更加兼容并包的心态,迎接更多的机遇与挑战。诚挚欢迎更多的贡献者参与到社区建设中来,和我们一道携手共

2024-02-15

现这一愿景还有很多工作要做,但是通过 Strimzi 成为 CNCF 孵化器的一部分,我对我们能够扩大用户群体、贡献者群体以及维护者群体的前景非常乐观。” - Tom Bentley,Strimzi 项目创始人和维护者 “在 Kubernetes 上运行 Apache Kafka 集

2023-04-28

后通过投票于 9 月 正式成为 Apache 开源软件基金会的孵化项目。 被抄袭侵权 前几天,有开发者跟我们反馈,有项目 copy StreamPark 的代码并且没有声明版权,起初我们不相信,以 Apache 项目的知名度和 Apache 开源协议的宽松程度

2023-07-05

力于为云原生软件构建可持续生态系统‎,涉及领域包括存储、计算、编排、调度、CI/CD、DevOps、服务治理、服务网关等。 CNCF 社区将项目分为沙盒项目(Sandbox)、孵化项目(Incubating)、毕业项目(Graduated)。著名的毕业项目有

2022-06-10

ETL 平台 Kettle,经过几年的重构,于 2020 年 9 月进入 ASF 孵化器。 Kettle 是一款知名的开源 ETL 工具,抽取数据高效稳定,在执行 ETL 工具、ETL 数据抽取转换等批任务时,使用频率较高,包括电信、金融、银行在内的各行业都使用

2023-03-10

包括 Hadoop、Spark、Flink 和 Hive,并可以轻松地 与各种数据存储系统(如 HDFS、S3 和 MySQL)集成 。 DolphinScheduler 的 架构基于分布式和高可用设计,保证了平台的可扩展性和可靠性 。它还 支持多种部署模式,包括独立模式、集群