重磅发布|AutoMQ 1.0.0 GA 版本官宣:已验证生产环境可用性


AutoMQ 是基于云构建的无服务、极速弹性、极具成本效益的下一代 Kafka。100%兼容Apache Kafka,无分区数据复制。在无副作用的前提下解决了 Kafka 弹性、运维上的诸多痛点并且带来了数量级的成本降低。   AutoMQ 1.0.0 GA 版本现已在 Github 仓库 (https://github.com/AutoMQ/automq-for-kafka) 正式发布,欢迎大家关注与下载使用。   我们自信地认为 1.0.0 可以作为 GA 版本,用于生产环境主要是基于以下事实:
  • 通过我们自研 Long Running 自动化测试框架长时间稳定运行,对 GA 版本兼容性、稳定性、性能有全面的长时间可靠验证。
  • 通过自研 Long Running Chaos 自动化测试长时间稳定运行,对各故障注入场景注入网络问题、磁盘hang等都可以正常及时恢复。
  • 长时间稳定运行E2E测试,覆盖 Apache Kafka 所有测试用例(Kraft相关部分)合计387个测试用例。
  • 支持统一完整的指标透出,可用于全面监控 AutoMQ,满足投产标准。
  • 内核大量优化与改进,保证 AutoMQ 在各种功能、性能上满足我们的GA标准。性能白皮书可以从官网(https://www.automq.com)下载。
版本更新细节包括:
  • 在 AutoMQ 多个早期用户真实场景经过打磨与验证。
  • ci: Bump version to 1.0.0-rc8 by @mooc9988 in #785
  • build(s3stream): switch back to dev mode by @SCNieh in #786
  • fix(e2e): wait for more time for broker hard bounce by @mooc9988 in #787
  • feat(issues791): change s3.stream.object.compaction.max.size.bytes default 1GB by @superhx in #792
  • fix(auth): throw an exception when failed to create a credential from env by @Chillax-0v0 in #793
  • fix(e2e): fix transaction timeout; merge streams tests by @mooc9988 in #795
  • feat(core): verify stream epoch for stream object commit by @SCNieh in #796
  • fix(core): prevent generate stream object record for noop object id by @SCNieh in #797
  • fix(issues798): checkpoint NPE by @superhx in #800
  • fix(e2e): add consumer api timeout to 90s in hard bounce tests by @mooc9988 in #803
  • feat(issues801): stream trim only update stream metadata by @superhx in #805
  • feat(core): add metrics to monitor auto balancer metrics delay by @SCNieh in #807
  • fix(issues806): stream object leak by @superhx in #808
  • fix: range end offset isn't revertable by @superhx in #809
  • chore: rename s3ObjectRetention* to s3ObjectDeleteRetention for a more precise description by @daniel-y in #810
  • fix: set destroyed object size by @superhx in #811
  • chore: suppress out of order error by @superhx in #812
  • fix(metrics): present metrics from active controller only by @SCNieh in #815
  • fix(core): prevent anomaly detect exit on inactive controller by @SCNieh in #816
  • fix(issues817): txn index fetch out of bound by @superhx in #818
  • feat(shell): add metadata summary to metadata shell by @SCNieh in #813
  • fix(ReplicaManager): fix memory leak caused by uncaught exception by @Chillax-0v0 in #821
  • fix(core): remove topic partition metrics on partition offline by @SCNieh in #820
  • feat(core): add metrics to monitor s3 objects by @SCNieh in #823
  • fix(core): record s3 object metrics on active controller only by @SCNieh in #824
  • feat: add object ttl reach log by @superhx in #825
  • fix(issues826): fix consume records leak in closing channel by @superhx in #827
  • fix(pr-827): fix release PooledMemoryRecords twice by @Chillax-0v0 in #828
  • chore: support release tgz file in workflow by @KaimingWan in #832
  • fix(core): catch exceptions on replaying records by @SCNieh in #836
  • feat(core): refine grafana dashboards by @SCNieh in #837
  • fix(core): fix auto balancer metrics delay time calculation by @SCNieh in #838
  • fix(ReplicaManager): release permits after sending responses by @Chillax-0v0 in #831
  • fix: log permanet fail by @superhx in #839
  • feat(core): redirect JUL log to sl4j and remove unused logging exporter by @SCNieh in #843
  • perf(DelayedFetch): only try to fast read on complete a delayed fetch by @Chillax-0v0 in #844
  • perf(ReplicaManager): return fast if slow fetch timeout by @Chillax-0v0 in #845
  • fix(core): fix node id regex in broker dashboard by @SCNieh in #841
  • feat: record pooled record memory usage by @superhx in #846
  • ci: skip nightly schedule on forks by @tisonkun in #842
  • fix(metrics): add label 'version' to kafka.request.count by @SCNieh in #847
  • feat(telemetry): add host name to OTel resource by @SCNieh in #849
  • feat(metrics): metrics on fetch limiters and executors by @Chillax-0v0 in #848
  • feat(metrics): add buffer and thread metrics by @ShadowySpirits in #851
  • feat(telemetry): add direct memory panels by @SCNieh in #853
  • fix(telemetry): fix read ahead throughput panel unit by @SCNieh in #854
  • feat(metrics): rename DirectByteBufAlloc to ByteBufAlloc by @ShadowySpirits in #855
  • fix(telemetry): fix memory allocation metrics name by @SCNieh in #856
  • feat(metrics): enable buffer pools metrics by @ShadowySpirits in #857
  • fix: remove special char from issue template file name by @superhx in #858
  • fix(telemetry): fix jvm metrics by @SCNieh in #859
  • fix(telemetry): refine grafana dashboard by @SCNieh in #860
  • feat: release automq 1.0.0 by @superhx in #861
  • ci: Bump version to 1.0.0 by @superhx in #862
  • ci: fix regex on release by @Chillax-0v0 in #863
END

关于我们

AutoMQ 是来自 Apache RocketMQ 和 Linux LVS 项目的核心团队,曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念,重新设计并实现了 Apache Kafka 和 Apache RocketMQ,带来高达 10 倍的成本优势和百倍的弹性效率提升。 🌟 GitHub 地址: https://github.com/AutoMQ 💻 官网: https://www.automq.com 👀 B 站: AutoMQ 官方账号 🔍 视频号:AutoMQ

相關推薦

2024-07-25

AutoMQ 介绍 Apache Kafka 自诞生之日起,就以其卓越的设计和强大的功能,很快成为了流系统领域的事实标准。它不仅定义了现代流系统的架构,更以其独特的分布式日志抽象,为实时数据流的处理和分析提供了前所未有的能力。

2024-07-11

AutoMQ 介绍 Apache Kafka 自诞生之日起,就以其卓越的设计和强大的功能,很快成为了流系统领域的事实标准。它不仅定义了现代流系统的架构,更以其独特的分布式日志抽象,为实时数据流的处理和分析提供了前所未有的能力。

2024-07-13

对象存储摘要 ,作者@superhx,PR # 1396 fix(action): 修复发布操作 ( #1398 ) ,作者@superhx,PR # 1399 feat(core): 优化控制器事件循环中的块操作日志 ,作者@ShadowySpirits,PR # 1403 fix(auto_balancer):删除不必要的地图副本 ,作

2024-07-05

StarRocks 3.3 的发布标志着 Lakehouse 架构在数据分析领域迈向了一个新的高度。作为下一代 Lakehouse 架构的代表,StarRocks 3.3 在稳定性、计算性能、缓存设计、物化视图、存储优化和 Lakehouse 生态系统等方面进行了全方位的优化和创

2024-04-03

AutoMQ 在 2024.02 正式发布了基于 Apache Kafka 3.4.0 的云原生重构版本 1.0.0,AutoMQ 1.0.0 版本相比原版提供了 Serverless、自动负载均衡、秒级分区迁移和 All in 对象存储能力,让 Kafka 用户能充分利用云的弹性能力和廉价存储,实现十

2022-11-03

策略,从而避免优化器的各种不足,以确保批作业的生产可用性。 自适应 Hash Join 对于批作业而言,数据倾斜是非常常见的,而此时使用 HashJoin 可能运行失败,这是非常糟糕的体验。为了解决该问题,我们引入了自适应的 HashJ

2023-10-27

当前版本为“最新版”,生产环境推荐使用“稳定版”,参考这里获取版本信息 获取更多信息,请阅读FISCO BCOS 3.x文档 新增 新增rPBFT共识算法 支持交易同步、区块同步的树状广播 交易池按时间顺序打包交易 新增Paillier

2024-03-21

  AutoMQ 1.0.2 版本现已在   Github 仓库正式发布,欢迎大家关注与下载使用。 重要更新 自适应内存相关配置:这一新功能简化了您的设置过程,使得AutoMQ Kafka能够在任何内存大小的机器上运行,而无需手动调

2024-07-17

V23预览版的发布,玲珑作为其核心特性之一,初步具备了可用性。玲珑本质上是一个独立包管理工具集,凭借其隔离技术可以将应用与系统进行完全解耦,从而彻底解决系统与应用、应用与应用之间因升级引起的兼容性问题,同

2023-11-02

Gateway API v1.0 版本现已发布。公告指出,此版本是该项目的一个重要里程碑。几个关键的 API 已经升级为 GA(generally available,一般可用),同时其他重要功能已添加到实验(Experimental)通道。 新增内容 升级到 v1 此版本将Gateway

2023-09-14

系列商业化产品作为 TDMQ 产品家族的新成员在本次大会上重磅发布。 TDMQ RocketMQ 版是一款分布式高可用的消息队列服务,兼容 Apache RocketMQ 的各个组件与概念,支持开源客户端零改造接入,同时具备计算存储分离,灵活扩缩容

2024-04-01

  AutoMQ 1.0.3-rc0 版本现已在   Github 仓库正式发布,欢迎大家关注与下载使用。 重要更新 块缓存性能优化:此更新包括对正在处理的数据大小和线程池大小的自适应调整,现在会根据配置的缓存大小和CPU核心

2024-10-31

率和准确性。探索 UOS AI 智能全局搜索。| 全局智能搜索重磅升级。 3)UOS AI 随行 & UOS AI 写作:2024年10月,从UOS 1.0重磅升级至 UOS AI 1.5,UOS AI随行及UOS AI 写作功能上线,助你告别工作及学习中的中的繁琐,轻松应对各种挑战

2023-07-06

经过本迭代长达数月的攻坚,MatrixOne 在性能、扩展性及可用性上均得到了大幅提升,已基本达到了企业级数据库的部署和应用的要求。同时,本迭代也初步补齐了 MatrixOne 核心架构上的最后一块拼图 Proxy,该模块将应用提交的