“智变加速,产业焕新”,2023腾讯全球数字生态大会已于9月7-8日完美落幕,40+专场活动展示了腾讯最新的前沿技术、核心产品、解决方案。
腾讯云消息队列 RocketMQ 5.x 系列商业化产品作为 TDMQ 产品家族的新成员在本次大会上重磅发布。
TDMQ RocketMQ 版是一款分布式高可用的消息队列服务,兼容 Apache RocketMQ 的各个组件与概念,支持开源客户端零改造接入,同时具备计算存储分离,灵活扩缩容的底层优势。由于其优秀的单机吞吐量,非常适合对于可靠性要求较高的大规模在线业务场景。
RocketMQ 社区最新发布的 5.x 新架构,在功能和弹性上也给我们带来了新的惊喜,尤其是云原生 Serverless 能力的增强,使得 RocketMQ 能够更好地实时适应业务峰值变化。可以说,对于大规模的在线消息业务,我们腾讯云首推的就是 RocketMQ 产品。
作为新一代的商业化产品,对比 RocketMQ 4.x 系列,RocketMQ 5.x 系列有哪些优势呢?
RocketMQ 5.x 系列能力升级
底层技术优势
- 存算分离的云原生架构
RocketMQ 5.x 采用了存算分离的架构,原先 ”存、算 两手都要抓“ 的 Broker 终于可以把计算的职能交给 Proxy。
- 轻量化接入
新的技术架构把原有的客户端负载均衡机制下沉到了Proxy,因此它的客户端更加轻量,这也为社区提供更多语言的 SDK 创造了条件。同时 RocketMQ 5.x 新增了更加灵活的 POP消费模式,方便开发者根据自己的业务需要灵活定制消息的拉取。
- 降本增效
新的技术进步也帮助用户更好地降低资源成本,以存储的弹性为例,RocketMQ 5.x 为用户提供了分层存储的实现,可以帮助用户实现冷热数据的分开存储,进一步降低存储的资源成本,让利给广大用户。
- 标准化生态
RocketMQ 5.x 提供了云上标准化生态的对接,比如提供了更全面的性能监控指标,并且支持了OpenTelemetry开源标准,提供更加丰富的轨迹指标。
功能增强
基于 RocketMQ 5.x 优秀的底层技术架构,腾讯云在功能上做了哪些增强呢?
- 为了给客户提供更全面的问题定位和排查能力,基于开源技术上实现的标准化指标,腾讯云做了进一步包装,提供了比开源更丰富的指标,比如不同 Topic 下的 Group 和消费者 ID 的多层级指标的下钻,并且全部指标对接了腾讯云监控和告警能力。同时提供了一些基础的消费问题排查和堆栈查看能力。
- 在上云配套能力上,腾讯云给客户提供了多个王牌功能,如集群的无感迁移能力,消息的跨地域复制等。同时腾讯云 TDMQ RocketMQ 5.x 系列所有的云API都已接入 Terraform,保证客户在不同的云平台间实现自由切换。
- 在消息的生命周期管理上,腾讯云支持按照不同的 Topic 设置消息保留时间,以满足客户灵活的业务诉求。在之前的版本,如果客户要为了某个业务调整消息的保留时间,需要整个集群维度进行调整,因此带来了资源的浪费,腾讯云的这个能力可以帮助客户更灵活地降本和适配不同的业务的保留时间诉求。
- 在安全和性能优化上,除了弹性 TPS 和常见的跨可用区部署外,腾讯云还支持了集群内消息收发的比例调整,根据业务变化调整收发消息流量的配比。此外,腾讯云这次还优化了分布式限流能力,多种降级策略和优先级限流给客户的集群安全和稳定性保驾护航。
Serverless 助力极致弹性和显著降本
本次发布会上最顶的功能可能就是这个了!Serverless 化的产品形态,给 RocketMQ 5.x 带来了极致的弹性能力。
在计算上,RocketMQ 5.x 系列推出了弹性 TPS 的能力,如图所示,即用户购买了特定 TPS 的规格后,腾讯云允许客户在特定的条件下,可以部分超出规格限制,免于频繁升降配的繁琐操作。
举一个具体的例子,假设您购买了一个 6000 TPS 的集群,但是在大促期间由于业务火爆,消息量暴增,此时用户不需要担心峰值流量被无情限流,更不需要手忙脚乱地去扩容,只需要淡定地打开弹性TPS 的开关,这时候整个集群的规格上限就会变成 10000 TPS。
在存储弹性上,腾讯云最新支持了存储按量付费,每小时按照实际占用的存储大小进行收费。同时,没有存储上限,所以理论上,存储是无限的,也不需要时刻关注升降配存储的问题。用户不需要在购买集群时就考虑存储的大小,在很多场景下,往往客户购买一个专享集群后并不会马上上量,如果期间还是按照容量上限一直收费,对于成本来说也是不小的负担。
好了,介绍了这么多,你可能要问,这么好的产品,一定很贵吧?事实是不仅不贵,我们还针对不同场景和客户细分了规格。
RocketMQ 5.x 系列商业化产品形态
四种产品形态
按照计算规格 TPS 阶梯,RocketMQ 5.x 系列分为四种规格:体验版,基础版,专业版和铂金版,每个子类都提供特定的 TPS 规格。
体验版:体验版是我们为了降低体验门槛设置的一个单独的规格,TPS 上限为 500,但是通过体验版您可以用极低的成本体验几乎全部的 RocketMQ 5.x 的全新能力,适合个人用户或者测试阶段的企业客户。功能和其他可用于生产环境的规格一致,但是费用大大降低。更关键的是,体验版支持集群无缝平滑地升级到高规格集群,让用户可以真正实现 “用的好之后再购买” ,也符合 “先小步快跑测试,再大规模使用“ 的产品落地规律。
基础版:基础版是我们推荐的可以用于生产环境的最小的一类规格,底层的资源也是共享的,TPS 规格支持的跨度相对较小,支持1000 到6000 TPS,但是基础版胜在性价比高,对比客户的自建集群有很大的成本优势,适合中小型企业的中等规模场景。
专业版:专业版除了底层资源共享外,在使用体验上和铂金版类似,支持的TPS 规格也是比较高的,最高可以到15万 TPS。主要适用于业务规模较大,但是对物理资源隔离性没有特殊要求的企业级客户。
铂金版:铂金版是这四种规格中,唯一一个底层资源独占的规格类型,它支持的 TPS 规格跨度最大,最高可以支持百万 TPS。因为底层资源隔离,它的售价也是四个规格中最贵的,适合对于资源有物理隔离需求的大型企业客户和大规模业务场景。
计费项拆解
花钱咱就要花的明明白白,下面我们来细数一下钱都花在什么地方。
RocketMQ 5.x 四种产品形态都支持单独开启和关闭安全的公网连接,公网带宽支持按小时和包年包月计费,开启公网后才收取。
除了公网外,最基础的收费就是计算和存储。存储计费项对于所有的规格收费一致,按小时收费,用多少收多少。
计算的费用由两部分组成:常规计费规格费用和弹性 TPS 费用。常规计算规格费用,就是在选购不同TPS规格时的基础费用,支持按小时和包年包月购买。
目前仅专业版和铂金版的集群支持弹性 TPS 开关,在打开开关后,会按照实际使用的弹性 TPS 的量按小时进行收费。也就是说,即使您开启了弹性开关,但是并没有超出常规规格,没有触发规格外的弹性 TPS,那还是不会收费的。
未来可期
在 RocketMQ 5.x 系列功能不断增强的过程中,开源社区给腾讯云消息队列团队提供了很多新点子,比如通过使用静态 Topic 来固定队列数的能力,Request-Reply 的消息收发形式也有自己的业务场景,轻量化队列的能力在 IoT 的场景下也很有巨大的市场和想象力。
同时 RocketMQ 5.x 的 Connect 和 EventBridge 事件集成能力,也给腾讯云消息队列团队在帮助客户实现云上数据集成和生态打通上提供了技术基础。
除了进一步发展社区已有的能力外,腾讯云消息队列团队也在结合云上客户的实际需求,同时学习其他消息队列产品的优势,反哺社区,为社区扩展更多功能,比如消息的优先级,完善生产者的管理等等。
在私有化的输出上,腾讯云消息队列团队也在探索,比如社区提出的 Broker Container 能力,控制器能力,在私有化输出时,在保证稳定性的同时,让客户更好地享受开源的技术红利。
这次的发布只是一个起点,腾讯云的消息队列团队也在积极参与产品创新和社区共建,更完善、更稳定、性价比更高的产品能力是腾讯云一贯追求的目标,相信在广大客户和生态合作伙伴、开源社区以及腾讯云的全体同事的共同努力下,腾讯云消息队列团队未来可以把消息队列产品打磨得更好。