HStreamDB 新增客户端和集群部署工具、HStream Cloud 开放体验申请


新增客户端和集群部署工具、HStream Cloud 开放体验申请

本月我们实现了 HServer 支持 Rqlite 作为 MetaStore,并基于新的自研 Haskell gRPC 框架对 HServer 进行了重构,同时发布了新的 Rust Client 以及集群部署工具。此外,HStream Cloud 目前已支持提交注册申请早期访问。

HServer 支持 Rqlite 作为 MetaStore

HStreamDB 依赖 MetaStore 组件来保存集群元数据,目前使用 Zookeeper 作为默认的 MetaStore 实现。 近期我们基于抽象的 MetaStore 接口对 HStreamDB 的架构进行了调整,使它能够支持多种 MetaStore 的实现,并新增了基于 Rqlite 的实现。 考虑到 Rqlite 相比 Zookeeper 更加轻量、易于部署管理且支持 SQL 接口和事务等,后续 HStreamDB 将使用 Rqlite 作为默认的 MetaStore 组件。

目前 HServer 和 HStream IO 已经完成了对 Rqlite 的适配(HStore 尚未完成),可使用 HStreamDB 的 latest 镜像https://hub.docker.com/r/hstreamdb/hstream/tags ,通过指定 HServer 的启动选项 --metastore-uri rq://172.16.10.1来使用。

HServer gRPC 改进

如上期 Newsletter 所述,出于稳定性和性能等多方面考虑,我们正在使用自研的 Haskell gRPC 库替换目前 HServer 使用的 gRPC 库。本月主要新增了对 gRPC 双向流的支持,并已经完成了整体的初步替换。后续将继续进行更多测试和问题修复,基于新的 gRPC 库的 HServer 将包含在 v0.10 并计划于下月正式发布。

新的集群部署工具

本月我们发布了一个新的 HStreamDB 集群部署工具https://github.com/hstreamdb/deployment-tool ,相比之前的部署脚本它提供了更简化的配置,并行的多节点部署支持并改进了易用性。它基于 Golang 编写,可直接下载https://github.com/hstreamdb/deployment-tool/releases 使用,基本用法如下:

  1. 通过 hdt init 生成部署模板

  2. 根据实际环境修改部署配置

    global:
    user: "root"
    
    monitor:
    node_exporter_port: 9100
    cadvisor_port: 7000
    grafana_disable_login: true
    
    hserver:
    - host: 172.24.47.173
    - host: 172.24.47.174
    - host: 172.24.47.175
    
    hstore:
    - host: 172.24.47.173
      enable_admin: true
    - host: 172.24.47.174
    - host: 172.24.47.175
    
    meta_store:
    - host: 172.24.47.173
    - host: 172.24.47.174
    - host: 172.24.47.175
    
    prometheus:
    - host: 172.24.47.172
    
    grafana:
    - host: 172.24.47.172
  3. 运行 hdt start 执行部署

    具体用法可参考 https://github.com/hstreamdb/deployment-tool/blob/main/README.md

新增 Rust Client

本月我们新发布了 HStreamDB 的 Rust 语言客户端库 https://github.com/hstreamdb/hstreamdb-rust ,它主要基于 Rust 的异步运行时 Tokio 和 gRPC 库 Tonic 实现,目前支持 HStreamDB 0.9 及以上版本,包含了 stream 和 subscription 创建管理以及数据写入和消费等基本功能。下载和使用可参考:https://crates.io/crates/hstreamdb

后续我们计划基于 Rust Client 的 FFI 为更多尚未支持的语言开发对应的客户端,一方面可以降低多语言 Client 的维护成本,另一方面也能获得更好的性能。目前我们基于 https://github.com/rusterlium/rustler 开发了另一个实验性的 Erlang Client https://github.com/hstreamdb/hstreamdb_erl-rs

HStream Cloud 体验申请开放

本月我们对 HStreamDB 官网 进行了升级,目前您可以通过 https://hstream.io/cloud#register 提交注册申请,届时我们将第一时间邀请您进行免费试用。

版权声明: 本文为 EMQ 原创,转载请注明出处。

原文链接:https://hstream.io/zh/blog/hstreamdb-newsletter-202209

 

 


相關推薦

2023-04-08

发布了 v4.4.15 以及 v4.4.16 版本,提供了 Apache IoTDB 支持、HStreamDB 最新版本的适配、MongoDB 6.0 支持等多个更新。除此之外,还修复了多个已知错误。 云服务方面,EMQX Cloud Serverless 正式版即将于四月初正式上线。该版本通过多租户

2024-08-10

了基于 Arrow Flight 的 HTTP Data API 高吞吐数据读写接口,使客户端以并发方式与多个 BE 进行读取,以提供更高的数据读取能力。无论是使用 Flink Connector、Spark Connector,还是通过 Python SDK( 数据科学、机器学习 )都可以快速访问。

2024-04-23

用,提升界面清爽度;统一PC端与手机端注册/登录交互;新增无权限提示页面,明晰权限管理;企业管理后台快捷入口移至签署业务端导航栏; 2. 印章管理简便化:实名认证时可选系统自动生成印章,简化制章;新增临时使用

2022-11-22

发送失败的问题(X-Pack增强包内); ■ 修复通过RDP客户端连接Windows资产时,窗口标题显示中文乱码的问题(X-Pack增强包内)。

2022-11-22

正式发布数据编排平台2.9版本 / Alluxio 2.9 版本的主要新增功能包括: 新增跨环境集群同步功能、增强Alluxio在Kubernetes上的可管理性、提高S3 API 安全性和用户体验 2022年11月17日,全球首创的开源数据编排软件开发商Alluxio宣

2022-09-08

本中为社区带来了更多的开箱即用的应用交付能力,包括新增系统可观测;新增 Cloud Shell 终端,将 Vela CLI 搬到了浏览器;增强的金丝雀发布;优化多环境应用交付工作流等。进一步提升和打磨了 KubeVela 作为应用交付平台的高扩

2023-01-06

连接,并将所有连接及会话转移到指定节点,在此过程中客户端通过重连机制,经历短暂的断开后会迅速连接到新节点,绝大多数 MQTT 客户端库都实现了这一机制。 节点重平衡可以看做是不完全的节点疏散,它允许将部分连接

2022-09-30

序列化框架 Jackson 统一使用 jackson 高效可靠 Redis客户端 Redisson 支持单机、集群配置 校验框架 Validation 增强接口安全性、严谨性 支持国际化 Excel框架 Alibaba EasyExcel 性能优异 扩展性强 文档框架 Spr

2023-02-11

本说明 NebulaGraph Dashboard 企业版 NebulaGraph Dashboard 新增 优化 Bugfix 社区版 NebulaGraph Dashboard NebulaGraph Explorer NebulaGraph Studio 内核 v3.4.0 伴随着图数据库 NebulaGraph v3.4 的发布,可视化产品 NebulaGraph Dashboard、NebulaG

2023-11-16

积 update 优化 删除 satoken yml 时间配置 此功能已迁移至客户端管理 update 优化 redis 集群模式注释说明 update 优化 客户端禁用限制 update 优化 登录日志, 在线用户展示信息(增加 客户端, 设备类型)(感谢 MichelleChung) updat

2023-08-18

,申请 eip 将允许用户通过公网访问 StoneData 的控制台 集群名称:购买成功后部署的集群名称 集群密码:访问集群的管理员账号 kepler 的密码,请牢记,后续登录控制台或用 JDBC 连接 StoneData 需要使用 如下图所示: &n

2023-09-28

实现高效运维。主要新增指标如下: HDFS 整个集群的客户端连接数。 NameNode 丢失的块数。 DataNode RPC 被调用次数。 DataNode RPC  队列积压长度。 DataNode RPC 平均处理时间。 ResouceManager RPC 队列平均处理时间。

2024-07-10

ent vite 版本 最低nodejs版本提升到18.18.0 update 优化 更改客户端状态接口 使用clientId传参 update 优化 ws开关改为常开(vite5修复了崩溃bug) update 优化 移除cjs update 优化 对Volar支持 update 优化 富文本组件,修复两个组件上

2023-11-28

分布式限流、分布式队列 Redis 简单 get set 支持 Redis客户端 采用 Redisson Redis官方推荐 基于Netty的客户端工具 支持Redis 90%以上的命令 底层优化规避很多不正确的用法 例如: keys被转换为scan 支持单机、哨兵、单主集群、多主