openGemini 正式加入 openEuler DB SIG,携手开展全方面技术创新


2023 年 2 月,openGemini 正式申请加入 openEuler DB SIG,现已完成对 openEuler 的各项兼容性测试,并计划加入 openEuler 23.03 版本。

openGemini 可在物联网、嵌入式、边缘计算、运维监控(AIOps)等领域与 openEuler 社区展开合作,充分利用自身技术竞争优势,增强 openEuler 社区的影响力和竞争力的同时,不断挖掘新的机遇和技术创新点,进一步提升 openGemini 的技术实力和社区品牌知名度。

项目地址

https://github.com/openGemini

https://gitee.com/src-openeuler/openGemini

项目官网

http://opengemini.org

openGemini 简介

openGemini 是由华为云数据库创新实验室自行设计、研发并面向全球开源的一款云原生分布式时序数据库。主要面向物联网和运维监控等场景,提供海量时序数据库处理和分析的开源解决方案,以进一步降低企业运营和运维成本,提升产品质量和生产效率。

openGemini 发展历程

如图所示,openGemini 经历了最初由 InfluxDB 改造的技术探索,到云服务商用、自研内核增强和开源等多个阶段的发展,经受住了华为云内外部 100 余家用户不同业务场景的打磨和检验,现已开放全部核心源码,全面拥抱开源,打造共享、共治、共建的开发社区,构建全球技术生态和影响力。

openGemini 的架构

openGemini 采用 MPP 大规模并行处理分层架构,由 ts-sql、ts-store、ts-meta 组成。

  • ts-sql:统一处理客户端请求

数据按照时间线一致性 Hash 方式打散存储在不同的 ts-store 中,在查询语句执行期间,从 ts-store 获取数据并汇总,并返回客户端

  • ts-meta:统一元数据管理

数据库集群元数据和数据库元数据管理,如节点信息、数据保留时间、数据分区信息、表信息等

  • ts-store:统一数据管理

将原始数据按时序优化的数据格式进行统一组织和存储,查询时,按指定时间范围和时间线 ID 查询数据,并根据过滤条件,返回目标数据

openGemini 的核心竞争力

openGemini 开源后持续版本迭代,现已发布 v1.0.0 版本,在高性能、高安全、企业级特性、可扩展性、功能、应用开发等六个方面已全面具备生产环境可使用的完整能力。

高性能

openGemini 针对物联网、运维监控等领域海量数据管理和分析诉求,对计算引擎和存储引擎做了大量的优化设计,取得了明显效果。

  • 支持亿级指标管理
  • 每秒千万级指标数据并发写入
  • 查询万级指标数据毫秒级响应

在 30 万指标,259 亿条指标测试数据的场景下,采用 TSBS 性能测试工具,相比开源的单机版 InfluxDB v1.7,openGemini 单机版写入性能提升 5 倍,简单查询提升 2-5 倍,复杂查询响应时间缩短 60 倍以上。

高安全

openGemini 支持数据传输加密和用户密码鉴权,支持用户弱密码校验和审计日志。此外,openGemini 集群的各组件之间通信可配置 HTTPS 双向认证(Mutual TLS),确保每一个链接都是可信的。

企业级特性

openGemini 具备丰富的企业级特性,部分关键特性如下:

  • 高效数据压缩

采用列式数据存储,不同数据类型对应不同的数据压缩算法,可支持 PB 级指标数据的长期数据存储。存储成本是传统关系型数据库 1/20,是 NoSQL 的 1/10

  • 支持数据保留策略

数据过期后自动删除

  • 支持写前日志(WAL)

设备掉电后,缓存数据不丢失

  • 流计算

当数据量较大时,传统降采样工作方式对磁盘 I/O 消耗过大,I/O 放大也很严重。可通过流式计算,写入数据的同时实现数据降采样,该方法具有高性能、网络开销小的优点

  • 数据分级存储

结合时序数据特点,数据按热、温、冷多级存储,进一步提升查询性能

  • 内核运行状态可观测

提供了开源监控工具 ts-monitor,可采集 260 余种内核和服务器关键监控指标,更好的观察系统的运行状况,快速排查、定位和解决问题

  • 多级降采样

可针对不同时间范围的历史数据进行不同方式的降采样,保留历史数据的特征,原地删除其余历史数据,节约存储空间 50%,计算资源节约 90%

  • 向量化

充分利用架构的并行处理优势,每次迭代批量返回数据,大数据量下查询性能更好

  • 异常检测和预测

内置基于 AI 的时序异常检测和预测分析框架,具备流批一体、严重程度分级等多项能力,支持每秒万级实时指标数据并发检测,内含 13 种异常检测器,可覆盖常见的离群点、数值变化、阈值、持续上升下降等常见时序异常场景

可扩展性

openGemini 集群由 ts-sql、ts-store、ts-meta 组成,支持单一组件独立横向扩展,可支持 100 + 节点的集群规模。

功能

openGemini 提供丰富的聚合算子(如 COUNT、SUM、MAX 等)、统计分析算子(如 PERCENTILE 分位数、DIFFERENCE 等)、算术分析算子(如 ABS、LN 等)、Full Join、近似统计算子以及字符串算子(如 SUBSTR、STR 等)共 60 + 个。此外,还支持秒、毫秒、纳秒等多种时间精度以及 TAG(分组查询)和嵌套查询。

应用开发(技术生态)

如图所示,在时序大数据处理方面,openGemini 已初步完成对数据接入、数据存储、数据可视化、数据分析、数据迁移等各环节关键能力构建和技术生态对接。

在云原生方面,openGemini 已支持 K8s、KubeEdge 容器化部署,正在积极和 KubeEdge 社区进行联合创新。

在底层操作系统方面,openGemini 支持主流的 Linux 系统和 x86、arm64 等架构。

在应用开发方面,支持 C/C++、Java、JavaScript、Ruby、GO、Python、PHP 等主流的开发语言。

总结

openGemini 具备卓越的读写性能和高效的数据分析能力,支持单机和集群,部署形式多样,可边缘、可云、可物理机部署,支持主流开发语言,二进制运行,无第三方组件依赖,带有 260 + 项系统运行指标监控,运维简单。

独木难成林,百川聚江海。openGemini 与 openEuler 共同携手,双方将在 IoT、AIOps、嵌入式、边缘计算等领域深化技术解决方案集成,开展线上开源协作和线下社区互动等方面合作,努力为全球开发者提供一流的行业解决方案。

了解更多 openGemini 咨询,欢迎关注 openGemini 公众号


相關推薦

2022-09-16

议批准,由 SUSE 创建的 RFO SIG 正式成立。RFO 即 Rancher for openEuler,旨在将 Rancher 产品生态与 openEuler 深度结合,为欧拉开源社区构建容器工程基础设施,打造面向 openEuler 的 Rancher 衍生产品。 Rancher 最初是硅谷创业公司 RancherLabs

2022-11-22

入openKylin开源社区。 山石网科是中国网络安全行业的技术创新领导厂商,自成立以来一直专注于网络安全领域前沿技术的创新。目前,山石网科形成了具备“全息、量化、智能、协同”四大技术特点的涉及边界安全、云安全

2023-11-22

2023年11月,经openKylin社区技术委员会审议通过,Intel SIG正式成立。 Intel SIG由英特尔中国发起成立,负责openKylin社区中桌面操作系统上Intel最新平台支持、适配与优化等技术相关的开发工作。   01 SIG目标 创建并维护ope

2023-03-15

nKylin社区CLA(Contributor License Agreement 贡献者许可协议),正式加入openKylin开源社区。 沐曦致力于为异构计算提供全栈GPU芯片及解决方案,可广泛应用于人工智能、智慧城市、数据中心、云计算、自动驾驶、数字孪生、元宇

2022-11-17

各项目打标签的策略。 欢迎各位感兴趣的社区开发者加入我们,一起打造openKylin平台下稳定易用的桌面环境。 二、RISC-V SIG 本SIG组主要负责RISC-V架构开源软件包的维护,发布openKylin的RISC-V版本,进行软件包构建、系统构建等

2024-03-01

近日,经openKylin社区技术委员会审议通过,HygonArch SIG正式成立。 HygonArch SIG由社区理事单位海光信息技术股份有限公司发起成立,致力于构建C86软件生态体系,多层次满足社区开发者以及用户的业务场景。   01SIG目标 HygonA

2024-03-15

2024年3月,经openKylin社区技术委员会审议通过,RV64G SIG正式成立。 RV64G是RISC-V专门定义的重要子架构(支持RISC-V imafd指令集),为广泛的通用计算领域提供了简单且完备的指令集,RV64G SIG由社区共建单位睿芯发起成立,致力于构

2023-04-07

新版UKUI社区官网开发。 欢迎各位感兴趣的社区开发者加入我们,一起打造openKylin桌面系统稳定易用的桌面环境!   二、RISC-V SIG 本SIG组主要负责RISC-V架构开源软件包的维护,发布openKylin的RISC-V版本,进行软件包构建、系

2022-10-11

openEuler 是数字基础设施的开源操作系统,openEuler 22.09是社区构建的最新创新版本,充分释放多样性算力,深化全场景创新,实现欧拉与鸿蒙的互联互通。作为社区捐赠后的首个创新版本,openEuler 22.09 持续迸发创新活力,版本全

2023-01-10

nKylin社区CLA(Contributor License Agreement 贡献者许可协议),正式加入openKylin开源社区。 在加入openKylin后, 云玑信息正式加入社区Virtualization SIG,并负责维护远程接入协议spice相关的几个模块。后续,云玑信息将持续推进openKylin

2023-02-11

nKylin社区CLA(Contributor License Agreement 贡献者许可协议),正式加入openKylin开源社区。 在加入openKylin社区后,格兰菲正式加入社区GPU SIG,主要负责openKylin在显卡驱动兼容适配格兰菲显卡分支的相关工作,目前已初步完成了格

2022-11-18

小组都是开放的,任何人和组织都可以参与。你可以选择加入已有SIG,也可以选择创建新的SIG。截至目前,openKylin社区已有54个SIG在运行,包括Architecture、Infrastructure、Release、Kernel、Security、Framework等。 如果您对此感兴趣,想要

2022-10-01

入UKUI3.22版本的开发中,也欢迎各位感兴趣的社区开发者加入我们,一起打造openKylin平台下稳定易用的桌面环境。 二、RISC-V SIG 本SIG组主要负责RISC-V架构开源软件包的维护,发布openKylin的RISC-V版本,进行软件包构建、系统构建

2022-11-16

本技术方面,构建起全生命周期管理平台,并推出一系列技术创新点,各项运营和研发工作都开展的很成功,已经具备了一定影响力。未来,希望openKylin社区可以保持初心,积极持续开展各种技术研究和创新,凝聚开源力量,共