Apache Druid 24.0.0 发布了


Apache Druid  是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理,也支持实时且灵活的多维数据分析查询。因此 Druid 最常用的场景就是大数据背景下、灵活快速的多维 OLAP 分析。

另外,Druid 还有一个关键的特点:它支持根据时间戳对数据进行预聚合摄入和聚合分析,因此也有用户经常在有时序数据处理分析的场景中用到它。

目前 Apache Druid 24.0.0 发布了,此版本包含来自 67 个贡献者的 300 多个新功能、错误修复、性能增强、文档改进和额外的测试。以下是部分新功能:

多阶段查询任务引擎

Apache Druid 的基于 SQL 的摄取(ingestion)使用分布式多阶段查询架构,其中包括一个称名为多阶段查询任务引擎(MSQ 任务引擎)的查询引擎。 MSQ 任务引擎扩展了 Druid 的查询功能,因此可以编写引用外部数据的查询以及使用 SQL INSERT 和 REPLACE 执行摄取。

从 Druid 24.0.0 开始,使用多阶段查询任务引擎的基于 SQL 的摄取是最推荐的解决方案,同时也仍支持替代摄取解决方案,例如本机批处理和基于 Hadoop 的摄取系统。

参考:

#12524
#12386
#12523
#12589

嵌套列

Druid 现在支持将嵌套数据结构直接存储在新添加的 COMPLEX<json> 列类型中。 COMPLEX<json> 列以 JSON 格式存储结构化数据的副本,以及用于嵌套文字值(STRING、LONG 和 DOUBLE 类型)的专用内部列和索引。

参考:

#12753
#12714
#12753
#12920

更新 Java 支持

完全支持 Java 11 ,Java 17 支持得到改进。

#12839

查询引擎更新

更新了列索引和过滤器的查询处理

重新设计的列索引非常灵活,允许对各种索引类型进行建模。添加了构建使用更新索引的过滤器的机制,同时还允许其他列实现实现内置索引类型以提供适配器,以在 Druid 提供的当前集合过滤器中使用索引。

#12388

时间过滤运算符

现在可以使用 Druid SQL 运算符 TIME_IN_INTERVAL 根据时间过滤查询结果。优先使用 TIME_IN_INTERVAL 而不是 SQL BETWEEN 运算符以按时间过滤。详细信息请参阅日期和时间函数。

#12662

Null 值和“in”过滤器

如果values数组包含null,则“in”过滤器匹配空值。与不匹配空值的 SQL IN 过滤器不同。

有关详细信息,请参阅 询过滤器和 SQL 数据类型。
#12863

搜索查询中的虚拟列

以前,搜索查询只能搜索数据源中存在的维度,现在支持将虚拟列作为查询中的参数。

#12720

在 __time 上优化简单的 MIN / MAX SQL 查询

像现在这样的简单查询select max(__time) from ds作为timeBoundary查询运行,以利用段中的时间维度排序。可以设置功能标志来启用此功能。

#12472
#12491

字符串聚合结果

第一个/最后一个字符串聚合器现在仅根据值进行比较。以前,第一个/最后一个字符串聚合器的值首先根据_time列进行比较,然后再根据值进行比较。

如果有现有查询并希望继续使用_time列和值,请更新查询,以使用 ORDER BY MAX(timeCol)。

#12773

Jackson 序列化

引入并实现了新的辅助函数JacksonUtils以实现 SerializerProvider对象的重用。

此外,默认情况下禁用了对 GroupByQueryToolChest 基于映射的行的向后兼容性 ,这消除了复制重量级ObjectMapper. 引入了一个配置选项,允许管理员显式启用向后兼容性。

#12468

更新了 IPAddress Java 库

添加了一个新的 IPAddress Java 库依赖项来处理 IP 地址,该库包括 IPv6 支持,此外迁移了 IPv4 函数以使用新库。

#11634

 

其他还包括大量性能改进,这是一个大型版本,更多详情请查看更新公告。

 


相關推薦

2023-12-23

Apache Druid  是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理,也支持实时且灵活的多维数据分析查询。因此 Druid 最常用的场景就是大数据背景下、灵活快速的多维 OLAP 分析。Dr

2022-11-25

Apache Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理,也支持实时且灵活的多维数据分析查询。因此 Druid 最常用的场景就是大数据背景下、灵活快速的多维 OLAP 分析。 另外,Dru

2023-05-25

Apache Druid  是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理,也支持实时且灵活的多维数据分析查询。因此 Druid 最常用的场景就是大数据背景下、灵活快速的多维 OLAP 分析。Dr

2022-06-14

数据库连接池 Druid 1.2.11 现已发布。公告指出,DRUID 连接池内部外部都是同一份代码,有些业务场景等着用修复 SQL Parser 相关问题,因此就快速发布了1.2.9 ~ 1.2.10;但改动都是很小,1.2.11 也是同样的情况。 Issues 增加了对 Polar

2023-02-20

数据库连接池 Druid 1.2.16 现已发布,这又是一个 BUG 修复功能增强的小版本,建议按需升级。 Issues 修复连接池PostgreSQL下传递了错误的connectTimeout 的问题 #5096 增强了SQL Parser对Hive/MaxCompute/Postsql/SQL Server的支持 相关连接

2022-09-13

数据库连接池 Druid 1.2.12 现已发布。这个版本连接池默认增加配置connectTimeout和socketTimeout,增强了SQL Parser。 Issues 连接池DruidDataSource支持新的配置connectTimeout和socketTimeout,分别都是10秒。这个默认值会减少因为网络丢包时导致

2022-10-09

数据库连接池 Druid 1.2.13 现已发布,这又是一个BUG修复功能增强的版本。 Issues 修复1.2.12版本引入socketTimeout导致的BUG #4936 #4946 增强SQL Parser对MaxCompute的支持 #4933 增强SQL Parser对Oracle的支持 #4938 增强SQL Parser

2022-10-10

项目名称 数据集成 airbytehq/airbyte alibaba/DataX apache/camel apache/flume apache/incubator-seatunnel apache/inlong apache/sqoop dbt-labs/dbt-core debezium/debezium ververica/flink-cdc-connectors 流处理 apache/beam apache/flink apache/incubator-heron apache/i

2022-11-30

自 Apache Doris 1.1.0 版本发布距今已经有数月之久,在这一期间,我们重新思考并确立了社区新版本发布的流程,正式引入了 LTS (Long-Term Support,长周期支持)版本的概念,在 1.1.x 系列版本中不再引入大的功能 Feature、仅提供问题

2022-10-11

顶榜单只是 SelectDB 前进道路上的小目标之一,作为基于 Apache Doris 打造的运行于多云之上的新一代云原生数仓,SelectDB 具备了极速、易用、实时、统一的核心特性,并提供了多云一致体验和多数据类型支持,未来还将有更多重要

2023-11-28

pringCloud Loadbalancer 功能单一 RPC远程调用 采用 全新 Apache Dubbo 3.X 历史悠远不用多说 采用 feign 功能有限编写方式 网络波动大 不稳定 分布式限流熔断 采用 Alibaba Sentinel 源码集成便于调试扩展与二次开发 框架还为其

2022-12-20

sql 多主键 [#4649] seata-server支持多注册中心 [#4779] 支持 Apache Dubbo3 [#4479] TCC注解支持添加在接口和实现类上 [#4877] 支持 jdk17 [#4914] 支持 mysql 的update join联表更新语法 [#4542] 支持 oracle timestamp 类型 [#5111] 支持Nacos contextPath

2023-04-02

Docker v24.0.0-beta.1 现已发布,预发布旨在测试新版本:仅在测试环境中安装。 curl -fsSL https://get.docker.com -o get-docker.sh sudo CHANNEL=test sh get-docker.sh Known issues 目前还没有更新日志;可以在 GitHub 上找到此版本中包含的拉取请

2024-03-26

,适用于开发人员和数据库管理员。DBeaver 24.0.0 现已发布,更新内容如下: Connectivity: 添加了 Shared SSH 会话支持 修复了通过 native proxy 连接的问题 改进了“Connection”页面上的深色主题支持 SQL Editor: 支持 IN