Apache Doris 2.1.1 版本正式发布!


亲爱的社区小伙伴们,Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式发布。该版本针对 2.1.0 版本出现的问题进行较为全面的优化,提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

  • 立即下载: https://doris.apache.org/download/

  • GitHub Release: https://github.com/apache/doris/releases

1 行为变更

  1. 改变了 Float 类型字段返回值序列化的方式,可以提升大数据量下 Float 返回的性能。

  1. 将部分 Table Valued Function 变更为系统表 active_queries(), workload_groups()

  1. 由于 show query``/l``oad profile stmt 语句在实际用户场景中使用较少,该语句将不再支持与维护。同时该功能在 Pipeline 与 PipelineX 引擎中不支持。

  1. 升级 Arrow Flight 版本至 15.0.2,同时用户需要使用 ADBC 15.0.2 版本访问 Doris。

2 升级问题

  1. 修复了从 2.0.x 滚动升级至 2.1.x 的过程中,部分 BE 节点升级出现 Core 的问题。

  1. 修复了在 2.0.x 滚动升级至 2.1.x 过程中,使用 JDBC Catalog 会出现 Query 报错的问题。

3 新功能

  1. 默认开启列级权限。

  1. Pipeline 和 PipelineX 引擎能够在 K8S 下准确获取 CPU 核数。

  1. 支持读取 Parquet INT96 类型

  1. 支持 IP 透传的协议,以方便在 FE 之前启用代理的同时还能获取客户端准确的 IP 地址,实现白名单权限控制。

  1. 增加对 Workload Queue 检测指标。

  1. 增加系统表 backend_active_tasks,以实时监测每个 BE 上活跃任务以及消耗的资源信息。

  1. 在 Spark Doris Connector 中增加 IPV4 和 IPV6 的支持。

  1. CCR 支持倒排索引。

  1. 支持查询 Experimental 的 Session Variable。

  1. 支持建立 bitmap_union(bitmap_from_array()) 函数的物化视图。

  1. 支持对 Hive 中 HIVE_DEFAULT_PARTITION 分区进行列裁剪。

  1. 支持 set variable 语句中使用函数。

  1. Arrow 序列化方式增加对 Variant 类型的支持。

4 改进与优化

  1. 当系统自动重启或者滚动升级之后,自动启动 Routine Load 导入任务。

  1. 优化了 Routine Load 任务在各个 BE 上的分布方式,让各个 BE 负载更加均衡。

  1. 升级 Spark 的版本,解决部分 Spark Load 的安全问题。

  1. 在冷热分离过程中,自动跳过被删除的 Tablet.

  1. Workload Group 支持对 Routine Load 的资源进行限制。

  1. 大幅度优化多表物化视图查询改写性能。

  1. 优化 Broker Load 任务对 FE 的内存使用

  1. 优化 Partition 的裁剪逻辑。

  1. 优化 Tablet Schema Cache 对 BE 内存使用。

  1. 多表物化视图增加更多对 JOIN 类型的支持,包括 INNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN、FULL OUTER JOIN、LEFT SEMI JOIN、RIGHT SEMI JOIN、LEFT ANTI JOIN、RIGHT ANTI JOIN

5 Bugs 修复

  1. 修复 TopN 下推导致的问题。

  1. 修复 JAVA UDF 带来的内存泄露问题。

  1. 修复 ODBC 表备份恢复问题。

  1. 修复对 Variant 类型进行运算时常量折叠会导致 BE 出错的问题

  1. 修复了部分导入任务失败时 Routine Load 卡住的问题。

  1. 修复 SEMI JOIN 结果不正确的问题。

  1. 当列的数据为空时,修复建立倒排索引会出错的问题。

  1. 修复<=> join 操作会出现 Core 的问题。

  1. 修复部分列更新在有 Sequence 列结果准确性的问题。

  1. 修复 Select Outfile 导出到 Parquet 或者 ORC 格式的列类型映射问题。

  1. 修复在 Restore 过程中 BE 有时候会 Core 的问题。

  1. 修复 array_agg函数结果不对的问题。

  1. 使 Variant 类型应当一直是 nullable.

  1. 修复 Schema Change 没有正确处理空 Block 的问题。

  1. 修复使用 json_length() 函数时部分场景会出错的问题。

  1. 修复 Iceberg 表没有正确处理 Date Cast 转换的问题。

  1. 修复 Variant 类型建立 Index 时出现的部分 Bug。

  1. 修复当多个 map_agg 函数同时使用时结果不正确的问题。

  1. 修复 money_format 函数的返回结果不正确的问题。

  1. 修复在高并发的建立链接时部分请求会卡住的问题。


相關推薦

2023-12-19

亲爱的社区小伙伴们,Apache Doris 2.0.3 版本已于 2023 年 12 月 14 日正式发布,该版本对复杂数据类型、统计信息收集、倒排索引、数据湖分析、分布式副本管理等多个功能进行了优化,欢迎大家下载体验。 此外,由衷感谢 104 位

2023-09-06

,我们很高兴的宣布,2023 年 9 月 4 日 我们正式发布了 Apache Doris 2.0.1 和 Apache Doris 1.2.7 这两个版本,这两个版本由上百名位贡献者共同努力完成的,提供了更多有用的新特性,同时修复了若干已知的问题,进一步提升了系统的

2023-04-28

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年 4 月 27 日迎来 1.2.4 Release 版本的正式发布!在 1.2.4 版本中,Doris 团队已经修复了自 1.2.3 版本发布以来近 150 个问题或性能改进项。同时,1.2.4 版本也作为 1.2.3 的迭

2023-03-21

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年 3 月 20 日迎来 1.2.3 Release 版本的正式发布!在新版本中包含超过 200 项功能优化和问题修复。同时,1.2.3 版本作为 1.2 LTS 的迭代版本,更加稳定易用,建议用户升级

2024-01-30

亲爱的社区小伙伴们,Apache Doris 2.0.4 版本已于 2024 年 1 月 26 日正式发布,该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新,使 Apache Doris 能够适配更广泛的场景。此外,该版本进行了若干的改进与优化

2024-03-19

亲爱的社区小伙伴们,Apache Doris 2.0.6 版本已于 2024 年 3 月 12 日正式与大家见面,该版本在物化视图、统计信息收集、JDBC Catalog 等方面进行了更新优化,并提交了 114 个改进项以及问题修复,欢迎大家下载体验。 官网下载: http

2024-05-18

亲爱的社区小伙伴们,Apache Doris 2.0.10 版本已于 2024 年 5 月 15 日正式与大家见面,该版本提交了 83 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。 官网下载: https://doris.apache.org/download/ GitHub

2022-10-18

我们很高兴地告诉大家,在 2022 年 10 月 17 日我们迎来了 Apache Doris 1.1.3 版本的正式发布。作为 1.1 LTS 版本基础之上的 Bugfix 版本,在 1.1.3 版本中有超过 80 个 Issue 或性能优化项被合入,系统稳定性和性能得以进一步加强,推荐所

2023-07-20

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年 7 月 17 日迎来 1.2.6 版本的正式发布!在 1.2.6 版本中,Doris 团队已经修复了自 1.2.5 版本发布以来若干问题或性能改进项,欢迎大家下载体验。 下载安装: GitHub下载

2023-01-04

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年1 月 4 日迎来 1.2.1 Release 版本的正式发布!在新版本中,Apache Doris 团队修复了自 1.2.0 版本发布以来约 200 个问题或性能改进项。同时,1.2.1 版本作为 1.2 LTS 的第一个

2023-06-20

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年 6 月 19 日迎来 1.2.5 版本的正式发布!在 1.2.5 版本中,Doris 团队已经修复了自 1.2.4 版本发布以来近 210 个问题或性能改进项。同时,1.2.5 版本也作为 1.2.4 的迭代版本

2023-10-15

亲爱的社区小伙伴们,Apache Doris 2.0.2  版本已于 2023 年 10 月 6 日正式发布,该版本对多个功能进行了更新优化,旨在更好地满足用户的需求。有 92 位贡献者为 Apache Doris 2.0.2 版本提交了功能优化项以及问题修复,进一步提升

2024-02-29

亲爱的社区小伙伴们,Apache Doris 2.0.5 版本已于 2024 年 2 月 27 日正式与大家见面。这次更新带来一系列行为变更和功能更新,并进行了若干的改进与优化,旨在为用户提供更为稳定高效的数据查询与分析体验。新版本已经上线,

2022-11-30

自 Apache Doris 1.1.0 版本发布距今已经有数月之久,在这一期间,我们重新思考并确立了社区新版本发布的流程,正式引入了 LTS (Long-Term Support,长周期支持)版本的概念,在 1.1.x 系列版本中不再引入大的功能 Feature、仅提供问题