Apache Doris 2.0.2 版本正式发布!


亲爱的社区小伙伴们,Apache Doris 2.0.2  版本已于 2023 年 10 月 6 日正式发布,该版本对多个功能进行了更新优化,旨在更好地满足用户的需求。有 92 位贡献者为 Apache Doris 2.0.2 版本提交了功能优化项以及问题修复,进一步提升了系统的稳定性和性能,欢迎大家下载体验。

GitHub下载: https://github.com/apache/doris/releases/tag/2.0.2-rc05

官网下载页: https://doris.apache.org/download/

重要更新


  • 删除与 lambda 函数语法冲突的  json“->”运算符,可以使用函数 json_extract 代替。#24679

  • metadata_failure_recovery从 fe.conf 移动到 start_fe.sh 参数,以避免异常操作。#24308

  • 对于普通类型中的 null 值使用 \n 来表示,对于复杂类型或嵌套类型的 null 值,跟 JSON 类型保持一致、采取 null 来表示。#24207

  • 优化 BE 节点 priority_network 配置项的绑定策略,如果用户配置了错误的 priority_network 则直接启动失败,以避免用户错误地认为配置是正确的。如果用户没有配置 priority_network,则仅从 IPv4 列表中选择第一个 IP,而不是从所有 IP 中选择,以避免用户的服务器不支持 IPv4。#23795 #23784

  • 支持取消正在重试的导入任务,修复取消加载失败的问题。#17730

功能优化


01  易用性提升

  • 某些场景下,用户需要向集群中添加一些自定义的库,如 lzo.jar、orai18n.jar 等。在过去的版本中,这些 lib 文件位于 fe/lib 或 be/lib 中,但在升级集群时,lib 库将被新的 lib 库替换,导致所有自定义的 lib 库都会丢失。在新版本中,为 FE 和 BE 添加了新的自定义目录 custom_lib,用户可以在其中放置自定义 lib 文件。#23887

  • 支持基于用户角色的权限访问控制,实现了行级细粒度的权限控制策略。#23022

02 改进查询优化器 Nereids 统计信息收集

  • 在运行 Analysis 任务时禁用 File Cache,Analysis 任务是后台任务,不应影响用户本地 File Cache 数据。#23663

  • 在过去版本中,查看列的统计信息时将忽略出现错误的列。在新版本中,当 min 或 max 值未能反序列化时,查看列的统计信息时将使用 N/A 作为 min 或 max 的值并仍显示其余的统计信息,包括 count、null_count、ndv 等。#23703

  • 支持 JDBC 外部表的统计信息收集。#23965

  • 跳过__internal_schemainformation_schema上未知列的统计信息检查。#24625

03 Multi-Catalog 功能优化

  • 支持 Hadoop Viewfs;#24168

  • 优化 JDBC Catalog Checksum Replay 和 Range 相关问题;#22369

  • 优化了 JDBC Catalog 的 Property 检查和错误消息提示。#23868

  • 修复了 MaxCompute Catalog Decimal 类型解析问题以及使用对象存储地址错误的问题。#24242

  • 支持 Hive Metastore Catalog 的 SQL Cache。#23391

  • 提高了 Hive Metastore Catalog 的元数据同步性能。#22869

  • 添加 metadata_name_ids 以快速获取 Catalogs、DB、Table,在创建或删除 Catalog 和 Table 时无需 Refresh Catalog, 并添加 Profiling 表从而与 MySQL 兼容。#22702

04 倒排索引性能优化

  • 增加 bkd 索引的查询缓存,通过缓存可以加速在命中 bkd 索引时的查询性能,在高并发场景中效果更为明显;#23952

  • 提升倒排索引在 Count 算子上的查询性能;#24678

  • 提升了 Match 算子在未命中索引时的效率,在测试表现中性能最高提升 60 倍;#24751

  • 提升了 MATCH 和 MATCH_ALL 在倒排索引上的查询性能;#23871  #24389

05 Array 函数优化

  • 优化了老版本查询优化器 Array 函数无法处理 Decimal 类型的问题;#23630

  • 优化了array_union 数组函数对多个参数的支持;#24327

  • 支持通过 explode 函数来处理数组嵌套复杂类型;#24455

Bug修复


该版本修复了之前版本存在的部分 Bug,使系统整体稳定性表现得到大幅提升,完整 BugFix 列表请参考 GitHub Commits 记录:https://github.com/apache/doris/issues/25011

 


相關推薦

2023-12-19

亲爱的社区小伙伴们,Apache Doris 2.0.3 版本已于 2023 年 12 月 14 日正式发布,该版本对复杂数据类型、统计信息收集、倒排索引、数据湖分析、分布式副本管理等多个功能进行了优化,欢迎大家下载体验。 此外,由衷感谢 104 位

2023-09-06

,我们很高兴的宣布,2023 年 9 月 4 日 我们正式发布了 Apache Doris 2.0.1 和 Apache Doris 1.2.7 这两个版本,这两个版本由上百名位贡献者共同努力完成的,提供了更多有用的新特性,同时修复了若干已知的问题,进一步提升了系统的

2023-04-28

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年 4 月 27 日迎来 1.2.4 Release 版本的正式发布!在 1.2.4 版本中,Doris 团队已经修复了自 1.2.3 版本发布以来近 150 个问题或性能改进项。同时,1.2.4 版本也作为 1.2.3 的迭

2023-03-21

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年 3 月 20 日迎来 1.2.3 Release 版本的正式发布!在新版本中包含超过 200 项功能优化和问题修复。同时,1.2.3 版本作为 1.2 LTS 的迭代版本,更加稳定易用,建议用户升级

2024-01-30

亲爱的社区小伙伴们,Apache Doris 2.0.4 版本已于 2024 年 1 月 26 日正式发布,该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新,使 Apache Doris 能够适配更广泛的场景。此外,该版本进行了若干的改进与优化

2024-03-19

亲爱的社区小伙伴们,Apache Doris 2.0.6 版本已于 2024 年 3 月 12 日正式与大家见面,该版本在物化视图、统计信息收集、JDBC Catalog 等方面进行了更新优化,并提交了 114 个改进项以及问题修复,欢迎大家下载体验。 官网下载: http

2022-10-18

我们很高兴地告诉大家,在 2022 年 10 月 17 日我们迎来了 Apache Doris 1.1.3 版本的正式发布。作为 1.1 LTS 版本基础之上的 Bugfix 版本,在 1.1.3 版本中有超过 80 个 Issue 或性能优化项被合入,系统稳定性和性能得以进一步加强,推荐所

2023-07-20

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年 7 月 17 日迎来 1.2.6 版本的正式发布!在 1.2.6 版本中,Doris 团队已经修复了自 1.2.5 版本发布以来若干问题或性能改进项,欢迎大家下载体验。 下载安装: GitHub下载

2023-01-04

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年1 月 4 日迎来 1.2.1 Release 版本的正式发布!在新版本中,Apache Doris 团队修复了自 1.2.0 版本发布以来约 200 个问题或性能改进项。同时,1.2.1 版本作为 1.2 LTS 的第一个

2023-06-20

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年 6 月 19 日迎来 1.2.5 版本的正式发布!在 1.2.5 版本中,Doris 团队已经修复了自 1.2.4 版本发布以来近 210 个问题或性能改进项。同时,1.2.5 版本也作为 1.2.4 的迭代版本

2024-02-29

亲爱的社区小伙伴们,Apache Doris 2.0.5 版本已于 2024 年 2 月 27 日正式与大家见面。这次更新带来一系列行为变更和功能更新,并进行了若干的改进与优化,旨在为用户提供更为稳定高效的数据查询与分析体验。新版本已经上线,

2024-04-04

亲爱的社区小伙伴们,Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式发布。该版本针对 2.1.0 版本出现的问题进行较为全面的优化,提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。 立

2022-11-30

自 Apache Doris 1.1.0 版本发布距今已经有数月之久,在这一期间,我们重新思考并确立了社区新版本发布的流程,正式引入了 LTS (Long-Term Support,长周期支持)版本的概念,在 1.1.x 系列版本中不再引入大的功能 Feature、仅提供问题

2023-09-28

第一个版本,因此团队非常重视。在该版本全面支持了 Apache Doris,通过 DataSophon 可以便捷的部署、管理、监控 Doris。除此以外本次新增了初始化模块,可以自动完成集群环境初始化工作,避免因环境不一致导致集群安装失败的