OpenSearch 2.7.0 发布,ElasticSearch 的替代品


OpenSearch 2.7.0 已准备好下载!最新版本的 OpenSearch 为搜索、分析、可观测性和安全性应用程序提供了一系列新功能,并对管理和可用性进行了重大增强。此版本还标志着之前作为实验性发布的几个主要功能的正式发布 — 我们希望您和我们一样渴望将段复制、可搜索快照等功能投入生产!完整的改进记录请看 发行说明,您可以在 Playground 上探索 OpenSearch 的可视化工具。

通过可搜索快照大规模提高效率

可搜索快照在 OpenSearch 2.4.0 中作为实验性引入,允许您实时搜索作为快照存储在远程存储库中的索引,而无需提前将整组索引数据下载到群集存储。现在,可搜索快照已做好生产准备,在性能、稳定性和管理方面具有许多增强功能(如此处所示),可帮助您利用远程存储选项,同时节省时间并节省存储容量。在此版本中,项目存储路线图的第二阶段现已正式发布。

通过分段复制增强性能

随着分段复制的正式发布,用户可以选择另一种策略来复制其数据,从而有可能提高高引入工作负载的性能。段复制将 Lucene 段文件从主分片复制到其副本。Lucene 的一次性写入分段架构意味着只需要复制新的分段文件,从而以增加网络利用率和刷新时间为代价,提供更高的索引吞吐量和更低的资源利用率。您现在可以在段复制和文档复制之间进行选择;每当在索引中添加、删除或更新文档时,文档复制都会对主分片和每个副本并行执行相同的索引操作。段复制在 OpenSearch 2.3.0 中作为实验性发布,在接近正式发布时收到了许多贡献,如此处的项目所示。

可视化和探索来自多个来源的数据

同样准备投入生产的还有对 OpenSearch 仪表板中多个数据源的支持。现在,您可以跨多个 OpenSearch 集群动态管理数据源,基于这些源创建索引模式,针对特定数据源运行查询,并将可视化合并到单个仪表板中。此功能在 OpenSearch 2.4.0 中作为实验性功能推出,在准备版本 2.7.0 时获得了功能,如本期所述,包括与开发工具控制台的集成和多项可用性增强功能。

减少大量字段的扁平对象的开销

复杂的 JSON 对象通常包含大量子字段。随着索引的增长,映射每个字段所需的开销可能会消耗过多的存储和内存,这可能会导致“映射爆炸”,从而影响集群的性能和弹性。使用新的平面对象字段类型,您可以选择将复杂的 JSON 对象存储在索引中,而无需单独为所有字段编制索引。通过定义平面对象,您可以选择存储对象及其中的所有对象,从而避免需要单独索引子字段,同时使用DSL和SQL中的点表示法使这些子字段可作为关键字访问。这意味着您可以调整索引映射到数据,并更好地管理和利用资源。

在 OpenSearch 仪表板中使用可观测性功能

在 2.7.0 中,OpenSearch 延续了将可观测性功能作为 OpenSearch 仪表板中的核心功能集成的趋势。现在,您可以从主菜单轻松访问可观测性功能,从仪表板中创建和选择可观测性仪表板,并将事件分析可视化 (PPL) 添加到 OpenSearch 仪表板中的新仪表板或现有仪表板。只需从 OpenSearch 仪表板中创建一个新仪表板,即可查看可观测性仪表板作为选项,或将您喜欢的事件分析 PPL 可视化添加到现有仪表板中。有关此功能的详细信息,请参阅文档。

使用基于形状的筛选器查询地理空间数据

此版本为 OpenSearch 仪表板中的地理空间工具带来了另一轮增强功能,能够根据地理空间字段类型过滤地理空间数据。在早期版本中,用户可以按文档图层中的非地理空间字段类型过滤文档。现在,您可以通过在地图上的选定区域上绘制矩形或面来过滤数据。这会将过滤器应用于地理空间数据以识别空间关系;您可以使用此功能返回其地理坐标 (geo_point) 或地理形状 (geo_shape) 与查询几何图形相交、包含、位于查询几何图形内或未在查询几何中找到的文档。

图像:显示基于形状的筛选器功能的用户体验的动画视觉对象

查看以当地语言显示的 OpenSearch 地图

在 2.7.0 中,OpenSearch 现在将自动渲染地图,其标签和内容以配置 OpenSearch 实例的语言显示。在早期版本中,地图使用源库提供的语言进行渲染。现在,您可以选择以所选的受支持语言显示地图。在启动时,所选语言将由 OpenSearch 仪表板 YAML 配置文件定义;请留意未来版本中的可选下拉菜单。

使用组件模板简化管理

OpenSearch 2.7.0 通过将组件模板直接添加到 OpenSearch 仪表板的索引管理 UI 中,简化了多个索引模板的管理。过去,由于重复,用户在管理多个索引模板时遇到困难,从而导致集群状态更大。此外,对多个模板进行更改需要对每个模板进行手动更新。组件模板进一步增强了 2.5.0 中引入的索引管理 UI允许您通过将常用设置、映射和别名抽象到可重用的构建基块中来克服这些挑战。

图像:显示用户创建组件模板的用户体验的动画视觉对象

在 OpenSearch 仪表板中动态配置租赁

OpenSearch 管理员的另一个节省时间的升级是动态租户管理的可用性。OpenSearch 仪表板使用租户作为保存和共享索引模式、可视化效果、仪表板和其他对象的空间,并对用户可以访问租户以及提供的访问级别进行管理控制。在早期版本中,仪表板支持租户创建和映射,而租户配置在 YAML 文件中完成,需要在每个数据节点内进行更改以保持节点之间的一致性,并且需要重新启动仪表板才能生效。在此版本中,管理员可以在仪表板中查看、配置和启用或禁用租户,并实现这些更改,而无需重新启动。

通过热分片识别保持性能

此版本为OpenSearch的性能分析器插件中可用的工具集合带来了热分片识别。热分片比索引中的其他分片消耗更多的计算、内存或网络资源;如果不加以解决,它们可能会导致查询吞吐量降低和索引延迟增加,从而可能影响群集可用性。现在,您可以使用性能分析器的根本原因分析代理来识别集群中的热分片,以便可以缓解它们以提高集群性能。

使用内置关联工具分析安全事件

包含安全事件的日志数据可以跨越多个索引和数据流,可视化连接事件之间的关系可以为安全分析师提供有价值的见解。关联引擎作为实验性功能包含在此版本中,允许您在安全事件数据中定义关联,从而跨不同的日志源(如 DNS、Netflow 和 Active Directory)实现高保真结果,仅举几例。此知识图谱可用于跨多个索引和数据流识别、存储和调用连接的事件数据,以帮助您识别模式并调查受监控基础架构中不同系统之间的关系。与往常一样,建议仅在生产环境之外使用实验性功能。

提高 ML 模型的可用性

实验性机器学习 (ML) 框架在此版本中接收更新,包括用于 ML 模型的新自动重新加载机制。现在,您可以将搜索集群设置为在集群关闭后重新启动或节点重新加入集群时自动重新加载已部署的模型,从而最大限度地减少恢复时间并更快地将 ML 模型恢复到生产中。

探索开放搜索 2.7.0

最新版本的OpenSearch可供下载。您可以在发行说明、文档发行说明和文档中了解有关这些功能的更多信息以及更多内容,OpenSearch Playground 是在下载工具之前探索这些工具的好地方。查找即将发布的博客文章,这些文章将更深入地了解 OpenSearch 2.7.0 中包含的新功能。


相關推薦

2023-05-16

2021 年初,开源搜索和数据分析引擎 Elasticsearch 背后的母公司——Elastic 宣布变更 Elasticsearch 和 Kibana 的开源许可证,将原本的 Apache License 2.0 变更为双授权许可,即 Server Side Public License (SSPL) + Elastic License,两者都不是符合 OSI 定

2023-03-04

(ML) 模型等添加了功能。 OpenSearch 项目由 OpenSearch (fork Elasticsearch 7.10.2) 和 OpenSearch Dashboards (fork Kibana 7.10.2) 组成,包括企业安全、告警、机器学习、SQL、索引状态管理等功能。OpenSearch 项目中的所有软件均采用了 Apache License 2.0

2022-06-04

OpenSearch 2.0 现已正式发布!此版本融合了来自整个 OpenSearch 社区的用户反馈和贡献,以提供大量新功能和性能增强。我们非常感谢社区为构建分布式搜索和分析工具集而做出的协作努力,这些工具集具有开发人员可以依赖的功能

2022-09-01

nonical 宣布已加入 OpenSearch 社区。 OpenSearch 是 AWS 主导的 Elasticsearch 分支,采用了 Apache License 2.0。AWS 介绍称,他们推出的 OpenSearch 删除了 Elasticsearch 中受 Elastic 商业许可证限制的功能、代码和商标,以兼容 Apache License 2.0,自称

2022-09-16

方面获得了显著改进。 OpenSearch 项目由 OpenSearch (fork Elasticsearch 7.10.2) 和 OpenSearch Dashboards (fork Kibana 7.10.2) 组成,包括企业安全、告警、机器学习、SQL、索引状态管理等功能。OpenSearch 项目中的所有软件均采用了 Apache License 2.0

2022-05-26

像。 高级搜索与 OpenSearch 兼容 OpenSearch 是一个开源的 Elasticsearch 分支。在 GitLab 15.0 之前,高级搜索与 OpenSearch 不兼容。如果你使用 AWS 托管服务,则必须使用旧版本的 Elasticsearch;现在则可以充分利用 OpenSearch 进行高级搜索

2023-11-07

源团队 bboss 运维,主要由以下三部分构成: Elasticsearch Highlevel Java Restclient , 一个高性能高兼容性的 Elasticsearch/Opensearch java 客户端框架 数据采集同步 ETL ,一个基于 java 语言实现数据采集作业的强大 ETL 工

2023-09-26

源团队 bboss 运维,主要由以下三部分构成: Elasticsearch Highlevel Java Restclient , 一个高性能高兼容性的 Elasticsearch/Opensearch java 客户端框架 数据采集同步 ETL ,一个基于 java 语言实现数据采集作业的强大 ETL 工

2022-11-17

OpenSearch 2.4.0 已正式发布。公告写道,此版本带来了对 Windows 的支持、安全分析、新的地理空间功能,以及针对搜索、分析和可观测性用例的多项升级。 OpenSearch 2.4.0 是 2022 年的最后一个次要更新版本,它扩展了 OpenSearch 项目工

2022-10-10

e/solr apache/spark apache/tez ClickHouse/ClickHouse duckdb/duckdb elastic/elasticsearch eventql/eventql greenplum-db/gpdb opensearch-project/OpenSearch prestodb/presto StarRocks/starrocks trinodb/trino uber/aresdb 数据存储 apache/avro apache/bookkeeper apache/carbondata apache/hadoo

2022-07-01

各位 Elasticsearch 用户,如果你使用的 Elasticsearch 是直接从官方下载,并且是 6.3 之后的版本,那么按照 Elastic License 的条款,你很可能已经违反了使用许可,Elastic 公司会保留追究权利。  2021 年 1 月,Elastic 公司宣布将采用 Ap

2022-06-27

Zinc 是一个进行全文索引的搜索引擎,是 Elasticsearch 的轻量级替代品,运行在不到 100 MB 的 RAM 中。它使用 bluge 作为底层索引库。与 elasticsearch 不同,它非常简单且易于操作。 目前 Zinc v0.2.5 发布了,此版本带来如下改动: 允

2023-08-03

默认使用 OpenSearch v2.6.0 作为内部日志存储,不再默认将 Elasticsearch 作为内部日志存储 支持 pod grace period 配置 将 Notification Manager 版本升级到 v2.3.0 将 go 版本升级到 v1.19 优化多分支流水线的用户体验 修复 helm repo 分页查

2022-08-22

Zinc 是一个进行全文索引的搜索引擎,是 Elasticsearch 的轻量级替代品,运行在不到 100 MB 的 RAM 中。它使用 bluge 作为底层索引库。与 elasticsearch 不同,它非常简单且易于操作。 目前 Zinc v0.2.9 发布了,此版本带来如下改动: Change