隐语 Kuscia 正式发布 1.0.0 版本,实现支持 Hive 数据源、envoy 日志进行异常分析等功能


Kuscia 是一款基于 K3s 的轻量级隐私计算任务编排框架,旨在屏蔽异构基础设施和协议,并提供统一的隐私计算底座。隐语·数据可信流通技术社区是融合可信数据空间、隐私计算、数据元件等多项数据流通利用基建技术设施在内的开源社区,致力于推动前沿技术探索、技术标准体系共建与产业应用场景共创,促进高质量数据资源流通利用与价值释放。

近期隐语Kuscia 正式发布 1.0.0 版~本次更新都有哪些具体要点?一起来看看吧~

更新要点

  • 新增 ​​Delete DomainData​​ 物理文件接口:能够有效清理长期未使用的数据,帮助用户释放宝贵的磁盘空间,提升系统存储效率。
  • 支持 ​​Hive​​ 数据源:成功拓展了数据源类型,新增了对 Hive 数据源的支持,进一步丰富了数据接入的多样性,满足用户更广泛的数据管理需求。
  • 持通过 ​​envoy​​ 日志对 ​​Kuscia task​​进行异常分析:增强了任务异常情况下的排查功能,提供更便捷的异常诊断工具,显著简化了用户在遇到问题时进行故障排查的操作步骤,提升系统稳定性和用户体验。

Kuscia

  • [Feature] 支持 Hive 数据源(alpha版本 外部贡献 @peter5232 )
  • [Feature] 新增 Delete DomainData 物理文件接口 (外部贡献 @peter5232)
  • [Feature] Kuscia Task 资源及连通性前置检查(外部贡献 @MiKKiYang)
  • [Feature] 支持通过 envoy 日志对 Kuscia task 进行异常分析
  • [Feature] Kuscia images import 支持校验镜像架构是否匹配当前 Kuscia架构(alpha版本 外部贡献 @exyb)
  • [Feature] KusciaDeployment 默认加上反亲和性(PodAntiAffinity)配置,多副本时,尽量部署到不同节点
  • [Feature] Kuscia DomainData 支持 PostgreSQL 代理数据源连接参数配置
  • [Changed] Kuscia PostgreSQL 数据源数据代理写入优化
  • [Changed] runp 运行时 kill pod, agent 发送 sigterm 信号量
  • [Fixed] Kuscia 使用 PostgreSQL 作为元数据存储时连接异常问题
  • [Dosc] Kuscia 文档完善

欢迎点击「阅读原文」点亮 GitHub Star 🌟 ,不错过「隐语SecretFlow」的每一次发版动态。

​​https://github.com/secretflow/kuscia​​

file


相關推薦

2024-06-27

社区小伙伴们,Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中,我们对数据湖分析场景进行了多项功能体验优化,重点修复了旧版本中异常内存占用的问题,同时提交了若干改进项以及问题修复,进一步提升

2025-05-28

追踪,增强任务调度智能化。 数据集成增强:扩大异构数据源、接口、文件和网络爬虫的接入范围,支持更多转换类型。 离线与实时数据开发:引入 Spark/Hive/Flink/Kafka 等引擎,支持批处理与流处理任务,适用于大数据分析及

2022-11-03

体的进一步完善和 Flink Table Store 的不断迭代(0.2版本已发布 [3]),Flink 社区正一步一步推动 Streaming Warehouse 从概念变为现实并走向成熟。 理解 Streaming Warehouse 流式数仓(Streaming Warehouse)更准确地说,其实是 “make data

2024-05-23

社区小伙伴们,Apache Doris 2.1.3 版本已于 2024 年 5 月 20 日正式发布。该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新,进一步简化湖仓一体架构、加速了查询性能;同时提交了若干改进项以及问题修复

2024-09-20

社区小伙伴们,Apache Doris 2.1.6 版本已于 2024 年 9 月 10 日正式发布。2.1.6 版本在 Lakehouse、异步物化视图、半结构化数据管理持续升级改进,同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限管理等方面完成了若

2024-07-26

社区小伙伴们,Apache Doris 2.1.5 版本已于 2024 年 7 月 24 日正式发布。2.1.5 版本在湖仓一体、多表物化视图、半结构化数据分析等方面进行了全面更新及改进,同时在倒排索引、查询优化器、查询引擎、存储管理等 10 余方向上完成

2025-04-02

由@zhangshenghang担任发版经理,Apache SeaTunnel 2.3.10 版本已经正式发布!本次版本更新聚焦于部分连接器功能优化及增强、配置项完善和问题修复,进一步提升了数据同步、处理的稳定性和性能,助力企业构建高效、灵活的数据集成

2023-04-02

openGauss 5.0.0 版本现已正式发布。这是openGauss发布的第三个LTS版本,版本生命周期为3年。公告称,openGauss 5.0.0版本与之前的版本功能特性保持兼容,在内核能力、工具链、兼容性方面全面增强。 具体更新内容包括: 一、内核

2022-04-07

作业执行计划、字段级血缘分析等 支持 Flink 元数据、数据源元数据查询及管理 支持实时任务运维:作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录等

2024-10-18

加了数据湖写回功能,用户可以在 Apache Doris 中完成多个数据源之间的数据分析、共享、处理、存储操作。结合异步物化视图等能力,Apache Doris 可以作为企业统一的湖仓数据处理引擎,帮助用户更好的管理湖、仓、数据库中的数

2023-12-19

社区小伙伴们,Apache Doris 2.0.3 版本已于 2023 年 12 月 14 日正式发布,该版本对复杂数据类型、统计信息收集、倒排索引、数据湖分析、分布式副本管理等多个功能进行了优化,欢迎大家下载体验。 此外,由衷感谢 104 位贡献者

2023-07-05

测性? 如何更便捷地集成与访问数据湖以及各种异构数据源? 如何在大幅降低数据存储和计算资源成本的同时兼顾高性能查询? …… 秉持着“将易用性留给用户、将复杂性留给自己”的原则,为了克服以上一系列

2022-08-23

何一个时间点的数据表。 从 v0.8 版本开始,这个功能被正式实装啦,现在我们可以 查询指定时间的数据表 -- Travel to the time when the last row was inserted select * from demo at (TIMESTAMP => '2022-06-22 08:58:54.509008'::TIMESTAMP); +----------

2023-03-17

2023 年 2 月,openGemini 正式申请加入 openEuler DB SIG,现已完成对 openEuler 的各项兼容性测试,并计划加入 openEuler 23.03 版本。 openGemini 可在物联网、嵌入式、边缘计算、运维监控(AIOps)等领域与 openEuler 社区展开合作,充分利