开源 AI 和 ML 工具的安全风险日益增加


Protect AI 最新发布的一份 2024 年 7 月漏洞报告在各种大语言模型(LLM)中发现了 20 个严重漏洞。

这些漏洞是通过 Protect AI 的“huntr”漏洞赏金计划发现的,这也是全球首个 AI/ML 漏洞赏金计划。该社区由 15,000 多成员组成,在整个 OSS AI/ML 供应链中寻找有影响力的漏洞。

“我们发现供应链中用于构建支持 AI 应用程序的机器学习模型的工具容易受到独有的安全威胁。这些工具是开源的,每月被下载数千次以构建企业 AI 系统。它们还可能存在漏洞,这些漏洞可能直接导致完全的系统接管,例如未经身份验证的远程代码执行或本地文件包含。”

此次报告的漏洞涉及了 ZenML、lollms 和 AnythingLLM 等广泛使用的工具。ZenML 中的权限提升漏洞,未经授权的用户可以通过发送精心设计的 HTTP 请求将其权限提升到服务器帐户。可以通过修改请求负载中的 is_service_account 参数来利用此漏洞。利用此漏洞的攻击者可能会破坏整个系统,导致未经授权的访问和控制。

lollms 中的本地文件包含 (LFI) 漏洞,允许攻击者读取或删除服务器上的敏感文件,从而可能导致数据泄露或拒绝服务。该漏洞源于 lollms 中的 sanitize_path_from_endpoint 函数未正确处理 Windows-style paths,导致其容易受到目录遍历攻击。

AnythingLLM 中的路径遍历漏洞使得攻击者可以读取、删除或覆盖关键文件,包括应用程序的数据库和配置文件。该漏洞位于 normalizePath() 函数中,可导致数据泄露、应用程序入侵或拒绝服务。

更多详情可查看完整报告。


相關推薦

2025-04-02

组织在积极采用公共 ML 模型推动创新,但缺乏自动化的工具链和治理流程使得安全管理愈加复杂。他呼吁,企业在快速发展的 AI 环境中,应加速自动化转型,以确保在提升创新潜力的同时,也能保障软件的安全性。 整体来看

2023-10-26

快就能用于浏览网页、设计和执行化学实验以及利用软件工具,包括其他 AI 模型。AutoGPT 等软件程序的创建就是为了实现此类人工智能流程的自动化,让人工智能处理在没有人工干预的情况下继续进行。但他们认为,这些自主系

2023-10-07

,并探讨人工智能 (AI) 对软件开发的深远影响;还研究了开源供应、需求和安全之间错综复杂的相互作用。 报告跟踪了 Java (Maven)、JavaScript (npm)、Python (PyPI)、.NET (NuGet Gallery) 四大开源生态系统的开源应用增长情况。2022 年至 2023

2023-07-24

务。” 对话式人工智能 报告指出,对话式人工智能工具并不新鲜,但因为进步和许可成本的降低相结合“使该技术能够在短期内提供投资回报,而未来的进步和创新仍有很大的空间”。对话式人工智能将带来最快的投资回

2024-09-24

Linux 基金会最新发布了一份《欧洲的开源成熟度:2024 年的里程碑、机遇与路径》研究报告,聚焦于通过年度开源世界调查收集的欧洲数据,以及与行业专家、政策制定者和社区领袖的深入访谈,探讨开源软件在欧洲的现状,并

2024-10-22

chCrunch 采访时表示:“大型客户正在推出利用初创工具和开源模型的生产系统。最新的模型浪潮表明,新一代模型是可能的,并且可能在科学领域、数据检索和代码执行方面表现出色。” 广泛采用生成式 AI 的一个巨大障碍是该

2023-07-13

成式 AI 日益强大或将对社会构成严重风险,目前的技术安全使用指南不足以确保可规避该技术可能带来的危害。 此次发布的原则中,有四项原则专门针对生成式 AI,另外四项原则改编自 TPC 2022 年的“负责任的算法系统原则声

2022-10-15

以开源软件为基础构建信息系统成为主流趋势,开源软件迭代快、安全开发机制欠缺、维护人员不足等现状,导致全球开源安全事件频发,威胁着使用者信息安全,也带来了隐私信息泄露的风险。因此,开源安全风险已成为全球

2025-04-04

软件供应链安全的公司 Sonatype 公布了 2025 年第一季度的开源恶意软件指数报告指出,1 月 1 日至 3 月 31 日共发现了 17,954 个开源恶意软件;其中包括几个被劫持的 npm 加密包、一个伪装成 Truffle for VS Code 扩展的恶意 npm 包,以及

2025-04-09

y、AIR-Bench 和 FACTS 为评估事实性和安全性提供了有希望的工具。在公司中,识别 RAI 风险和采取有意义的行动之间存在差距。相比之下,政府表现出更大的紧迫性:2024 年,全球在人工智能治理方面的合作加强,包括经合组织、

2025-05-22

智能理论上能实现多种任务的自动化,文职类工作面临的风险最为显著。这些岗位曾是发展中国家增加女性就业的途径,因此女性就业更易受到生成式人工智能影响。 报告说,随着生成式人工智能能力的持续扩展,媒体、软

2023-02-08

ive (OSI) 联合 OpenLogic 发布了一份最新的 2023 年开源状态报告。基于来自全球八个地区、20 多个行业、各种规模组织的开源用户的匿名调查答复,详细介绍了开源软件的使用、采用和挑战。 报告指出,从框架和数据库

2025-05-13

同时代。数据显示,全球五成以上(58%)受访者主动使用AI工具,其中三成(31%)为每周甚至每天使用。中国职场AI应用率高达93%,半数(50%)使用者达到常态化应用水平,展现出显著的领先优势。 “当下及未来,使用人工智能已和使用

2025-05-10

集成车间提升发布效率 集成效率提升 研发人员可通过工具快速选择制品集成入基线版本,自动记录操作信息,降低人工错误,提升管理透明度。 状态驱动的流水线运行 版本状态变更可自动触发部署与测试流程,减少人