OpenAI、谷歌微软等设立 1000 万美元 AI 安全基金


谷歌、微软、OpenAI 和 Anthropic 发布联合声明,任命美国智库学会高管 Chris Meserole 为前沿模型论坛 (Frontier Model Forum) 首任执行董事。并宣布设立 1000 万美元的 AI 安全基金,“以推动正在进行的工具开发研究,帮助社会能够有效地测试和评估最有能力的 AI 模型。”

前沿模型论坛由微软、OpenAI、谷歌和 Anthropic 在今年 7 月联合创立而成,是一个专注于确保安全和负责任地开发前沿人工智能模型的行业机构。该论坛旨在帮助:

  • 推动人工智能安全研究,促进负责任地开发前沿模型并最大限度地降低潜在风险;
  • 确定前沿模型的安全最佳实践;
  • 与政策制定者、学术界、民间社会和其他方面分享知识,推动负责任的人工智能发展;
  • 以及大力支持开发有助于应对社会挑战的 AI 应用程序

公告指出,AI 安全基金将支持来自世界各地附属于学术机构、研究机构和初创公司的独立研究人员。初始资金来自 Anthropic、谷歌、微软和 OpenAI,以及其他慈善合作伙伴。

基金的主要重点将在于,支持开发新的模型评估技术,以帮助开发和测试前沿系统潜在危险能力的评估技术。“我们相信,增加该领域的资金将有助于提高安全标准,并为行业、政府和民间社会应对 AI 系统带来的挑战所需的缓解和控制提供见解。 ”

该基金将在未来几个月内征集提案。前沿模型论坛还计划成立一个顾问委员会,以帮助指导其战略和优先事项。


1000 万美元不算小数目,但在 AI 安全研究的背景下以及与前沿模式论坛成员在商业活动上的花费相比,这一数目就“显得相当保守了”。科技媒体 TechCrunch 指出,仅今年一年,Anthropic 就从亚马逊筹集了数十亿美元,用于开发下一代 AI 助手,此前谷歌也向其投资了 300 美元。

且与其他 AI 安全基金相比,该基金的规模也很小。根据博客 Less Wrong 的分析,由 Facebook 创始人 (Dustin Moskovitz 联合创办的资助和研究基金会 Open Philanthropy 已为 AI 安全捐赠了约 3.07 亿美元。

公益公司“The Survival and Flourishing Fund”也已向 AI 安全项目捐赠了约 3000 万美元。美国国家科学基金会表示,未来两年将斥资 2000 万美元用于 AI 安全研究,部分资金由 Open Philanthropy 资助。

前沿模型论坛暗示下一步将成立一个规模更大的基金。如果这一目标实现,它可能有机会推动 AI 安全研究 —— 前提是我们相信该基金的明确营利性支持者不会对研究施加不当影响。但无论你如何划分,首批资金似乎都过于有限,无法取得多大成就。


相關推薦

2023-10-26

智能生成内容,但不包括总结书籍等用途的应用。微软、OpenAI等投入1000万美元用于增强生成式AI产品的安全微软、OpenAI等公司合资1000万美元,任命Chris Meserole为“前沿模型论坛”的执行董事,旨在提高生成式AI产品的安全,并建

2024-07-19

Anthropic 宣布与 Menlo Ventures 合作设立 1 亿美元的新基金“Anthology Fund”,以加速突破性 AI 应用的开发,旨在支持利用 Anthropic 技术进行广泛创新的初创公司。 其中,Menlo 负责出资 1 亿美元,Anthropic则负责提供技术支持。Anthropic

2024-09-24

谷歌首席执行官桑达尔·皮查伊 (Sundar Pichai) 周六在联合国未来峰会上发表讲话,将 AI 描述为“迄今为止最具变革性的技术”,并宣布在全球范围内设立一项用于 AI 教育和培训的新基金。 皮查伊指出了 AI&nbs

2023-12-05

美国《连线》杂志消息称,OpenAI 公司在 2019 年与芯片开发商 Rain AI 签署了一份意向书,承诺将在该初创公司的芯片上市后将斥资 5100 万美元进行购买。 而这家初创公司的特别之处在于,OpenAI 的首席执行官 Sam Altman 个人对其进

2024-10-24

在今年年底前颁布法律,将 AISI 编入法典。签名者包括 OpenAI 和 Anthropic,这两家公司都已与 AISI签署协议,在 AI 研究、测试和评估方面展开合作。微软、谷歌、亚马逊和 IBM 等科技巨头也签署了该信函。

2023-08-16

度新闻媒体平台Analytics India Magazine近日的一份报告称, OpenAI可能在2024年底破产。 报告称,OpenAI仅运行其人工智能服务ChatGPT每天就要花费约70万美元。OpenAI目前正处于烧钱的状态,尽管该公司试图通过GPT-3.5和GPT-4来实现盈利,

2024-10-04

OpenAI 宣布在新一轮融资中筹集了 66 亿美元,公司估值达到 1570 亿美元。 “新资金将使我们能够加倍巩固我们在前沿 AI 研究方面的领导地位,提高计算能力,并继续构建帮助人们解决难题的工具。 我们的目标是让先进情报

2022-07-16

。这也是这类模型通常被牢牢掌握在微软、Meta、Google 和 OpenAI 等大型科技公司手中的原因。 除此之外,这类大型科技公司开发的语言模型在使用上也有一些限制条件,比如 OpenAI 开发的 GPT-3 并不开源;Meta 开发的 OPT-175B 虽然开

2023-12-06

薪酬动了心。 辛顿毕业于剑桥大学,除了偶尔在微软和谷歌任职外,他的大部分职业生涯都在学术界度过,对于报酬并不是很在意。但是,由于他自己拥有一个患有神经多样性(如自闭症、多动症)的孩子,所以金钱能够带来经

2023-07-04

公司融资总额达到15.25 亿美元,在 AI 领域的估值仅次于 OpenAI 公司。 Inflection AI 总部位于加利福尼亚州帕洛阿尔托,是一家专注于创建个人人工智能的“人工智能工作室”。它由 Mustafa Suleyman、Karén Simonyan 和 Reid Hoffman 于 2022

2024-07-30

外媒报道称,OpenAI 可能在 12 个月内濒临破产,目前预计损失达 50 亿美元,因此可能需要新一轮融资才能维持运营。 概要 - OpenAI 正处于破产边缘,预计亏损达 50 亿美元。 - 这家初创公司在训练其 AI 模型上花费 70 亿美元,

2023-07-13

业内人士近日对 OpenAI 今年 3 月发布的 GPT-4 大模型进行了大揭秘,其中包括 GPT-4 模型架构、训练和推理的基础设施、参数量、训练数据集、token 数、成本、混合专家模型 (Mixture of Experts, MoE) 等非常具体的参数和信息。 文章作

2023-03-28

限公司,出资5千万美元,估值2亿美元,称将打造中国的OpenAI。随后,王兴在朋友圈中表示:“……既然他决心拥抱这次大浪潮,那我必须支持。”据王慧文透露,公司75%的股份用于邀请顶级研发人员。 2月15日,光年之外迎来

2023-04-22

根据《纽约时报》的报道,面对来自微软和 OpenAI 的竞争压力,谷歌正在积极开发由人工智能技术驱动的全新搜索引擎「Magi」,以及使用人工智能技术对现有的搜索引擎进行升级。 报道指出,三星正在考虑用微软的 Bing 取代 Goo