OpenAI 不再使用 API 数据训练模型

OpenAI 昨晚宣布为其生成式 AI 模型 GPT-3.5 Turbo 和 GPT-4 发布重磅更新。 值得关注的亮点： Chat Completions API 中新的函数调用功能 更新并增加可控制性的gpt-4和gpt-3.5-turbo版本 gpt-3.5-turbo的新 16k 上下文版本（与标准 4k 版本对比

业内人士近日对 OpenAI 今年 3 月发布的 GPT-4 大模型进行了大揭秘，其中包括 GPT-4 模型架构、训练和推理的基础设施、参数量、训练数据集、token 数、成本、混合专家模型 (Mixture of Experts, MoE) 等非常具体的参数和信息。 文章作

但它的访问越来越受到限制。最新的大型语言模型 —— OpenAI 的 GPT4 发布时没有关于其模型架构、训练数据、训练硬件或超参数的信息。公司越来越多地使用封闭数据集构建大型模型，并仅通过 API 访问提供模型输出。为了使 LLM

OpenAI 发文介绍了其最新的研究发现，即 GPT-4 可以帮助在线平台更有效地管理用户内容。 “使用 GPT-4 的内容审核系统可以更快地迭代政策变更，将周期从数月缩短至数小时。GPT-4 还能解释冗长的内容政策文档中的规则和

OpenAI 宣布在 ChatGPT 中引入了一项新功能，允许用户关闭聊天记录。相关控件目前已面向所有用户推出，可以在 ChatGPT 的设置中找到，并且可以随时更改。 公告指出，用户在禁用聊天历史记录后开始的对话不会被用于训练和改进

天机器人系统，从而实现了前所未有的智能水平，譬如 OpenAI 的 ChatGPT。但 ChatGPT 的训练和架构细节仍不清楚，阻碍了该领域的研究和开源创新。受 Meta LLaMA 和 Stanford Alpaca 项目的启发，来自加州大学伯克利分校、CMU、斯坦福大学

私政策主要是受流行人工智能聊天机器人 ChatGPT 开发商 OpenAI 的影响，后者因涉嫌通过互联网窃取用户私人信息而在加利福尼亚州被指控并发起集体诉讼。 诉讼称，OpenAI 在未经事先同意的情况下，使用了社交媒体、博客、维基

p;Siliconangle 的报道，Meta 正在寻求在生成式 AI 领域与 OpenAI 展开竞争，将发布新的开源大模型，其性能或将与GPT-4 不相上下。 报道称，这款新模型比 Llama 2 强大数倍，将提供文本、图像生成以及分析等功能。目前该模型正

le 的基础技术，带有 Nvidia 和 AMD GPU 的 TorchInductor 将依赖 OpenAI Triton 深度学习编译器来生成高性能代码，并隐藏低级硬件细节。OpenAI Triton 生成的内核实现的性能，与手写内核和 cublas 等专门的 cuda 库相当。 Accelerated Transformers

微软方面宣布了 Azure OpenAI 服务的全面上市，这是微软对人工智能民主化的持续承诺以及与 OpenAI 持续合作的一部分。微软在 2021 年 11 月推出了 Azure OpenAI 服务，允许通过 REST API 访问 OpenAI 的强大语言模型；但彼时该服务只对

OpenAI 刚刚宣布正式推出 GPT-4。GPT-4 是 Generative Pre-trained Transformer 4 的缩写，即生成型预训练变换模型 4。 公告写道，GPT-4 是一个多模态大型语言模型（支持接受图像和文本输入，以文本形式输出），也是 OpenAI 努力扩展深度学

GPT-3 所需的数千万美元。此外，MPT-30B 模型的质量超过了 OpenAI 在 2020 年发布的初版 GPT-3。由于 MPT-30B 的成本较低，体积较小，它也可以更快速地被训练，并部署在本地硬件设备上。 MosaicML 使用了 Alibi 和 FlashAttention 技术来优化

用。聊天模型建立在完全开源的数据之上，不使用来自 OpenAI 等封闭模型的提炼数据 - 确保在开放或商业应用程序中的使用。 其中，Base 模型是基础大语言模型，在 RedPajama 数据集上进行了训练，采用和 Pythia 模型一样的架构。

真正像人类的 AI，而无需投资数百万美元，也让这类 AI 不再是只有大型科技公司才能负担得起的东西，数以百万计的小公司也将能够从中受益。 除此之外，让各个小公司构建自己的模型，而不将数据通过 API 发送给专有模型背