OpenAI 正式发布 GPT-4

OpenAI 刚刚宣布正式推出 GPT-4。GPT-4 是 Generative Pre-trained Transformer 4 的缩写，即生成型预训练变换模型 4。

公告写道，GPT-4 是一个多模态大型语言模型（支持接受图像和文本输入，以文本形式输出），也是 OpenAI 努力扩展深度学习的最新里程碑。虽然 GPT-4 对于许多现实场景的处理比人类差，但它在各种体现专业和学术能力的 benchmark 上，已表现出和人类相当的水平。

例如，GPT-4 通过了模拟律师考试，其分数在应试者的前 10% 左右；相比之下，GPT-3.5 的得分却在倒数 10% 左右。OpenAI 表示，他们花了 6 个月的时间来使用对抗性测试程序，以及通过 ChatGPT 的经验教训迭代调整 GPT-4，从而在真实性和可控性等方面取得了有史以来最好的结果（尽管远非完美）。

使用示例

OpenAI 用一张梗图演示了 GPT-4 特有的「多模态」功能。

用户提问：解释下图的笑点是什么，并对图片中的每部分进行描述。

GPT-4：

The image shows a package for a "Lightning Cable" adapter with three panels.

Panel 1: A smartphone with a VGA connector (a large, blue, 15-pin connector typically used for computer monitors) plugged into its charging port.

Panel 2: The package for the "Lightning Cable" adapter with a picture of a VGA connector on it.

Panel 3: A close-up of the VGA connector with a small Lightning connector (used for charging iPhones and other Apple devices) at the end.

The humor in this image comes from the absurdity of plugging a large, outdated VGA connector into a small, modern smartphone charging port.

翻译如下：

图片显示了一个"Lightning Cable"适配器的包装，总共包含三个部分。

面板1：一部智能手机，其充电端口插着一个 VGA 接口（大的蓝色 15 针接口，通常用于电脑显示器）。

面板2："Lightning Cable"适配器的包装上有一张 VGA 接口的图片。

面板3：VGA 连接器的特写，末端是一个小的 Lightning 连接器（用于为 iPhone 和其他苹果设备充电）。

这张图片的笑点来自于：展示了将一个大的、过时的 VGA 连接器插入一个小的、现代的智能手机充电端口的荒谬性。

上面的例子看起来很简单，OpenAI 紧接着展示了高级用法——读论文。简单来说就是给 GPT-4 提供论文的图片格式文件，让它阅读并总结出要点。效果如下：

甚至直接让 GPT-4 回答图片中对应题号的问题：

GPT-4 局限性

尽管功能强大，但 GPT-4 与早期的 GPT 模型具有相似的局限性，即生成的结果不符合事实。因此它仍然不完全可靠（它会产生“幻觉”事实并出现推理错误）。

虽然这仍然是一个问题，但 GPT-4 相对于以前的模型（它们本身在每次迭代中都在改进）显着减少了“幻觉”。在内部的对抗性真实性评估中，GPT-4 的得分比最新的 GPT-3.5 高 40%：

与 GPT 3.5 的对比

据介绍，对于日常的谈话，GPT-3.5 和 GPT-4 之间的区别可能很微妙。但当任务的复杂性达到足够的阈值时，差异就会出现——GPT-4 比 GPT-3.5 更可靠、更有创意，并且能够处理更细微的指令。

为了了解这两种模型之间的区别，OpenAI 通过各种 benchmark 进行了测试，包括最初为人类设计的模拟考试。从下图可以看出，GPT-4 的成绩大部分都比 GPT-3 好。

GPT-4 也在多项测试项目中取得了接近满分的成绩：

• USABO Semifinal Exam 2020（美国生物奥林匹克竞赛）
• GRE 口语

OpenAI 还将机器学习模型的传统 benchmark 用于评估 GPT-4。结果显示，GPT-4 已经远远超过现有的大型语言模型，以及大多数最先进的 (SOTA, state-of-the-art) 模型。benchmark 数据如下：

在 MMLU benchmark 中（一个基准数据集，包括来自于 STEM、人文、社科等 57 个学科的选择题，它用于测试 LLM 的世界知识和问题解答的能力），GPT-4 处理中文的准确度大约是 80%，已经优于其他 LLM 的英文表现，比如 GPT-3.5、Chinchilla、PALM。

试用方式

1. ChatGPT Plus 订阅用户可尝鲜体验，他们将在 chat.openai.com 上获得具有使用上限的 GPT-4 访问权限。
2. 调用 API，访问 https://openai.com/waitlist/gpt-4 进入等待名单