微软开源 Visual ChatGPT,五天斩获两万 stars


除了大力投资 Open AI ,微软还亲自下场大搞 AI 。5 天前,微软开源了 Visual ChatGPT ,这个软件可以连接 ChatGPT 和一系列视觉模型,以实现在 ChatGPT 的聊天过程中发送和接收图像

众所周知,尽管 ChatGPT 的功能非常强大,甚至可以用来写小说写论文,但目前也仅限于文字交流。但表情包早已成为日常文本聊天不可或缺的功能。

Visual ChatGPT 的出现,就像在以文字交流的 APP 中首次添加了表情包功能,而且还是根据用户输入的文本自动生成的“定制化表情包”,大大提升了 ChatGPT 的趣味性和应用领域。

一方面,ChatGPT(或 LLM)充当通用界面,提供对图像的理解和用户的交互功能。另一方面,基础图像模型通过提供特定领域的深入知识来充当背后的技术专家。

仓库中列出了技术架构及原理图:

Demo 中共进行了三种不同类型的对话,分别是 Visual ChatGPT 接收用户的图像、Visual ChatGPT 根据用户的文本修改图像并发送给用户,以及 Visual ChatGPT 识别图片,并回答用户的提问。 Visual ChatGPT 会根据用户的输入,判断是否需要使用 VFM  (Visual Foundation Model,视觉基础模型)来处理该问题。

仓库中还给出了 Visual ChatGPT 所使用的图像模型和显存使用情况:

更详细的内容可以阅读 Visual ChatGPT 的 arxiv 论文:Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models

Visual ChatGPT 在 3月 10 日发布,截至 3 月 15 日早 9 点,该项目已暂获 19547 个 Stars ,可谓是火箭式上涨。


相關推薦

2023-05-25

6 月份开始在 Windows 11 预览版中提供。 必应 (Bing) 成为 ChatGPT 内置搜索引擎 微软宣布 ChatGPT 将使用 Bing 作为其内置搜索数据提供商、与 OpenAI 共建统一 AI 插件平台,以及扩展 Bing 聊天机器人在微软 Copilots 产品线上的广泛应用

2023-06-07

继续保持第一主要取决于人工智能的普及情况。如果像 ChatGPT 这样的工具持续炙手可热,其势必会吸引一些新入局者,从而为 Python 提供保障。如果不是的话,Python 第一的位置则岌岌可危。 除了这场第一名的争夺战之外,本月

2023-04-06

队近日发布的一篇论文——《HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace》介绍了一个大模型协作系统。 论文地址:https://arxiv.org/abs/2303.17580 该系统提出了一种让 LLM 充当控制器的新方法,让 LLM 来管理现有的 AI

2022-02-24

20 年前的 2002 年 2 月 13 日,仍高举着闭源大旗的微软正式发布 Visual Studio .NET,时任首席执行官比尔·盖茨将其描述为“第一个用于构建 XML Web 服务和下一代互联网应用程序的完全集成的开发环境”。 它被创造出来的目的

2022-05-26

微软在 Build 2022 大会上发布了一些旨在支持 Windows on Arm 的公告。其中包括宣布推出一款与高通合作创建的,基于 Arm 的开发者设备 Project Volterra。Project Volterra 使用骁龙处理器和神经处理单元(NPU),允许开发者构建云原生 AI 应

2023-07-12

突破了 3000 万,五天用户数突破了 1 亿,它先后打破了 ChatGPT 几个月前创造的记录:成为最快突破一百万和一亿用户数的消费级应用。 根据 Cloudflare 的监测,Threads 上线之后,Twitter 的流量显著下降。 其实马斯克接手 Twitter 之

2023-07-13

定驳回美国联邦贸易委员会(FTC)的初步禁令请求,批准微软继续推进以 690 亿美元收购动视暴雪的交易。 法官在最新的裁决中表示: 微软对动视暴雪的收购被称为科技史上规模最大的收购,它值得仔细审视。目前这种审查

2023-09-01

【直播预告】eBPF 到底是可观测领域的神器 or 鸡肋? 微软发布了 Visual Studio for Mac 退役的公告。 公告写道,最新版本 Visual Studio for Mac 17.6 会继续获得额外 12 个月的支持,直至 2024 年 8 月 31 日,并提供针对安全问题的服

2023-01-07

对 OpenAI 投资正在取得回报,该公司正计划推出一个使用 ChatGPT 来回答搜索查询的 Bing 版本。该版本将使用 ChatGPT 背后的人工智能来回答一些搜索查询,而不仅仅是显示链接列表。其预计在今年 3 月底之前推出,以加强 Bing 与谷

2023-04-25

实不够好用,再加上 Visual Studio 社区用户不断催促改进,微软决定开始改善,首先会将重点放在 JavaScript 和 TypeScript 的开发体验上。 微软目前正在开发 Visual Studio 2022 17.6,也计划在 17.6 实装这个改进,除了优化现有的语法高亮

2023-01-19

上最先进的人工智能模型应用于他们自己的业务需要时,ChatGPT很快就会出现在 Azure OpenAI 服务中,该服务现在已经普遍可用。” 根据介绍,随着 Azure OpenAI 服务的普遍可用,更多企业可以申请访问包括 GPT-3.5、Codex 和 DALL・

2023-06-08

微软于今天在 Marketplace 上架了一款适用于 Visual Studio Code 的官方 C# 开发套件 —— C# Dev Kit,通过更好地管理、测试,以及提供全新的 AI 功能,为 Linux、macOS 和 Windows 平台的开发者带来了更好的 C# 开发体验。 根据微软官方提

2023-05-25

详情可查看官方博客。 此外,微软还在 Build 2023 上宣布 ChatGPT 现在将使用 Bing 作为其内置搜索数据提供商。Bing AI 已经开始面向 ChatGPT Plus 用户推出,并计划很快将通过一个 ChatGPT 插件为所有免费用户提供。

2022-03-02

不算丰富,并且在使用过程中会伴随着各种各样的 bug,微软将会持续不断地改进 Edge 开发者工具。 已知问题: 尚不支持 Blazor 项目开发 ASP.NET Core 应用程序时,单击预览按钮会出现一个新的外部控制台窗口修改 CSS 时,不