微软开源 Visual ChatGPT,五天斩获两万 stars


除了大力投资 Open AI ,微软还亲自下场大搞 AI 。5 天前,微软开源了 Visual ChatGPT ,这个软件可以连接 ChatGPT 和一系列视觉模型,以实现在 ChatGPT 的聊天过程中发送和接收图像

众所周知,尽管 ChatGPT 的功能非常强大,甚至可以用来写小说写论文,但目前也仅限于文字交流。但表情包早已成为日常文本聊天不可或缺的功能。

Visual ChatGPT 的出现,就像在以文字交流的 APP 中首次添加了表情包功能,而且还是根据用户输入的文本自动生成的“定制化表情包”,大大提升了 ChatGPT 的趣味性和应用领域。

一方面,ChatGPT(或 LLM)充当通用界面,提供对图像的理解和用户的交互功能。另一方面,基础图像模型通过提供特定领域的深入知识来充当背后的技术专家。

仓库中列出了技术架构及原理图:

Demo 中共进行了三种不同类型的对话,分别是 Visual ChatGPT 接收用户的图像、Visual ChatGPT 根据用户的文本修改图像并发送给用户,以及 Visual ChatGPT 识别图片,并回答用户的提问。 Visual ChatGPT 会根据用户的输入,判断是否需要使用 VFM  (Visual Foundation Model,视觉基础模型)来处理该问题。

仓库中还给出了 Visual ChatGPT 所使用的图像模型和显存使用情况:

更详细的内容可以阅读 Visual ChatGPT 的 arxiv 论文:Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models

Visual ChatGPT 在 3月 10 日发布,截至 3 月 15 日早 9 点,该项目已暂获 19547 个 Stars ,可谓是火箭式上涨。


相關推薦

2023-05-25

6 月份开始在 Windows 11 预览版中提供。 必应 (Bing) 成为 ChatGPT 内置搜索引擎 微软宣布 ChatGPT 将使用 Bing 作为其内置搜索数据提供商、与 OpenAI 共建统一 AI 插件平台,以及扩展 Bing 聊天机器人在微软 Copilots 产品线上的广泛应用

2023-06-07

继续保持第一主要取决于人工智能的普及情况。如果像 ChatGPT 这样的工具持续炙手可热,其势必会吸引一些新入局者,从而为 Python 提供保障。如果不是的话,Python 第一的位置则岌岌可危。 除了这场第一名的争夺战之外,本月

2024-07-18

机器人带给更多用户。Anthropic 的这一最新举措旨加强与 ChatGPT 之间的竞争力,让 Claude 在更多地方可用。 Claude Android 应用程序的工作方式与5 月份发布的 iOS 版本相同,包括免费访问 Anthropic 的最佳 AI 模型 Claude 3.5 Sonnet,以及

2023-04-06

队近日发布的一篇论文——《HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace》介绍了一个大模型协作系统。 论文地址:https://arxiv.org/abs/2303.17580 该系统提出了一种让 LLM 充当控制器的新方法,让 LLM 来管理现有的 AI

2022-02-24

20 年前的 2002 年 2 月 13 日,仍高举着闭源大旗的微软正式发布 Visual Studio .NET,时任首席执行官比尔·盖茨将其描述为“第一个用于构建 XML Web 服务和下一代互联网应用程序的完全集成的开发环境”。 它被创造出来的目的

2024-10-23

,中国信息通信研究院承办,中国信息通信研究院云计算开源产业联盟、金融行业开源技术应用社区、通信行业开源社区、科技制造开源社区、汽车行业开源社区、可信开源社区共同体、可信开源合规计划支持的开源领域顶级盛

2022-05-26

微软在 Build 2022 大会上发布了一些旨在支持 Windows on Arm 的公告。其中包括宣布推出一款与高通合作创建的,基于 Arm 的开发者设备 Project Volterra。Project Volterra 使用骁龙处理器和神经处理单元(NPU),允许开发者构建云原生 AI 应

2023-09-01

【直播预告】eBPF 到底是可观测领域的神器 or 鸡肋? 微软发布了 Visual Studio for Mac 退役的公告。 公告写道,最新版本 Visual Studio for Mac 17.6 会继续获得额外 12 个月的支持,直至 2024 年 8 月 31 日,并提供针对安全问题的服

2023-01-07

对 OpenAI 投资正在取得回报,该公司正计划推出一个使用 ChatGPT 来回答搜索查询的 Bing 版本。该版本将使用 ChatGPT 背后的人工智能来回答一些搜索查询,而不仅仅是显示链接列表。其预计在今年 3 月底之前推出,以加强 Bing 与谷

2024-10-18

10月16日,备受瞩目的OSCAR开源产业大会如期举行。大会上,openKylin社区以卓越的开源贡献和创新能力,赢得了业界的高度认可,一举斩获三项重量级奖项。这不仅是对openKylin过去努力的肯定,更是对未来持续发展的激励与鞭策。

2023-04-25

实不够好用,再加上 Visual Studio 社区用户不断催促改进,微软决定开始改善,首先会将重点放在 JavaScript 和 TypeScript 的开发体验上。 微软目前正在开发 Visual Studio 2022 17.6,也计划在 17.6 实装这个改进,除了优化现有的语法高亮

2023-07-13

定驳回美国联邦贸易委员会(FTC)的初步禁令请求,批准微软继续推进以 690 亿美元收购动视暴雪的交易。 法官在最新的裁决中表示: 微软对动视暴雪的收购被称为科技史上规模最大的收购,它值得仔细审视。目前这种审查

2023-01-19

上最先进的人工智能模型应用于他们自己的业务需要时,ChatGPT很快就会出现在 Azure OpenAI 服务中,该服务现在已经普遍可用。” 根据介绍,随着 Azure OpenAI 服务的普遍可用,更多企业可以申请访问包括 GPT-3.5、Codex 和 DALL・

2023-07-12

突破了 3000 万,五天用户数突破了 1 亿,它先后打破了 ChatGPT 几个月前创造的记录:成为最快突破一百万和一亿用户数的消费级应用。 根据 Cloudflare 的监测,Threads 上线之后,Twitter 的流量显著下降。 其实马斯克接手 Twitter 之