微软推出 AI 代码审查工具,可将准确率提升至 >80%


微软宣布推出一种可以提高大型语言模型性能的新工具 Jigsaw。“大型的预训练语言模型(如 GPT-3、Codex 等),可以被调整为从程序员意图的自然语言规范中生成代码。这种自动化模型有可能提高世界上每个程序员的生产力;但是,由于这些模型可能难以理解程序语义,因此所生成的代码的质量不能得到保证。” 根据介绍,Jigsaw 部署了理解程序语法和语义的后处理技术,然后利用用户反馈来提高未来的性能;该工具旨在使用多模式输入为 Python Pandas API 合成代码。Pandas 是数据科学中广泛使用的 API,具有数百个用于 manipulating dataframes 或具有行和列的表的函数。 微软方面称,其经验表明,随着这些大型语言模型演变为根据意图合成代码,Jigsaw 可以在提高系统准确性方面发挥重要作用。 像 OpenAI 的 Codex 这样的大型语言模型正在重新定义编程领域。软件开发人员在解决编程任务时,可以为预期的代码片段提供英文描述,Codex 可以用 Python 或 JavaScript 等语言合成预期的代码。但合成的代码可能不正确,甚至可能无法编译或运行。Codex 用户有责任在使用代码之前对其进行审查。Jigsaw 团队解释称,通过 Project Jigsaw,其目标是使部分审查自动化,以提高使用 Codex 等大型语言模型进行代码合成的开发人员的生产力。 微软认为 Jigsaw 可以“完全自动化”检查代码是否编译、处理错误信息以及测试代码是否产生开发人员希望输出的内容的整个过程。“Jigsaw 将预期代码的英文描述以及 I/O 实例作为输入。通过这种方式,它将输入与相关的输出配对;并提供质量保证,即输出的 Python 代码将在提供的输入上编译并产生预期的输出。” 在其 ICSE 2022 论文 Jigsaw:Large Language Models meet Program Synthesis 中,微软方面在 Python Pandas 上评估了这种方法。使用 Jigsaw,用户可以提供对预期转换的英文描述、input dataframe 和相应的 output dataframe,然后让 Jigsaw 合成预期代码。 Jigsaw 获取英语查询并使用适当的上下文对其进行预处理,以构建可以馈送到大型语言模型的输入。微软在实验中发现,Jigsaw 可以在 30% 的时间内创建正确的输出。如果代码失败,那么修复过程在后处理阶段开始。 在后处理过程中,Jigsaw 应用了三种变换来修复代码。这些转变中的每一个都是由他们在 GPT-3 和 Codex 中观察到的故障模式所激发的。而 GPT-3 和 Codex 失败的方式都类似,因此 Jigsaw 解决这些失败模式的后处理对两者都很有用。 微软在各种数据集上评估了 Codex 和 Jigsaw (with Codex),并测量了准确率。Codex 给出了约 30% 的开箱即用的准确性,Jigsaw 则将准确率提高到 60% 以上;通过用户反馈,准确率可提高到 80% 以上。接下来,他们将继续致力于完善 Jigsaw,努力将在 Python Pandas API 上的经验推广到其他 API 和其他语言上;在通过自动化提高程序员生产力方面发挥重要作用。 更多详情可查看官方博客。

相关文章

2022-09-10

。AI算法持续突破创新,模型复杂度指数级提升的同时,准确率和效率也在不断提高,在各个细分领域应用加速落地。随着芯片处理能力提升、硬件价格下降、神经网络模型优化,AI 算力也在大幅提升。与此同时,AI 产业级应用

2023-05-25

今天凌晨,微软 Build 2023 开发者大会正式开幕,这是 2019 年以来首次回归线下举办,主题十分突出,基本是围绕“AI”展开。本文对部分值得开发者关注的亮点进行汇总。 微软推出 Windows Copilot 微软宣布在 Windows 11 中加入名

2023-03-21

exisNexis PatentSight数据统计,腾讯2021年AI专利拥有数量超越微软成为全球第一。 在基础软件方面,腾讯目前已具备服务器操作系统的全链路自研能力,发起并深度参与了 OpenCloudOS 操作系统开源社区;以及连续第六年入围

2022-09-22

和模型的技术演进及创新进展如何?如何提升算法模型的准确率和效率?如何将 AI 框架和模型应用于实际场景中,实现产业创新?在 AICON 2022“AI 框架与模型”分论坛上,众多 AI 领域专家将共同探讨这些问题。 “AI 框架与

2022-09-06

,在风控数据上取得了非常不错的效果,提升了10%以上的准确率和召回率;基于此,我们在公有云上也推出了文本风控解决方案,在多个客户场景里落地并取得不错的效果; 随着 UGC 等用户生成内容不断涌现,对从文本提取标

2023-04-02

的发布似乎已经引起了科技巨头们的关注。据悉,谷歌、微软和苹果等公司已经开始研 NGPTL++ 的潜力,并考虑将其应用到未来的项目中。开源PHP(OSCHINA)将持续关注 NGPTL++ 的动态。 项目地址:https://github.com/NGPTLlang-projec/NGPTLpp

2023-02-09

Bard,时隔仅仅一天时间,刚向 OpenAI 投资数十亿美元的微软就做出了回应。在今天凌晨举行的一场小型发布会上,微软展示了必应(Bing)中由 AI 驱动的新搜索功能,以及内置了相同 AI 技术的新版本 Edge 浏览器。 微软认为通

2023-01-20

关注,它的功能处于消费者人工智能技术对话的最前沿。微软已经准备好向 OpenAI 投资,将其 AI 技术融入到 Windows 和其他微软产品中。谷歌也参与了 OpenAI 技术的开发,但它也在研发属于自己的对话模型,并宣称即将通过子公司

2022-10-26

达到了世界一流的水平(在上采样和类似生产的设置中,准确率 > 98%)。 Private Detector 基于 Apache-2.0 协议,开发者可以将其作为标准来实现,以按原样模糊处理色情图像,或者使用额外的训练样本对其进行微调。仓库里除了

2022-05-26

微软在 Build 2022 大会上发布了一些旨在支持 Windows on Arm 的公告。其中包括宣布推出一款与高通合作创建的,基于 Arm 的开发者设备 Project Volterra。Project Volterra 使用骁龙处理器和神经处理单元(NPU),允许开发者构建云原生 AI 应

2023-04-21

能说 GitHub 的增长有多少与其对 OpenAI 技术的拥抱(以及微软更广泛的拥抱)有关,但相关的热议可能有所助益。” 一些具体数据包括: 与去年同期相比,自 2022 年 1 月以来, Stack Overflow (stackoverflow.com) 的流量平均每月下

2023-04-07

问题,制作新的镜像; 调试RISC-V上动态翻译块缓存相关代码; ROMA笔记本适配,镜像制作,解决kwin启动失败、网络、黑框、镜像卡死的问题; 编写镜像烧录和启动手册; 解决ukui-kwin自动拉起的问题; 解决VisionFive2适配

2023-05-27

询问相关问题,将很快得到准确的答复。 该功能感觉和微软即将在 Windows 11 上推出的 Windows Copilot 有点像。同样是非常熟悉内部文档,因此在面对问题的时候可快速响应。 “Aria” 基于 Opera  自家的“Composer”基础

2023-04-01

能对人工智能研究的当前氛围产生任何影响。因为谷歌和微软等科技公司急于部署新产品,往往会把一些对安全和道德的担忧视而不见。但这也表明,越来越多的人反对现在这种“ship it now and fix it later”的方法;这种反对派意