微软推出 AI 代码审查工具,可将准确率提升至 >80%


微软宣布推出一种可以提高大型语言模型性能的新工具 Jigsaw。“大型的预训练语言模型(如 GPT-3、Codex 等),可以被调整为从程序员意图的自然语言规范中生成代码。这种自动化模型有可能提高世界上每个程序员的生产力;但是,由于这些模型可能难以理解程序语义,因此所生成的代码的质量不能得到保证。” 根据介绍,Jigsaw 部署了理解程序语法和语义的后处理技术,然后利用用户反馈来提高未来的性能;该工具旨在使用多模式输入为 Python Pandas API 合成代码。Pandas 是数据科学中广泛使用的 API,具有数百个用于 manipulating dataframes 或具有行和列的表的函数。 微软方面称,其经验表明,随着这些大型语言模型演变为根据意图合成代码,Jigsaw 可以在提高系统准确性方面发挥重要作用。 像 OpenAI 的 Codex 这样的大型语言模型正在重新定义编程领域。软件开发人员在解决编程任务时,可以为预期的代码片段提供英文描述,Codex 可以用 Python 或 JavaScript 等语言合成预期的代码。但合成的代码可能不正确,甚至可能无法编译或运行。Codex 用户有责任在使用代码之前对其进行审查。Jigsaw 团队解释称,通过 Project Jigsaw,其目标是使部分审查自动化,以提高使用 Codex 等大型语言模型进行代码合成的开发人员的生产力。 微软认为 Jigsaw 可以“完全自动化”检查代码是否编译、处理错误信息以及测试代码是否产生开发人员希望输出的内容的整个过程。“Jigsaw 将预期代码的英文描述以及 I/O 实例作为输入。通过这种方式,它将输入与相关的输出配对;并提供质量保证,即输出的 Python 代码将在提供的输入上编译并产生预期的输出。” 在其 ICSE 2022 论文 Jigsaw:Large Language Models meet Program Synthesis 中,微软方面在 Python Pandas 上评估了这种方法。使用 Jigsaw,用户可以提供对预期转换的英文描述、input dataframe 和相应的 output dataframe,然后让 Jigsaw 合成预期代码。 Jigsaw 获取英语查询并使用适当的上下文对其进行预处理,以构建可以馈送到大型语言模型的输入。微软在实验中发现,Jigsaw 可以在 30% 的时间内创建正确的输出。如果代码失败,那么修复过程在后处理阶段开始。 在后处理过程中,Jigsaw 应用了三种变换来修复代码。这些转变中的每一个都是由他们在 GPT-3 和 Codex 中观察到的故障模式所激发的。而 GPT-3 和 Codex 失败的方式都类似,因此 Jigsaw 解决这些失败模式的后处理对两者都很有用。 微软在各种数据集上评估了 Codex 和 Jigsaw (with Codex),并测量了准确率。Codex 给出了约 30% 的开箱即用的准确性,Jigsaw 则将准确率提高到 60% 以上;通过用户反馈,准确率可提高到 80% 以上。接下来,他们将继续致力于完善 Jigsaw,努力将在 Python Pandas API 上的经验推广到其他 API 和其他语言上;在通过自动化提高程序员生产力方面发挥重要作用。 更多详情可查看官方博客。

相關推薦

2023-10-26

种人工智能生成内容,但不包括总结书籍等用途的应用。微软、OpenAI等投入1000万美元用于增强生成式AI产品的安全微软、OpenAI等公司合资1000万美元,任命Chris Meserole为“前沿模型论坛”的执行董事,旨在提高生成式AI产品的安全

2023-11-10

档、电子表格和演示文稿的查看和编辑功能。它高度兼容微软 Office 格式,包括 .docx、.xlsx 和 .pptx 等文件格式,并支持实时协作编辑,使团队成员能够同时在同一文档上进行实时协作。 ONLYOFFICE 文档可与多种云服务进行集成,

2023-11-06

为第一批模型伙伴和投资伙伴。 2023年8月23日,昆仑万维推出国内第一款AI搜索产品——“天工AI搜索”,并开启内测申请。“天工AI搜索”深度融合AI大模型能力,通过人性化、智能化的方式全面提升用户的搜索体验,为用户提

2022-09-10

。AI算法持续突破创新,模型复杂度指数级提升的同时,准确率和效率也在不断提高,在各个细分领域应用加速落地。随着芯片处理能力提升、硬件价格下降、神经网络模型优化,AI 算力也在大幅提升。与此同时,AI 产业级应用

2023-06-08

。其次,iOS 的听写功能基于新的语音识别模型,识别的准确率更高。   还有一个好玩的新功能:“贴纸”,可以把表情包贴到对话框里 其次还有新的 StandBy 模式,充电(或者其他用不着)的时候可以把手机侧放,当成

2023-10-14

成为企业管理层的首要任务,并引发了基础模型之外的新工具的巨大创新。医疗保健、生命科学、法律、金融服务和公共部门等许多行业对生成式人工智能的需求正在不断增加。” 该公司预计将在未来十年对组织产生巨大影响

2023-07-06

容的监管等。 新规如果获得通过,可能会要求亚马逊和微软等美国云服务提供商需先经过政府许可,才能给中国提供 AI 芯片相关的云计算服务。 美国商务部预计将在未来几周内实施该限制,作为 10 月份推出的半导体出口管制

2023-08-17

小米 CEO 雷军在 8 月 14 日晚举办的年度演讲上,宣布推出小米最新款仿生四足机器人 CyberDog 2,并面向全球开源。 根据介绍,CyberDog2 从代码、结构图纸都做了最大程度的开源,开源率超 80%;同时提供了图形化编程和各种感应能

2023-10-28

托旗下信息分发及元宇宙业务Opera原生浏览器AI助手Aria,推出了一系列前沿AI功能。 Aria“重用”与“改述”功能 Aria“Compose”与“My Style”功能 Aria已在包括欧盟在内的180多个国家和地区上线,用户突破百万。此外,Aria已覆

2023-05-25

今天凌晨,微软 Build 2023 开发者大会正式开幕,这是 2019 年以来首次回归线下举办,主题十分突出,基本是围绕“AI”展开。本文对部分值得开发者关注的亮点进行汇总。 微软推出 Windows Copilot 微软宣布在 Windows 11 中加入名

2023-09-23

据技术都能四世同堂,凭什么开发 30 岁就要被干掉? 微软宣布将发布统一的人工智能助手 Copilot,称之为“Microsoft Copilot”;可在 Windows 11、Microsoft 365 以及 Edge 和必应的网络浏览器中使用。 公告指出,Copilot 将作为 Windows 11

2022-09-06

,在风控数据上取得了非常不错的效果,提升了10%以上的准确率和召回率;基于此,我们在公有云上也推出了文本风控解决方案,在多个客户场景里落地并取得不错的效果; 随着 UGC 等用户生成内容不断涌现,对从文本提取标

2023-01-20

关注,它的功能处于消费者人工智能技术对话的最前沿。微软已经准备好向 OpenAI 投资,将其 AI 技术融入到 Windows 和其他微软产品中。谷歌也参与了 OpenAI 技术的开发,但它也在研发属于自己的对话模型,并宣称即将通过子公司

2023-03-21

exisNexis PatentSight数据统计,腾讯2021年AI专利拥有数量超越微软成为全球第一。 在基础软件方面,腾讯目前已具备服务器操作系统的全链路自研能力,发起并深度参与了 OpenCloudOS 操作系统开源社区;以及连续第六年入围