JetBrains 宣布已开源其代码补全大模型 Mellum,支持 Java、Kotlin、Python、Go、PHP、C、C++、C#、JavaScript、TypeScript、CSS、HTML、Rust、Ruby 的代码补全。
Mellum 是一个多语言、4B 参数模型,专门针对代码补全进行了优化。该公司表示,Mellum 是一种“focal model”,专为代码补全而构建。
但代码补全仅仅是一个开始。Mellum 将发展成为一个 focal model 系列,每个模型专门用于不同的编码任务 —— 从代码补全到差异预测等等。
Mellum 不仅仅是一个开源模型的微调版本。它是我们从零开始训练的模型,用于支持 JetBrains IDE 中基于云端的代码补全,并于去年向公众发布。它也是计划中的代码专用模型系列中的第一个。
JetBrains 方面称,他们决定将 Mellum 开源是因为相信透明、协作和共享进步的力量。“从 Linux 和 Git 到 Node.js 和 Docker,开源推动了技术领域一些最重大的飞跃。鉴于开源 LLM 如今的表现已经超越了一些行业领先者,我们有理由相信,AI 的总体发展也可能遵循类似的轨迹。”
一些基准测试结果如下:
官方建议称,Mellum 的当前版本最适合探索 AI 在软件开发中的作用的 AI/ML 研究人员,或作为学习如何构建、微调和调整特定领域语言模型的基础的 AI/ML 工程师或教育工作者。