机器学习监控初创公司 Arthur 一直在开发一些旨在帮助公司更有效地使用 LLM 的工具。该公司最新发布了一款开源工具 Arthur Bench，以帮助用户为特定数据集找到最佳 LLM。
Arthur 首席执行官兼联合创始人 Adam Wenchel 表示，他们看到了大众对生成式 AI 和 LLM 的浓厚兴趣，因此在产品创造上投入了大量精力。考虑到 ChatGPT 发布还不到一年，目前尚未出现一种有组织的方法来衡量一种工具相对于另一种工具的有效性；在此种背景下，Arthur Bench 应运而生。
“Arthur Bench 解决了我们从每个客户那里都听到过的一个关键性问题，那就是 [在所有的型号选择中]，哪一款最适合你的特定应用。”
Arthur Bench 附带了一套工具，你可以使用它来系统地测试性能；但其真正的价值在于，允许你测试和测量用户用于特定应用程序的提示类型在不同的 LLM 上的表现。
根据介绍，Bench 可以帮助评估：
- 通过跨任务和用例的通用界面标准化 LLM 评估的工作流程
- 测试开源 LLM 是否能与顶级闭源 LLM API 供应商一样出色地处理你的特定数据
- 将 LLM 排行榜和基准的排名转化为你关心的实际用例的分数
Wenchel 指出，你可以测试 100 种不同的提示，然后看看两种不同的 LLM--比如 Anthropic 与 OpenAI--在用户可能使用的提示类型上有什么不同。更重要的是，你可以大规模地进行测试，从而更好地决定哪种模式最适合你的特定用例。