南京大学Websoft研究团队构建了HuggingKG，这是一个基于Hugging Face社区的大型知识图谱，以及配套的多任务基准测试HuggingBench。
这两项资源的推出，将为开源资源的推荐、分类和溯源带来全新的解决方案。两项资源均已在Hugging Face社区开源，同时，为了确保资源的的可持续性和实验结果的可复现性，研究团队在GitHub开源了知识图谱构建和基准测试的代码。这将允许社区成员根据自身需求定制和扩展这些资源。
1. HuggingKG：开源机器学习资源的知识图谱
HuggingKG是首个专注于开源机器学习资源管理的知识图谱，它整合了来自Hugging Face社区的260万节点和620万条边，涵盖了模型、数据集、用户、任务等多种实体类型，以及它们之间的复杂关系。这些关系不仅包括模型演化（如adapter、finetune）和用户互动（如like、follow），还包含了丰富的文本属性（如model card、dataset card）。
通过这种结构化的表示，HuggingKG能够支持复杂的查询和分析任务，例如追踪模型的演化历史、推荐相关数据集以及识别资源类别等。
2. HuggingBench：多任务基准测试
为了评估开源资源管理中的实际挑战，研究团队还开发了HuggingBench，这是一个包含三个创新测试集的多任务基准测试，涵盖了资源推荐（resource recommendation）、任务分类（task classification）和模型溯源（model tracing）等任务。这些测试集利用 HuggingKG 的结构化数据，提供了独特的分析视角和挑战。
论文：https://arxiv.org/abs/2505.17507
代码：https://github.com/nju-websoft/HuggingBench
数据：https://huggingface.co/collections/cqsss/huggingbench-67b2ee02ca45b15e351009a2