Hugging Face 宣布联合多家机构推动将transformers
库作为模型架构标准,提升 AI 生态兼容性。
Hugging Face 表示正与 vLLM、LlamaCPP、SGLang、Mlx、Qwen、Glm、Unsloth、Axoloth、Deepspeed、IBM、Gemma、Llama、Deepseek、Microsoft、Nvidia、InternLM、Llava、AllenAI、Cohere、TogetherAI 等众多生态系统参与者共同努力,将 transformers
库中的模型定义代码作为标准,旨在为所有模型提供一个统一的真实来源。
Hugging Face 目前正在与最流行的推理引擎(vLLM、SGLang、TGI、...)紧密合作,让它们使用transformers
作为后端:只要模型被添加到transformers
,便支持在这些推理引擎中使用,同时利用每个引擎的优势:推理优化、专用内核、动态批处理等。
这项联合工作将极大地提高不同模型架构在整个 AI 生态系统中的兼容性和互操作性。