阿里巴巴 Qwen 团队提醒开发者,在使用 Qwen3-embedding GGUF 模型时需在末尾添加特殊 token<|endoftext|> 以保证精度,并预告将发布自动处理此问题的更新版本。
阿里巴巴 Qwen 团队表示,他们在社区讨论中注意到,部分开发者在使用 Qwen3-embedding 的 GGUF 模型时,未在上下文末尾附加特殊 token<|endoftext|>,这可能会严重影响模型精度。详细信息可查阅其 Hugging Face 模型卡。
团队表示,llama.cpp 在转换 GGUF 文件时已支持自动添加此 token。他们将很快发布一个更新的 GGUF 模型包,届时开发者将无需再手动处理此问题。