Whisper 是 OpenAI 推出的一个自动语音识别(ASR)系统,whisper.cpp 则是 Whisper 模型的 C/C++ 移植。whisper.cpp 具有无依赖项、内存使用量低等特点,支持 Mac、Windows、Linux、iOS 和 Android 系统。
whisper.cpp 1.4 增加了整数量化(Integer quantization)和部分 GPU(NVIDIA)支持
整数量化
这可以让 ggml
Whisper 模型从默认的 16-bit 浮点权重转换为 4、5 或 8-bit 整数权重。
由此产生的量化模型在磁盘大小和内存使用方面更低,在某些架构上可以更快地处理,但转录质量在一定程度上会下降。
通过 cuBLAS 支持 GPU
使用 cuBLAS 的结果主要是提高 Encoder 的推理速度,与只用 CPU 处理相比,使用现代 NVIDIA GPU 的 Encoder 评估至少可以快 2-3 倍。
其他
- 可选择让 Whisper 的 Core ML 构建在有或没有 Core ML 模型的情况下工作
- 在 Android 项目文件夹的 readme 中添加一些提示
- ggml:修复 32 位 ARM NEON
- ……
更多详情可查看:https://github.com/ggerganov/whisper.cpp/releases/tag/v1.4.0