Meta 近日在一篇题为 “High Fidelity Neural Audio Compression”(高保真神经音频压缩)的论文中公布了一项名为 "EnCodec" 的开源音频压缩技术,该技术由 AI 驱动,可以在音频质量没有损失的前提下,将音频压缩到比 MP3 格式还要小 10 倍的程度。
Meta 将这项技术的实现方法分成了一个由三部分组成的系统,经过训练后的 AI 可以将音频压缩到所需的目标大小,其实现过程如下:
- 首先,编码器将未压缩的数据转换为较低帧率的 "latent space" 表示(representation);
- 然后,量化器将这个表示压缩到目标大小,同时跟踪最重要的信息,这些信息以后将被用于重建原始信号(这个压缩信号将通过网络发送或保存在磁盘上);
- 最后,解码器使用单个 CPU 上的神经网络将压缩的数据实时地转变回音频;
至于应用,Meta 表示这种由人工智能驱动的 "超压缩音频" 可以在恶劣的网络条件下获得更快、更优质的通话效果。作为一家 “梭哈” 元宇宙的公司,这项技术还可以提供更加丰富的元宇宙体验(视频会议、影音流媒体、VR 游戏等),而不需要提高带宽。
除了语音通话,这项技术同样可以应用于音乐领域,未来我们有望可以获得高品质、小体积的音频文件。目前这项技术仍处于研究阶段,源代码和一些音频样本都已公开在 GitHub 上。