谷歌开源的语音编解码器 Lyra V2 发布


Lyra 是谷歌去年开源的低比特率语音编解码器,与开放的 AV1 编解码器相结合,可以在 56kbps 的连接上实现语音聊天。Lyra 利用机器学习和其他技术进行极低比特率的语音压缩,可以在 3kbps 的速度下运行。

谷歌去年正式开源 Lyra,近日宣布推出 Lyra V2。与 V1 相比,Lyra V2 采用了新架构、支持更多平台、提供可扩展的比特率、具有更好的性能,可生成质量更高的音频。

  • 采用新架构

  • 提供更好的性能

新架构使延迟从之前版本的 100ms 减少到 20ms。在这方面,Lyra V2 可与目前使用最广泛的音频编解码器Opus for WebRTC 相媲美,其典型延迟分别为 26.5ms、46.5ms 和 66.5ms。

Lyra V2 的编码和解码速度也比以前的版本快五倍。在 Pixel 6 Pro 手机上,Lyra V2 需要 0.57ms 来编码和解码 20ms 的音频帧,比实时快 35 倍。降低的复杂性意味着比 V1 更多的手机可以实时运行 Lyra V2,从而降低了整体电池消耗。

  • 生成质量更高的音频

 

点此查看具体的音频质量对比。

Lyra V2 继续提供 Lyra V1 中已有的内容(构建工具、测试框架、C++ 编码和解码 API、信号处理工具链和示例 Android 应用程序)。使用过 Lyra V1 API 的开发人员会发现 V2 API 看起来很熟悉,但有一些变化。例如,现在可以在编码期间更改比特率(更多信息可在发行说明中获得)。此外,模型定义和权重包含在.tflite文件中。与 V1 一样,此版本是 beta 版本,预计 API 和比特流会发生变化。

发布公告 | Release Note


相關推薦

2022-11-12

所有用户升级。 Lyra 是谷歌去年开源的低比特率语音编解码器,与开放的 AV1 编解码器相结合,可以在 56kbps 的连接上实现语音聊天。Lyra 利用机器学习和其他技术来实现可在 3kbps 下运行的极低比特率语音压缩。 具体更新内容

2022-10-04

。最新消息指出,新版本似乎将强制所有设备使用 AV1 编解码器。此前,设备只需要支持 VP8 和 VP9(AV1 的前身),谷歌希望依赖 AV1 以节省带宽和存储空间。不仅如此,一些使用 Android 14 的设备似乎还将被迫支持 64 位应用程序。

2023-10-25

,桌面版 Chrome 浏览器中计划淘汰并移除对 Theora 视频编解码器的支持。“Theora 的使用率很低(现在还经常出现错误),对大多数用户来说已不再需要支持。” 针对媒体编解码器的零日攻击激增。 UKM 的使用率已降至可测量

2023-11-03

继谷歌计划从 Chrome/Chromium 浏览器中移除对 Theora 编解码器格式的支持之后,Mozilla 也计划采取类似举措,逐步将 Theora 从 Firefox 中淘汰。 目前,Theora 约占 Firefox 媒体资源负载的约 0.09%。开发者 Paul Adenot 指出,拥有大量 Theora 内

2024-02-09

Socket.D 协议 是基于"事件"和"语义消息""流"的网络应用层传输协议。有用户说,“Socket.D 之于 Socket,尤如 Vue 之于 Js、Mvc 之于 Http”。支持 tcp, udp, ws, kcp 传输。协议特点可参考《官网介绍》。 pyton 已开发完成,再在测试中;go,

2022-05-08

未正确传递的问题 #1906 feat(transport): 为 gRPC 添加 JSON 编解码器 #1908 fix(cmd): 修复 lint 问题  #1919 feat(registry): consul 客户端添加 DeregisterCriticalServiceAfter 选项  #1917 feat: 为 statck 跟踪添加错误原因  #1910 fix(cmd): 生成

2024-07-24

修改 删掉令人迷惑的 "Connection not allowd" 弹窗 (#8566) 语音通话不再临时修改输入设备 (#8703)  对自建服务器连接做更频繁的在线查询 (22c6f5e) 修复 修复 Intel osx 14 上的双托盘图标 (#8569) 某些 Linux 上异常图像 (#6627)

2022-10-02

域是 Amazon IVS (Amazon Interactive Video Service),被用于视频编解码器,允许独立于用户浏览器的编解码器支持的一致视频解码。其次是一个 npm 模块 Hyphenopoly,它为 CSS hyphenation 提供了一个 polyfill;核心算法是以的 WebAssembly 模块提供的

2024-07-11

setCodecPreferences 方法允许应用程序禁用特定编解码器(包括 RTX/RED/FEC)的 negotiation。它还允许应用程序使远程对等端优先选择列表中最先出现的编解码器进行发送。 图像和文档的 Accept header 已被更改,以便更

2023-03-14

发(支持 Android 11 或更高版本) 增加 H265 和 AV1 视频编解码器支持 增加 --list-displays 和 --list-encoders 当启用 --forward-on-clicks 时,修复 Chrome 上的点击 对伪编码器错误进行重试 让 --turn-screen-off 在所有显示器上都能工作 恢

2023-03-22

好足够低,甚至是免费。高通最近的一项举措就为 aptX 编解码器得到更广泛的使用打下了一个基础,那就是开源。 Android 专家 Mishaal Rahman 发现,在去年 11 月,高通的工程师就向 AOSP 提交了代码,提交内容显示,高通向 AOSP 添加

2022-12-20

了 credentialsResolver 设置 Breaking change 默认编解码器更改为 Kryo5Codec Fixed 在PubSub 订阅尝试之间未发现新的 Redis 节点 codec,nettyHook,addressResolverGroupFactory,connectionListener 设置无法通过 Micronaut 配置定义 evictions metrics

2024-01-11

框架的支持, 现在还可以使用 Javascript 编写全局的的编解码器了。 有些序列化框架需要指定模式(Schema、IDL)文件才能正确进行序列化(编码)和反序列化(解码), 例如 Protobuf、Avro。这一类的编解码器使用前需要用户在文件->编解

2022-09-14

FLAC 是 Free Lossless Audio Codec 的缩写,它可以减少存储数字音频信号所需的存储空间,而不需要在此过程中删除信息。 由该软件读取和产生的文件被称为 FLAC 文件。由于这些文件(遵循 FLAC 格式)也可以被其他软件读取和写入,