无损压缩算法 LZ4 发布 v1.9.4,显著提升解压速度


LZ4 v1.9.4 已发布,这是一个维护版本,包含大约 350 个 commit,也是近两年来发布的首个点版本更新。发布公告写道,liblz4 API 的稳定部分没有变更,使得这个版本可以直接替换现有的功能。开发团队也推荐用户升级到新版本。

LZ4 是一种无损数据压缩算法,着重于压缩和解压缩速度。它属于面向字节的 LZ77 压缩方案家族。该算法提供一个比 LZO 算法稍差的压缩率 —— 这逊于 gzip 等算法。但是,它的压缩速度类似 LZO —— 比 gzip 快几倍;而解压速度显著高于 LZO。

LZ4 v1.9.4 对性能进行了不少优化,比如提升了解压速度:

  • 针对ARM64平台,将解压速度提升了大约 20%。例如苹果 M1/M2 设备、现代 ARM64 服务器和其他较新的 64 位 Arm SoC 上均可以看到两位数的解压速度优化。
  • 对于部分涉及小数据块和其他因素的数据压缩的特定场景,解压速度大约提升了 70%
  • 此外,使用lz4frame格式压缩数据的解压缩速度提升了大约 40%,因为现在可以忽略解压缩期间的校验和验证

LZ4 v1.9.4 还为 LZ4 工具库添加了实验性功能liblz4、修复和更新 Makefile 构建,以及改进文档等。甚至为 LZ4 构建系统代码添加了 Solaris 10 兼容性。

详情查看 release note。


相關推薦

2022-02-22

展其压缩能力。 Zstd (Zstandard) 是由 Facebook 开源的快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。Zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩权衡可通过小增量进行配置。

2021-12-10

此前,Ubuntu 将其 Initramfs 的压缩算法从 LZ4-9 (LZ4 压缩算法最高等级)改成了 Zstd -19 (Zstd 压缩算法最高等级)。然而 12月9日,Canonical 公司的 Julian Andres Klode 提出,Zstd -19 压缩等级导致 Initramfs 出现非常严重的解压时间和内

2023-07-05

API 现在支持 4:4:1(transposed  4:1:1)色度子采样,允许无损转置或旋转 4:1:1 JPEG 图像进行无损裁剪、部分解压缩或解压缩为平面 YUV 图像。 修复了各种 segfaults 和缓冲区溢出 (CVE-2023-2804)在尝试使用颜色量化或合并色度上采

2023-04-25

用 McMilk 的 7z fork v1.5.4r4 更新了 7z sfx 模块,支持额外的压缩方法。 现在可以使用 zpaqfranz 作为 .zpaq 格式的替代后端 代码 (macOS) 修正了打开自定义应用程序 修正了 7z sfx 格式和 7z 格式的压缩方法现在都有相应的保存。

2022-09-14

FLAC 是 Free Lossless Audio Codec 的缩写,它可以减少存储数字音频信号所需的存储空间,而不需要在此过程中删除信息。 由该软件读取和产生的文件被称为 FLAC 文件。由于这些文件(遵循 FLAC 格式)也可以被其他软件读取和写入,

2022-01-13

此在这个过程中引入了 Zswap 特性。 zswap 本质上是一个压缩工具。当一个进程即将被移动到 swap 文件里面时,zswap 会对其进行压缩,并检查压缩过的新页面是否仍需要移动,或者说可以保留在 RAM 中。如果压缩过的页面可以留

2023-06-12

级搜索和排序,批量修改URL等功能 内置水印添加、图片压缩、图片缩放、图片旋转和图片格式转换等功能,支持自定义配置,且可以通过CLI命令行调用 支持管理所有图床,可以在线进行云端目录查看、文件搜索、批量上传、

2023-04-15

见方式,所以它引入了专门的快速路径进行解析。 指针压缩在 V8 和 Oilpan(DOM 对象的垃圾收集器)中都被用来节省内存。Google 对压缩和解压指针的方式进行了优化,并避免压缩高流量的字段。鉴于这些是较高频率的操作,它

2022-11-09

前 DirectStorage 1.1 已发布 ,这个版本正式带来了 GPU 解压缩功能,在解压游戏资源方面加速了好几倍。 新东西: GPU 解压缩和 Gdeflate 压缩格式现已可用。 添加了 EnqueueSetEvent ,以使用 Win32 事件对象进行完成通知。 性能

2023-04-24

步,但此次测试比较匆忙,还需要仔细研究才能断定。 压缩测试: Zstd 压缩测试是测量了使用 Zstd 压缩技术压缩/解压一个样本文件所需的时间(结果是速度快慢,分数越高越好)。 这个环节,主要是涉及 CPU 负载,英特尔

2023-11-08

介绍 Tailchat 是一款插件化易拓展的开源 IM 应用。可拓展架构赋予 Tailchat 无限可能性。 前端微内核架构 + 后端微服务架构 使得 Tailchat 能够驾驭任何定制化 / 私有化的场景 面向企业与私域用户打造,

2021-12-22

为“相当棒的图像格式”。QOI 可以用于将 RGB 和 RGBA 图像无损地压缩为与 PNG 类似的大小,相同的文件大小下,QOI 的压缩和解压缩比 PNG 要快 3-4 倍。另外,QOI 可以和 PNG 格式相互转化。 QOI 非常简洁,它源代码只有大约 300 行

2023-04-08

动态 token 的鉴权过程的支持;此外还支持了 MQTT 连接中压缩和解压,减少边云传输的带宽损耗。 分析能力增强。我们添加了许多新的转换函数,包括 JSON 字符串相关、base64 编码相关以及压缩相关的函数,方便用户更灵活地

2023-01-04

些常规优化和修复,部分内容如下: feat(rdb save): 创建压缩器接口 #538 fix(helm): Chart.yaml - 添加主页、关键字、来源、kubeVersion  #542 功能:为容器添加健康检查 #544 支持 lz4 压缩 #545 feat(server): json 集类型支持 #546 feat(c