F-Droid 更新索引格式,数据量降低 100 倍


Android 足够开放的特性诞生了很多可以替代 Google Play Store 的商店,F-Droid 就是其中一个知名的 Android 应用商店和软件库,F-Droid 的一大特点是主库只包含免费和开源的应用程序,用户无需注册账户就可以通过 F-Droid 的网站或客户端浏览、下载和安装应用。应用中如果包含广告、用户跟踪或对非自由软件的依赖,也都会在描述中一一标明。

该网站还提供其托管的应用程序的源代码,以及运行 F-Droid 服务器的软件,允许任何人构建自己的应用程序库。

随着越来越多的应用程序进入 F-Droid,其仓库规模也在不断增长,那么包含所有应用程序及其元数据的官方仓库索引同样在不断增长。为了节省带宽,并且改善用户体验,近日 F-Droid 带来了 “重磅” 更新,大幅减少了仓库索引的空间占用,最高可达 100 倍。

目前,压缩后的索引大小为8 MB,未压缩的为33 MB。当更新资源库索引时,每个 F-Droid 客户端应用程序都必须一次又一次地下载和处理 8MB。随着此次调整,F-Droid 将只更新有变化的内容,而不是像之前一样完整更新一遍。

具体来说,F-Droid 的仓库索引采用的是 JSON 格式,更新后将利用 RFC 7396 JSON Merge Patch 来创建更小的 JSON 文件,其中只包含自 F-Droid 应用上次更新以来的变化。通过下载一个新的entry.json文件,而不是完整的索引,实现节省带宽、加快更新索引的速度,需要下载和存储的数据也变得更小。

这个 entry.json 文件指向完整的索引,以防应用程序之前从未更新过,或者需要所有的应用程序元数据。entry.json 也包含指向各种较小的 diff 文件的指针。应用程序会自动选择正确的 diff,并且只下载那个小得多的文件。

根据 F-Droid 的计算,最新的 diff 在压缩后只有 80 KB,未压缩的大小则是241 KB(原本这两个数字分别为8 MB33 MB),对照完整索引的话只占其 1%。目前 F-Droid 最新的客户端应用程序已经支持这种新的仓库格式。

开发者可以通过升级到最新版本的 fdroidserver 来启用新的格式,此外 F-Droid 依然保留了旧的格式以支持旧的客户端应用程序。

截止 2021 年 2 月的数据,F-Droid 网站托管的应用程序超过 3800 个,同期 Google Play Store 中的应用则大约有 300 万个,从规模来看,两者还不是一个数量级的对手。


相關推薦

2024-07-05

的性能提升,StarRocks 3.3 进行了多方面的优化: 倒排索引和 ngram 索引的增强显著提升了模糊搜索的效率; FlatJson 对半结构化数据的处理性能也得到了百倍的显著提升,自动加速了 JSON 查询,使其性能接近结构化数据,同

2024-07-26

体、多表物化视图、半结构化数据分析等方面进行了全面更新及改进,同时在倒排索引、查询优化器、查询引擎、存储管理等 10 余方向上完成了若干问题修复,欢迎大家下载使用。 官网下载:https://doris.apache.org/ GitHub 下载:ht

2024-10-18

其打造成一个轻量、高效的原生实时湖仓。 数据实时更新: 从 1.2 版本开始 Apache Doris 增强了主键模型,引入 Merge-on-Write,支持实时更新。借助这一特性,上游数据变更可以基于主键进行高频实时数据更新。 数据科学与 A

2023-03-03

fluxDB称之为Tag,Prometheus称之为Label)通常会对其生成倒排索引,但在实际使用中,Tag的基数在不同的场景中是不一样的 ———— 在某些场景下,Tag的基数非常高(这种场景下的数据,我们称之为分析型数据),而基于倒排索引

2023-12-19

态。在每次导入事务提交后,Apache Doris 会记录导入事务更新的表信息,并估算表统计信息的健康度。当健康度低于配置参数时,Doris 将自动触发统计信息收集作业。为了降低统计信息作业的资源开销,Apache Doris 会自动采取采样

2023-03-17

ts-store:统一数据管理 将原始数据按时序优化的数据格式进行统一组织和存储,查询时,按指定时间范围和时间线 ID 查询数据,并根据过滤条件,返回目标数据 openGemini 的核心竞争力 openGemini 开源后持续版本迭代

2024-08-01

[SELECT SQL] selectid from hstest where id> ? limit ?,? [1,10,10] // 更新 Hstest t = new Hstest(); t.SetValue("hello world") t.where(Hstest.ID.EQ(1)); t.update() //[UPDATE SQL] update hstest set value=? where id=? ["hello world",1] // 删除 Hstest t = new Hstest(); t.where(Hstest.ID.EQ(1))

2021-12-22

2021 年 11 月 29 日 ,Dominic Szablewski 创建一种新的图像文件格式规范 “QOI”,QOI 的全称是 Quite OK Image Format,直译为“相当棒的图像格式”。QOI 可以用于将 RGB 和 RGBA 图像无损地压缩为与 PNG 类似的大小,相同的文件大小下,QO

2023-10-10

的功能,例如一致哈希索引支持、支持Flink 1.17 以及支持更新和删除语句。此外此版本还升级了Hudi表版本,提示用户查阅下面提供的迁移指南。我们鼓励用户在采用 0.14.0 版本之前查看重大特性、重大变化和行为变更。 迁移指

2024-07-27

算法为了能够最大化搜索的速度与准确度,需要将对应的索引结构和原始数据存放在内存中,显然这不仅大大提高了成本,还限制了数据集的大小。   例如在当前主流的内存型 HNSW 算法下, 业界常用的内存估算方式是:

2023-04-02

,在内核能力、工具链、兼容性方面全面增强。 具体更新内容包括: 一、内核能力增强 1 企业级特性 SQL PATCH 当业务语句出现由于数据等因素变化引起执行计划跳变,且出现严重的性能劣化,用户可通过SQL PATCH机制在线实

2022-12-16

添加数组 kallsyms_seqs_of_names[],以排序后的 names 序号为索引,对应的内容为排序后的地址序号。例如:假设 NameX 在数组 kallsyms_seqs_of_names[] 中的索引为 'i',kallsyms_seqs_of_names[i] 的内容为'k',则 NameX 对应的地址为 kallsyms_addresses[k

2022-11-04

部署。这意味着,业内首个兼容MySQL的单机分布式一体化数据库正式上线。 OceanBase 4.0降低了数据库使用门槛,打破了分布式数据库的边界,让分布式数据库走向通用。8月10日,在2022 OceanBase年度发布会上, OceanBase 4.0(小鱼Paet

2023-07-05

频写入的同时保证用户的查询稳定; 如何在上游数据更新及表结构变更的同时保证在线服务的连续性; 如何实现结构化与半结构化数据的统一存储与高效分析; 如何同时应对点查询、报表分析、即席查询、ETL/ELT 等不