Dragonfly 发布 v2.1.0 版本,P2P 文件分发系统


Dragonfly 最新正式版本 v2.1.0 现已发布。Dragonfly 是一款基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率,最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。

具体更新内容如下:

Features

  • Console v1.0.0 已经发布,它是一个全新的可视化控制台,方便用户操作 P2P 集群。

  • 新增虚拟网络拓扑探索功能,能够在 P2P 运行时探测节点之间的网络延迟,从而构建一个虚拟网络拓扑结构提供调度使用。

  • Manager 提供控制 Scheduler 可以提供的服务,例如在 Manager 中设置 Scheduler 不提供预热功能,那么 Scheduler 实例就会拒绝预热请求。

  • Dfstore提供GetObjectMetadatasCopyObject接口,支持 Dragonfly 作为 JuiceFS 的后端存储。

  • 新增Personal Access Tokens功能,用户可以创建自己的Personal Access Tokens在调用 Open API 的时候鉴权使用。

  • Manager REST 服务提供 TLS 配置。

  • 修复当 Dfdaemon 没有可用的 Scheduler 地址时启动失败的现象。

  • 新增Cluster资源单位,Cluster代表一个 P2P 集群,其只包含一个Scheduler Cluster和一个Seed Peer Cluster,并且二者关联。

  • 修复Dfstore在 Dfdaemon 并发下载时,可能导致的对象存储下载失败。

  • Scheduler 新增 Database 配置,并且把之前 Redis 的配置信息移入到 Database 配置中,并且兼容老版本。

  • 在 Dfdaemon 中使用 gRPC 健康检查代替net.Dial

  • 修复调度器过滤以及评估过程中candidateParentLimit可能影响到调度结果的问题。

  • 修复 Scheduler 中的 Storage 在bufferSize为 0 的时候,导致的无法写入下载记录的问题。

  • 日志中隐藏敏感信息,例如 Header 中的一些 Token 信息等。

  • Manager 中 Scheduler、Seed Peer 等资源删除过程中,不再使用软删除。

  • Scheduler 数据库表中新增uk_scheduler索引,Seed Peer 数据库表中新增uk_seed_peer索引。

  • 由于初期功能设计定位不清晰的原因,删除Security DomainSecurity的功能。

  • Manager 和 Scheduler 新增 Advertise Port 配置,方便用户配置不同的 Advertise Port。

  • 修复 Task 注册阶段状态机状态变更错误的问题。

Break Change

  • 不再提供 Scheduler Cluster 和 Seed Peer Cluster 之间M:N的关系。提供了 Cluster 的概念,一个 Cluster 即表示一个 P2P 集群,并且一个 Cluster 只包含一个 Scheduler Cluster 和 Seed Peer Cluster,且二者是1:1的关联关系。

Console

更多详细可查看 Manager Console。

AI Infrastructure

  • Triton Inference Server 使用 Dragonfly 下载模型文件,可以参考 #2185。

  • TorchServer 使用 Dragonfly 下载模型文件,现正在开发,预计 v2.1.1 版本可以使用,项目仓库在  Dragonfly Endpoint。

  • Fluid 基于 JuiceFS 运行时通过 Dragonfly 下载数据,正在开发,预计 v2.1.1 版本可以使用。

  • Dragonfly 助力火山引擎 AIGC 推理业务 P2P 镜像加速。

  • 社区中已经有很多案例,基于 P2P 技术使用 Dragonfly 分发 AI 场景中的文件。在 AI 推理阶段,推理服务并发下载模型可以有效通过 Dragonfly P2P 缓解模型仓库的带宽压力,从而提高整体下载速度。

详情可查看更新说明。 


相關推薦

2023-07-10

就上传视频。 延伸阅读 BitTorrent 诞生二十周年,文件共享的革命者

2023-01-13

一个高可用性的 64 位文件系统,最初是由 Matthew Dillon 为 DragonFly BSD 开发的。它的主要功能包括即时崩溃恢复、无限的 NFS 可导出的快照、主从操作、可配置的历史保留等。HAMMER 也支持重复数据块删除,意味着相同的数据块在文

2023-01-04

Dragonfly DB 是一款 Memcached 和 Redis API 兼容的高速内存数据库,据称其在多线程、Shared-nothing 架构之上实现了全新的算法和数据结构,性能是 Redis 的 25 倍,单实例支持百万 QPS。 目前 Dragonfly DB 发布了 0.13 版本,此版本带来了一些

2022-08-09

一些替代架构。譬如几年前的 KeyDB,以及最新冒头的 Dragonfly —— 声称是最快的 Redis 兼容内存数据存储。“我们相信这些项目带来了许多值得讨论和辩论的有趣技术和想法。在 Redis,我们喜欢这种挑战,因为它要求我们重申

2022-09-05

与统一维护管理的模块。 通知公告:系统通知公告信息发布维护。 代码生成:一键生成模块 CRUD 的功能,包括后端和前端 Vue 等相关代码。 案例演示:常规代码生成器一键生成后的演示案例。 软件信息 软件名称:RXTh

2023-06-11

Pigsty v2.1.0 发布,为跟随PG社区主干的例行升级,添加 PG 11 - 16 支持,现在您可以使用 Pigsty 部署 PG 15.3 , 14.8, 13.11, 12.15, 与 16 beta1。v2.1 针对 PostgreSQL 16 进行了适配,改进了监控系统效果,添加了一系列便利命令工具,建议按需升

2023-03-24

DragonflyDB 宣布,他们已经获得了 2100 万美元的融资,这距离他们成立仅仅过了一年时间。 DragonflyDB 由 Oded Poncz 和 Roman Gershman 于 2022 年 3 月创立,是一家内存数据库初创公司,他们为云环境提供可扩展的内存数据存储,旨在加

2023-06-13

Windows 和 MacOS 两个操作系统。 更新内容 本次版本发布带来了 4 个新的数据源支持和大量 Redis 指令的支持,更新内容如下: [新增] SQL SERVER、OceanBase、SelectDB、PolarDB-X、IBM Db2 数据源支持 [新增] Redis 新增 cluster、info 命

2023-06-21

PicHoro 是一款基于 flutter 开发的手机端云存储平台 / 图床管理和文件上传 / 下载工具,最新版本 V2.1.0,与 PicGo 配置互通,可直接扫码导入,主要功能包括云存储 / 图床 / 云服务器平台,以及网盘管理(通过 Alist),文件上传和下

2024-02-21

境中监控 Java 或 Java EE 应用程序。JavaMelody v2.1.0 现已发布,主要更新内容包括: 修复对 activation-api 的依赖不能有范围编译(2c9dfaa) 修复#1180 JBoss/WildFly 上的 Infinispan 二级缓存导致 MBeans 视图中出现 OutOfMemoryError ( 

2023-06-07

v2.1.0 更新内容: 1、新增依赖文件 requirements.txt 文件; 2、修复近期用户反馈的问题; 一款 Python 语言基于 Flask、Vue2.x、ElementUI、MySQL 等框架精心打造的一款模块化、高性能、企业级的敏捷开发框架,本着简化开发、提升开发效

2024-03-30

对应的安装包安装即可) OpenNJet ubuntu deb安装包基于18.04版本编译,可在ubuntu20、ubuntu22上安装使用 已安装 njet 的 ubuntu , 升级njet 包: sudo systemctl stop njet sudo apt-get update sudo apt install --only-upgrade njet docker方式运行 可使用如下命

2023-10-25

OSC 请你来轰趴啦!1028 苏州源创会,一起寻宝 AI 时代 项目简介 JECloud 平台后端采用微服务架构,前端采用微应用架构,可做到不同服务使用不同数据库独立运行。全平台采用基于模型驱动的设计模式,并在前后端留有大量的

2022-11-04

板喜爱,同时我们的信心倍增,升级频率大大提高,此次发布的版本为 v2.1.0,此次主要推出的更新是代码生成功能! 更新详情: 【新增】大更新 v2.1 新增代码生成,具体使用看官方文档 【更新】参数异常打印日志,方便查