LF Edge InfiniEdge AI 项目提供了一个模块化平台,可在云端、边缘端和设备上运行 AI 智能体。2.0 版本标志着向完全无服务器、注重隐私的 AI 边缘生态系统迈出了重要一步。本文结合各工作流更新和技术文档,总结了新版本的重点内容。
2.0 版本引入了用于边缘推理的无服务器模型上下文协议(MCP),新增了智能体数据工具,优化了 AI 智能体的流式传输功能,完成了 EdgeLake 平台上的联邦学习全生命周期,并修复了整个技术栈中的多个漏洞。版本计划中的代码实验室涵盖 YoMo 2.0、边缘数据智能体(Edge Data Agent)、SPEAR、基于 EdgeLake 的联邦学习、物理 AI / 机器人技术、AIOps 以及 2.0 环境的实操编码等主题。
工作流 1:YoMo 2.0—— 无服务器多组件处理
YoMo 是 InfiniEdge 用于无服务器 AI 推理的低延迟运行时,采用 QUIC 传输协议实现更快通信,并通过 TLS 1.3 对传输中的数据进行加密。2.0 版本新增无服务器模型上下文协议(MCP),使开发者能够通过强类型函数调用接口编排分布式 AI 工作负载。YoMo 的 TriggerServerless API 可自动生成部署的无服务器组件:开发者将函数推送到版本控制仓库后,YoMo 会在地理分布式架构中自动完成构建、打包和部署。这种架构能让推理在靠近用户的位置运行(减少延迟和带宽消耗),并通过仅扩展所需微服务提高能源效率。
亮点
- 强类型函数:YoMo 运行时支持 TypeScript 和 Go 语言,开发者可在编译时确保输入和输出匹配,减少运行时错误。
- 加密低延迟传输:QUIC 和 TLS 1.3 确保跨设备通信的安全性和快速性。
- 无缝 DevOps:借助无服务器 MCP,YoMo 消除了手动部署步骤,代码推送后函数会自动构建部署。
- 地理分布式架构:YoMo 基础设施将 AI 函数部署在靠近边缘的位置,提升性能和可靠性。
工作流 2:边缘数据智能体(EDA)—— 隐私保护分析
边缘数据智能体(EDA)是一种隐私保护分析框架,利用大型语言模型(LLMs)实时生成代码。用户可查询本地数据的洞察,智能体会自动生成必要的数据处理代码,无需将原始数据上传至云端。这种方式让组织能从敏感数据中获取价值,同时保持对数据位置的控制。2.0 版本扩展了沙箱数据集并引入多步骤智能体工作流,使智能体可串联多个操作完成更复杂的分析。
核心功能
- 自动代码生成:LLMs 根据用户请求创建数据处理脚本,无需编码知识。
- 本地隐私保护:数据保留在本地基础设施中,仅执行生成的代码,确保机密性。
- 多步骤工作流提案:2.0 版本原型化多步骤流水线,支持智能体执行顺序操作并提供更丰富的洞察。
工作流 3:SPEAR——AI 智能体的统一运行时
SPEAR 项目提供统一运行时,用于在云端和边缘端部署和扩展 AI 智能体。其设计通过自动扩展和精心设计的 API 实现高可扩展性和高性能。SPEAR 的工作流包括离线阶段(开发者选择最佳智能体实例并自动生成代码)和在线阶段(处理云 - 边缘 - 终端卸载及面向智能体的自动扩展)。2.0 版本修复了漏洞,并新增对 WebSocket 和流式传输通信的支持。
2.0 版本改进
- 漏洞修复:团队解决了影响运行时稳定性的问题。
- WebSocket 与流式传输:新增流式传输支持,实现从传感器到智能体的持续数据流,对实时推理至关重要。
- 多运行时支持:目前支持 “进程” 和 “Docker” 运行时,计划后续支持 WebAssembly 和 Kubernetes。
- 运行模式:可在本地或集群模式下运行;集群模式中调度器自动分配任务以优化资源使用。
工作流 4:EdgeLake—— 完善联邦学习生命周期
InfiniEdge 的联邦学习技术栈 EdgeLake 支持在多个边缘节点上训练和评估 AI 模型,无需集中数据。2.0 版本中,团队完成了从训练到部署的完整联邦学习生命周期。该工作流的文档包括架构图、安装指南和发布说明,展示如何在本地设备上训练模型并在云端聚合。
工作流 5:边缘网关(Shifu)—— 跨平台自修复网关
边缘网关(代号 Shifu)充当物联网设备与 InfiniEdge AI 平台之间的桥梁,设计强调部署便捷性、即插即用的设备集成、轻量运行和高可用性。运维人员可通过单条命令部署网关,添加新物联网设备无需修改源代码。2.0 版本重点修复漏洞并更新依赖项。
亮点
- 协议无关设计:Shifu 可通过任何协议连接设备 / 机器人 / 机械,并将其功能转化为 API。
- 原生支持 Kubernetes:Shifu 定义 Kubernetes 自定义资源(CRD),直接在 Kubernetes 集群中管理物联网设备及所有应用。
- 跨平台轻量特性:可在多种架构(x86、ARM)上运行,资源消耗极低。
工作流 6:AI 智能体与机器人技术
InfiniEdge 生态系统还整合了 AI 智能体和机器人技术能力,是构建 AI 聊天智能体的平台。2.0 版本中,该工作流确认新增功能和贡献,包括发布文档中提及的 “神经多样性助手” 智能体。尽管机器人工作流在 2.0 版本中未新增功能,但项目仍维护 Akraino 蓝图和边缘 - 机器人集成的相关文档。未来版本计划扩展物理 AI 和机器人技术能力。
工作组:AIOps 与未来方向
2.0 版本还重点关注 AIOps—— 应用 AI 管理边缘基础设施、工作负载及分布式环境。凭借无服务器 MCP、多步骤智能体工作流、联邦学习和增强的流式传输支持,InfiniEdge AI 2.0 版本彰显了项目成为分布式边缘 AI 标准平台的愿景。团队计划持续改进跨运行时支持(如 WebAssembly 和 Kubernetes)、扩展机器人集成并优化 AIOps 工具。
未来迭代还将探索 “驻留证明” 和 “地理围栏证明”,以及 “可信主机身份”,实现位置可验证的 AI 部署和基于策略的工作负载放置。这些能力将在受监管环境中支持合规对齐的编排,并为物理边缘智能增加新的保障层。除部署外,它们还将增强数据收集和遥测工作流的可信度,确保推理和传感器数据由经过验证的设备在已认证区域内捕获 —— 这是迈向 “主权感知 AI” 的关键一步。应用场景包括:
- HIPAA 区域:确保数据摄入和推理均在认证医疗区域内进行。
- 出口管制制度:将模型执行和数据捕获限制在授权辖区内。
- ESG 和可持续发展披露:通过验证地理绑定的决策流水线和遥测收集,支持碳定位和能源核算。
这些机制共同提升了 InfiniEdge AI 的信任架构 —— 从模型部署延伸至边缘智能的全生命周期,从数据摄入到智能体行动。
结束语
InfiniEdge AI 2.0 版本是一个里程碑,融合了低延迟边缘计算、隐私保护分析、统一 AI 智能体运行时和强大的边缘网关。通过完善联邦学习生命周期和引入多组件处理,该版本使项目能够满足边缘 AI 应用不断增长的需求。开发者和企业如今可在异构环境中构建和部署复杂 AI 智能体,无需担忧数据隐私或部署复杂性。