AMD 开源 “GAIA”:用于本地高效运行大模型


AMD宣布推出专为本地运行大语言模型(LLM)设计的开源应用GAIA(发音 /ˈɡaɪ.ə/),目前支持 Windows 平台。

GAIA 是一款生成式 AI 应用,可在 Windows PC 上实现本地化私密运行 LLM,并针对锐龙 AI 300 系列处理器进行了优化。该应用通过 NPU 提升 AI 任务性能,并支持混合部署量化 LLM。

GAIA 基于 ONNX TurnkeyML 的 Lemonade SDK 开发,采用检索增强生成(RAG)技术,支持 Llama、Phi 等主流模型。其四大功能模块包括 Chaty 聊天机器人、Clip 视频搜索专家、Joker 笑话生成器和 Simple Prompt 测试工具。

AMD 提供普通版和混合版安装方案,普通版兼容任意 Windows 设备,混合版专为锐龙 AI 300 系列优化。

GAIA 的本地化处理确保数据隐私,响应延迟降低至毫秒级,并支持离线运行。该项目采用 MIT 开源协议,未来或扩展至多平台支持。


相關推薦

2025-03-20

Ollama 是开源跨平台大模型工具,让运行 Llama 3、DeepSeek-R1、Gemma 3 以及其他大语言模型变得更容易,现已发布最新版本 0.6.2。 Ollama 是一个开源的本地大语言模型运行框架,简化了利用 llama.cpp 后端运行各种 LLM 以及与其他桌面

2023-10-26

InfoWorld 公布了 2023 年最佳开源软件榜单,旨在表彰年度领先的软件开发、数据管理、分析、人工智能和机器学习开源工具。 InfoWorld 是致力于引领 IT 决策者走在科技前沿的国际科技媒体品牌,每年 InfoWorld 都会根据软件对开源

2023-10-19

【源创会预告】1024 程序员节(的前两天),相约开源PHP办公室,我们一起聊 AI!>>> 英伟达发布了 Windows 版本的 TensorRT-LLM 库,称其将大模型在 RTX 上的运行速度提升 4 倍。 GeForce RTX 和 NVIDIA RTX GPU 配备了名为 Tensor Core 的专用

2024-08-24

sp; UOS AI 技术亮点 大语言模型 UOS AI 接入qwen2、llama2等开源大语言模型,提供聊天对话功能,通过提示词工程可做文档总结、翻译功能。模型由llama.cpp与OpenVINO推理。 自定义语言模型集成 UOS AI遵循OpenAI的模型通信协议,实现

2023-07-25

以及各行业领域的研究报告定制服务。 会议还邀请到了开源PHP的董事长马越就模型开源和AI行业应用进行了相关分享。开源PHP创立于 2008 年,收录全球知名开源项目近 10 万款,涉及几百个不同的分类,并于 2022 年发布了中国开

2024-01-16

b  ——  一个旨在解决大模型相关资产治理难题的开源项目。 CSGHub的使命是为用户提供一个开源开放的、针对大模型原生设计的资产管理平台,支持私有化部署和离线运行。我们的目标是为用户创造一个安全、高效且可

2023-10-21

【源创会预告】1024 程序员节(的前两天),相约开源PHP办公室,我们一起聊 AI!>>> (2023 年 10 月 19 日,北京)Alluxio 作为一家承载各类数据驱动型工作负载的数据平台公司,现推出全新的 Alluxio Enterprise AI 高性能数据平台, 旨

2024-07-12

0X的deepin镜像基于最新的deepin V23 RC2主线打造,采用了ESWIN开源的、针对EIC7700X优化的6.6内核,为用户提供最佳的性能和体验。经过deepin-ports SIG团队的全面测试,deepin V23在EIC7700X上运行稳定,网络连接、USB设备访问、HDMI视频输出

2024-08-02

架自动完成。 飞桨作为中国首个自主研发、功能丰富、开源开放的深度学习平台,从默认使用静态图的1.0版本,到默认采用动态图并可实现动静统一与训推一体的2.0版本发布,飞桨框架已经可以完美融合动态图的灵活性与静态

2022-09-06

自研模型。在经过内部业务打磨之后,我们将EasyNLP 推向开源社区,希望能够服务更多的 NLP 算法开发者和研究者,也希望和社区一起推动 NLP 技术特别是中文 NLP 的快速发展和业务落地。 开源项目地址:https://github.com/alibaba/EasyN

2024-09-30

模型具有推测解码功能,其训练代码、数据集和权重都是开源的,以便开发人员可以重现该模型并帮助训练其他 SLM 和 LLM。 “大语言模型通常使用自回归方法进行推理。然而,这种方法的一个主要限制是每次前向传递只能生

2025-03-29

诊疗过程进行学习和深度解析。同时,得益于模型采用的本地化部署模式,数据仅在院内封闭运行,能够充分保护医患隐私。 在诊前、诊中、诊后全链条,广医·岐智大模型均开发了切实可落地的应用,构建了具有完整中医知

2023-03-31

AMD-Xilinx 最近开源了他们基于 LLVM 的 Nanotube 编译器。根据介绍,AMD-Xilinx Nanotube 编译器采用 eBPF XDP C 代码,并构建在 LLVM 编译器堆栈之上,然后能够在 HLS C++ 中生成一个可在 Xilinx FPGA 上运行的数据包处理管道。 Nanotube 是编译

2024-07-05

其每一次的更新与变革都牵动着无数用户的心弦。近日,开源操作系统deepin迎来了一次重大更新,这次更新不仅在性能上进行了全面优化,更在AI智能化方面迈出了划时代的步伐:内置AI助理,并成功兼容多个千亿级大模型,为