Docker 将原生支持运行 LLM


根据Docker官网消息,其即将推出Docker Model Runner工具,旨在通过容器化技术简化LLM本地运行流程。

其主要功能包括:

  • 模型获取:支持从Docker Hub直接获取AI模型,简化配置流程。
  • 操作便捷:通过Docker命令行工具使用,符合开发者日常操作习惯。
  • 接口兼容:适配OpenAI标准接口,方便现有项目集成。
  • 运行效率:支持苹果芯片和NVIDIA显卡加速,提升本地计算性能。
  • 安全隔离:沿用Docker容器技术,保障运行环境的安全性。

当前开发者普遍使用ollama开源工具部署AI模型。相比而言,Docker Model Runner对已在使用容器技术的开发者具有天然适配优势。而ollama作为成熟的开源工具,拥有丰富的模型支持和活跃的社区资源。

有意思的是,ollama本身也支持在Docker环境中运行,这为用户提供了更多选择空间。


相關推薦

2023-10-08

Docker 在其年度 DockerCon 开发者大会主题演讲中宣布与 Neo4j、LangChain 和 Ollama 合作推出新的 GenAI Stack。该 GenAI Stack 简化了 AI/ML 集成,旨在帮助开发人员快速轻松地构建生成式 AI 应用程序,而无需搜索和配置各种技术。 根据介

2024-01-16

服务和CSGHub Web Service的管理界面,普通用户可以快速使用Docker compose或Kubernetes Helm Chart启动服务,实现生产级的资产管理。具备自研能力的用户可利用CSGHub Server进行二次开发,将核心管理功能集成到外部系统或自定义高级功能。

2023-10-19

用 AI 处理器,正在为超过 1 亿台 Windows PC 和工作站带来原生生成式 AI 的强大功能。 TensorRT-LLM 是一个开源库,用于提升上述 GPU 运行最新 AI 大模型(如 Llama 2 和 Code Llama)的推理性能。上个月英伟达发布了面向数据中心的 TensorR

2023-04-17

私。“如果我们可以简单地打开一个浏览器并直接将 AI 原生地带到你的浏览器选项卡,这不是更令人惊奇吗?生态系统中有一定程度的准备。这个项目为这个问题提供了肯定的答案。” Web LLM 中采用的关键技术是机器学习

2023-10-26

Clear Containers 和 Hyper.sh runV。Kata Containers 可与 Kubernetes 和 Docker 协同工作,同时支持多种硬件架构,包括 x86_64、AMD64、Arm、IBM p 系列和 IBM z 系列。 获得了谷歌云、微软、AWS、阿里云、思科、戴尔、英特尔、红帽、SUSE 和 Ubuntu 等

2023-11-17

言越来越多,云部署的标准化程度更高,开发人员使用 Dockerfile 和容器、IaC 以及其他云原生技术的速度也急剧加快。 2023 年 first-time 开源贡献者数量最多。其中,有商业支持的开源项目依旧最受贡献者欢迎。但生成式 AI 项目

2022-02-22

=Document(text='world')) print(docs.texts) Flow:使用 Kubernetes 和 Docker Compose 运行 Kubernetes:使用 Flow .to_k8s_yaml('./k8s_flow') 从一个 Flow 中生成一组部署的 YAML 文件,然后使用 Kubernetes 和 kubectl 来启动和协调 Executors。Docker Compose: 使用

2024-07-10

像也如约而至,且容量大幅缩减,解决大家在国内拉取 docker 的痛点。详细更新内容如下: - 新增内置支持模型 📦   - qwen2 gguf格式 📝   - gemma-2-it 💻 - 新功能 🚀     - transformers推理后端支持开启continuous

2024-07-06

Windows Mac Linux Android IOS 技术栈 - 基于金融级云原生架构 sofaboot-4.2.0(springboot-3.2.2) jdk17/maven/h2/mysql8.0/postgresql/oracle(jpa支持的所有数据库) for 后端 python-3.10 for AI助手 react-18.2.0 for web前端 react-native-0.73.4&

2024-07-13

Windows Mac Linux Android IOS 技术栈 - 基于金融级云原生架构 sofaboot-4.2.0 (springboot-3.2.2) jdk17/maven/h2/mysql8.0/postgresql/oracle (jpa 支持的所有数据库) for 后端 python-3.10 for AI 助手 react-18.2.0 for web 前端 react-native-0

2021-12-14

一项变更提案,以增强 RPM OSTreee 堆栈,使其原生支持 OCI/Docker 容器,并作为操作系统内容的传输和交付机制。这项功能是"CoreOS Layering"的基础,它允许从容器镜像对操作系统进行更新,并从 CoreOS 基础镜像中轻松生成分层镜像 (la

2023-07-15

体验的可以联系MetaGPT))。 最新的change log: 支持Docker 建立一个独立的输出队列,与消息队列区分开 支持Azure异步API 支持gpt-3.5-turbo Roadmap概览: 长期目标: 使MetaGPT能够自我演化,实现自我训练、微调、优化、利

2022-07-27

环境的自定义证书。 一切都开箱即用,无需额外操作。 Docker Testcontainers 的测试中 Docker 镜像补全 IntelliJ IDEA 2022.2 为 Testcontainers API 引入了镜像补全,Testcontainers 包括所有可用 Docker 镜像及其版本。 点击引用即可在 Web 浏览器

2023-09-28

s 是一群开发者基于 chroot 打造的工具,能让你在 macOS 用 Docker 运行 macOS 镜像。 macOS Containers 官网写道: 容器从根本上改变了现代软件的开发和部署方式。包括 FreeBSD、Solaris、Linux 甚至 Windows 在内的多种操作系统都支持容