英伟达发布 Windows 版 TensorRT-LLM 库,为本地运行大模型提速


【源创会预告】1024 程序员节(的前两天),相约开源PHP办公室,我们一起聊 AI!>>>

英伟达发布了 Windows 版本的 TensorRT-LLM 库,称其将大模型在 RTX 上的运行速度提升 4 倍

GeForce RTX 和 NVIDIA RTX GPU 配备了名为 Tensor Core 的专用 AI 处理器,正在为超过 1 亿台 Windows PC 和工作站带来原生生成式 AI 的强大功能。

TensorRT-LLM 是一个开源库,用于提升上述 GPU 运行最新 AI 大模型(如 Llama 2 和 Code Llama)的推理性能。上个月英伟达发布了面向数据中心的 TensorRT-LLM,现在最新发布的 TensorRT-LLM for Windows 主要是面向家用电脑,将 PC 上运行 LLM 的速度提高了 4 倍。

英伟达还同时发布了帮助开发人员加速 LLM 的工具,包括使用 TensorRT-LLM 优化自定义模型的脚本、TensorRT 优化的开源模型以及展示 LLM 响应速度和质量的开发人员参考项目。


相關推薦

2024-07-31

在美国丹佛举行的第51届SIGGRAPH图形大会上,英伟达创始人 CEO 黄仁勋和 Meta 创始人 CEO 马克·扎克伯格举行炉边谈话,讨论了讨论了开源 AI 和 AI 助手的未来。 黄仁勋称赞了Meta的开源大模型,他与扎克伯格都同意应坚持大模型

2023-11-26

根据路透社的独家报道,两名知情人士透露,英伟达已通知中国客户,其为遵守美国出口规定而设计的新款 AI 芯片将推迟到明年第一季度发布。 前情提要:英伟达或将推出针对中国区的最新改良版 AI 芯片 英伟达将特供三

2023-11-10

据《科创板日报》报道,产业链人士称英伟达现已开发出针对中国区的最新改良版 AI 芯片:HGX H20、L20 PCle和 L2 PCle。 知情人士称,最新三款芯片是由 H100 改良而来,英伟达最快或将于本月 16 号之后公布,国内厂商最快将在这

2023-09-16

多元共进|2023 Google 开发者大会精彩演讲回顾 数据和人工智能公司 Databricks 宣布完成由 T. Rowe Price Associates 领投的第一轮融资。本轮融资共筹集了超过 5 亿美元的资金,使得公司估值达到 430 亿美元,每股定价为 73.50 美元。

2024-07-24

根据路透社的独家报道,英伟达公司正计划为中国市场量身设计一款新的旗舰人工智能芯片。 英伟达将与中国浪潮合作推出并销售这款代号为 B20 的芯片。浪潮是英伟达在中国的主要分销合作伙伴之一。 英伟达于今年 3 月发

2023-10-20

政府将收紧对尖端人工智能芯片的出口管制,最新进展是英伟达为了绕过制裁针对中国量身打造的 H800 和 A800 GPU 被禁售。 2023年10月17日,CNBC 报道称,美国商务部周二宣布,计划在未来几周内限制向中国出售更先进的人工智能

2024-07-09

了 AMD 在 2000 年代个人计算浪潮刚刚兴起时如何差点收购英伟达的故事。 via https://x.com/MohapatraHemant/status/1809135345683841050 英伟达现在的市值超过了 AMD 和英特尔的总和,因为该公司对 GPU 计算的执着追求结出了硕果,并

2023-07-04

Inflection AI 宣布在新一轮融资中筹集了 13 亿美元,该轮融资由微软、里德霍夫曼、比尔盖茨、埃里克施密特和新投资者 NVIDIA 领投,新一轮融资使公司融资总额达到15.25 亿美元,在 AI 领域的估值仅次于 OpenAI 公司。 Inflection AI

2024-10-31

在最近于加利福尼亚州圣克拉拉举行的 RISC-V 峰会上,英伟达、高通、谷歌和三星等行业巨头齐聚一堂,共同探索 RISC-V 架构的潜力。此次合作标志着向开源计算的转变,将 RISC-V 定位为成熟的 Arm 和 x86 架构的有力替代品。 值得

2024-08-16

容,去突破Linux桌面发行版的能力边界,能让Linux桌面与Windows、MacOS 这两个商业操作系统一样强大。” ——deepin(深度)社区创始人 刘闻欢(deepin) 8月15日,国际知名开源社区deepin(深度)社区在线上举办了主题为“聚AI

2024-06-06

城实验室、深圳科创学院及周边高校、英特尔创新中心、英伟达加速计划、开源PHP社区等资源形成联动,打造成集专业服务、共享交流和研发办公于一体的复合型创业空间。 应用场景方面,在南山区的智慧城市、智能制造、智

2023-08-25

了更深度的技术赋能与效率提速。 团结引擎目前已支持 Windows、Mac、Linux 操作系统,以及 Android、iOS、WebGL、Weixin Mini Game、HMI Android、QNX、Embedded Linux 平台,并即将支持 OpenHarmony 开源项目和 AliOS 操作系统。 Unity 表示,团结

2024-08-24

注:Super键通常位于键盘的左下角,‌形状类似于旗帜或Windows标志。 个人知识助手:你的私人知识管家 deepin 23提供个人知识助手功能,用户可以上传文档,系统将其转化为知识库,用于后续的问答、内容创作等,实现智能化

2023-10-18

的前沿,各种智能体热度大大增加。 2、行业局势 英伟达凭借各国、初创公司、大型科技公司和研究人员对其 GPU 的巨大需求,跻身市值万亿美元俱乐部; 主要芯片供应商开发了不受出口管制影响的替代产品; 在 Ch