OpenAI与博通发布Jalapeño推理芯片

关键信息

博通表示，Jalapeño的设计来源于与OpenAI研究人员的深入交流，以及OpenAI未来模型和产品路线图的指导。OpenAI称，早期测试显示其每瓦性能明显优于当前最先进水平，但它还没有完成全部测量，并计划在未来几个月发布详细技术报告。

资讯摘要

OpenAI与博通宣布推出Jalapeño，这是一款专门为数据中心中的大语言模型推理设计的新芯片。OpenAI最为人熟知的产品是ChatGPT和Codex，而博通则是成熟的芯片供应商。双方表示，这款芯片计划部署在大型数据中心中，而且只是一个更长期项目的第一代产品。博通将Jalapeño描述为一款从零开始设计的ASIC，而不是对通用加速器进行改造。博通称，这项设计来自与OpenAI研究人员的深入交流，并参考了OpenAI未来模型和产品路线图。

双方表示，这款芯片从设计到生产只用了九个月。OpenAI表示，其目标是让推理系统比当前数据中心常见的硬件更贴合LLM的实际需求。OpenAI还称，早期测试显示Jalapeño的每瓦性能将显著优于当前最先进系统，但测试仍在继续。OpenAI表示，未来几个月将发布一份详细的技术报告。

资讯正文

OpenAI——ChatGPT、Codex 以及这些工具所使用模型背后的公司——与老牌芯片供应商 Broadcom 宣布了一款新芯片，名为 Jalapeño，专为数据中心中的大语言模型推理而设计。

两家公司计划将这款芯片部署到大型数据中心，并称这只是一个长期项目的第一代产品，后续还会随着时间推移不断改进芯片。

Broadcom 表示，这款 ASIC（应用专用集成电路）是从零开始为 LLM 推理设计的，依据的是公司与 OpenAI 研究人员交流所得的“详细洞见”；同时，这款芯片的研发也参考了 OpenAI 面向未来模型和产品的路线图。该芯片的设计与生产耗时九个月。

其承诺是，这款芯片比当前在现有数据中心中运行推理系统所使用的芯片，更能针对当下 LLM 的需求进行专门优化。

OpenAI 声称，“早期测试显示，Jalapeño 的单位功耗性能将显著优于当前最先进水平”，但也指出，性能测量尚未完成，并且“一份详细的技术报告将在未来几个月内发布”。

来源与参考

1. 原始链接
2. OpenAI and Broadcom announce chip designed for LLM inference at scale