OpenAI与Broadcom发布Jalapeño推理芯片

关键信息

Jalapeño是专门为推理而设计的，不是用于预训练，OpenAI特别强调它在实时代码模型上的低运行成本。OpenAI表示，自家的模型参与了芯片开发，架构则围绕算力、内存、网络和服务需求进行设计。

资讯摘要

OpenAI和Broadcom推出了Jalapeño，这是一款专门为大语言模型推理打造的定制AI芯片。OpenAI表示，这是公司首款自研的推理处理器，并且由OpenAI与Broadcom合作开发。公司还称，自家的AI模型参与了芯片设计过程，从而加快了开发进度。Jalapeño目前仍在测试中，但OpenAI表示，早期结果显示其每瓦性能明显优于当前最先进的替代方案。此次合作虽然在10月已经正式宣布，但OpenAI做芯片的计划早已流传多年，外界一直认为这是其减少对Nvidia GPU依赖的一种方式。

OpenAI总裁Greg Brockman表示，公司非常了解自己的工作负载，并希望针对那些长期被忽视的需求设计硬件，以提升系统能力。OpenAI特别强调，Jalapeño是为推理阶段设计的，也就是让预训练完成的模型响应用户请求的过程，并指出它在实时代码模型上的运行成本很低。公司同时认为，更耗费算力的预训练任务大概率仍会依赖Nvidia硬件，但哪怕只是推理成本的小幅下降，也可能显著改善公司的经济性。OpenAI把Jalapeño描述为更大范围基础设施优化的一部分，覆盖芯片架构、内核、内存系统、网络、调度、部署以及产品体验等多个层面。

资讯正文

OpenAI 和 Broadcom 推出 Jalapeño，这是一款为 LLM 推理打造的定制 AI 芯片，旨在提升 AI 系统的性能、效率和规模。

来源与参考

1. 原始链接
2. OpenAI unveils its first custom chip, built by Broadcom | TechCrunch
3. OpenAI and Broadcom unveil "Jalapeño," a custom chip built for LLM inference
4. OpenAI and Broadcom unveil LLM-optimized inference chip