Hot French startup ZML releases free product to speed inference across lots of AI chips | TechCrunch
TechCrunch AI··作者 Anna Heim
资讯摘要
The days of Nvidia’s unparalleled market dominance aren’t over, but challengers and choices are arising from all directions. ZML, a hot French AI startup endorsed by Turing Award winner Yann LeCun, has released inference-performance software that allows a variety of open source large language models to run on a variety of chips — including Nvidia’s, AMD’s, Google’s TPU, Apple Metal, and Intel Arc. With ZML/LLMD, the newly launched LLM inference server, the company’s ambition is to break existing silos and make different chips available for AI use cases at their maximum available speed, and sometimes faster, ZML…
资讯正文
英伟达无可匹敌的市场主导地位的时代还没有结束，但来自四面八方的挑战者和替代选择正在出现。
得到图灵奖得主 Yann LeCun 背书的法国热门 AI 初创公司 ZML，发布了一款推理性能软件，可让多种开源大语言模型运行在多种芯片上——包括英伟达、AMD、Google 的 TPU、Apple Metal 和 Intel Arc。
ZML 创始人 Steeve Morin 告诉 TechCrunch，借助新推出的 LLM 推理服务器 ZML/LLMD，公司希望打破现有壁垒，让不同芯片以其可用的最高速度，甚至在某些情况下更快地服务于 AI 用例。
Morin 表示，随着 AI 融入我们的工作和日常生活，推理优化——也就是对提示词进行处理——的重要性已经超过模型训练，但其幕后往往仍显得支离破碎，软件和架构上的障碍会导致厂商锁定。
在 AI 相关成本担忧不断上升之际，跨多种芯片实现峰值性能的承诺不仅是技术壮举，也可能成为搅动市场的力量。
ZML 希望为企业和云服务商提供混用芯片的选择，其中一些芯片可能成本更低或能耗更小。Morin 说：“这个想法是把创造自己系统的能力还给人们，并实现真正的效率提升，从而让 [AI] 得以普及。”
Morin 指出，这类软件支持或许能帮助新一代 AI 芯片厂商，其中不少来自欧洲，并提到了 Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud 和 VSORA。不过，对他来说，比起这些公司的地区来源，更重要的是 ZML 能与它们一起做“世界上任何地方都还没有做过的事情”。
这并不意味着 Morin 对英伟达持悲观看法。他并不悲观，部分原因在于英伟达现有的供应能力。他告诉 TechCrunch，ZML 与这家 AI 芯片巨头关系不错，而英伟达也一直在为推理需求的增长做准备。
推理一直是投资极其密集的领域，这一趋势甚至被称为“推理淘金热”。因此，ZML 面临的竞争对手包括估值 130 亿美元的 Baseten；由开源项目 vLLM 创始人打造的 Inferact；以及商业公司 RadixArk，后者是 SGLang 背后的商业实体。
vLLM 和 SGLang 都与 LLMD 存在部分竞争，但 Morin 对 ZML 的野心覆盖的范围更广。他说：“我们已经到了共同设计硅芯片的阶段。”他还将 ZML 仅有 20 人的精干团队归功于这家总部位于巴黎的初创公司能够快速推进，并表示后续还会有更多发布。
这支小团队资金充裕，也有助于他们保持速度。凭借曾担任 Zenly 工程副总裁的履历——Snapchat 于 2017 年以九位数价格收购了 Zenly——Morin 从包括 Harry Stebbings 的 20VC、>commit、AALVC、Drysdale Ventures、Xavier Niel 的 Kima Ventures、Kindred Capital、LocalGlobe 和 Puzzle Ventures 在内的风投机构筹集了 2000 万美元。
不同于 ZML 的首个公开项目——这款聚焦推理的 ML 框架于 2024 年发布，并在 3 月更新——ZML/LLMD 并不是开源的。不过，它会以免费产品的形式推出，目的是了解使用情况。莫林说：“我宁愿先测量，然后在最有效的地方[再产生收入]，也不想因为从一开始就太贪心，而愚蠢地阻碍自己的增长。”
现在要判断 ZML/LLMD 何时可能变成付费产品，以及它会获得怎样的采用情况，还为时过早。但这家初创公司的 cap table 也证明，其他创始人正在关注它，包括 Dagger 和 Docker 的创始人 Solomon Hykes、Hugging Face 的 Clément Delangue 和 Julien Chaumond，以及如今在 AMI Labs 任职的 LeCun。这也进一步说明，欧洲的 AI 初创公司如今可以在本土发展。“除了巴黎，我没法在别的地方做 ZML，”莫林说。
来源与参考
收录于 2026-07-09