Topic
#ai-inference
按主题聚合的新闻视图。
Topic Feed
主题：ai-inference
共 4 条
Hot French startup ZML releases free product to speed inference across lots of AI chips | TechCrunch
French startup ZML has launched a free LLM inference server designed to speed up model inference across Nvidia, AMD, Google TPU, Apple Metal, and Intel Arc hardware.
Deepseek 的 DSpark 最高可将 AI 推理加速 85%
Deepseek 表示，其新的 DSpark 推理框架可将单用户响应速度提升 60% 到 85%。该公司称，它结合了推测解码、批量验证和基于置信度的自适应检查，并已将该框架与 Deepseek-V4-Pro 一同在 Hugging Face 和 GitHub 上以 MIT 许可证开源。
Baseten 接近以 130 亿美元估值融资 15 亿美元
据《华尔街日报》报道，AI 推理初创公司 Baseten 正接近敲定一轮 15 亿美元融资，估值达到 130 亿美元。距离该公司公布 3 亿美元 E 轮、估值 50 亿美元，只过去了 5 个月。
DeepInfra 成为 Hugging Face 推理提供商之一
DeepInfra 已正式成为 Hugging Face 推理提供商，开发者可通过 Python 和 JavaScript SDK 轻松访问超过 100 个模型，包括大语言模型和多模态模型。