Bonsai 27B 将开放推理模型带到 iPhone
The Decoder··作者 Jonathan Kemper
关键信息
PrismML 表示，较小版本约为 3.9 GB，能够适应 iPhone 应用的内存限制，而其压缩方案把每个权重从 16 位精度压缩到大约 1 到 2 位。公司基准测试显示，较大版本保留了原模型 95% 的性能，较小版本保留了 90%，其中数学和编程能力据称几乎不受影响。
资讯摘要
PrismML 是一家由 Caltech 研究人员创立的公司，它发布了 Bonsai 27B，这是一个计划直接在 iPhone 上运行的开放式 270 亿参数模型。该模型基于阿里巴巴的 Qwen3.6-27B，定位不是简化版手机助手，而是完整的推理模型。PrismML 表示，Bonsai 27B 支持多步推理、工具调用、图像理解和智能体式任务。公司认为，随着 AI 系统需要连续进行大量调用，本地执行会更有吸引力，因为它可以避免云端延迟、按 token 计费的累积成本，以及私有数据外泄。PrismML 还把这种端侧运行方式视为始终在线的智能体、离线助手和混合系统的基础，后者只把最难的步骤发送到更强的云端模型。文章援引 CNBC 的报道指出，PrismML 已经就其压缩技术与 Apple 展开讨论，CEO Babak Hassibi 也确认 Apple 和其他公司正在测试这些模型的速度、功耗和性能。他表示这些谈判仍然“非常早期”，但进展顺利。
PrismML 提供了两个版本，分别面向笔记本电脑和智能手机，其中较小版本约为 3.9 GB。公司采用的压缩方法把权重从常见的 16 位精度压缩到 1 位或略低于 2 位，并提醒“2-bit”这类命名可能具有误导性，因为某些版本平均每个权重仍可能超过 2 位。根据 PrismML 自己在 15 个基准上的评估，较大版本保留了原始模型 95% 的性能，较小版本保留了 90%。白皮书还给出了一组移动端数据：在 iPhone 17 Pro Max 上，模型输出速度约为每秒 11 个 token；电池测试显示，每消耗 1% 电量可生成约 672 个 token，按此推算满电可生成约 67,000 个 token，不过在运行五分多钟后芯片出现了轻微降频。该模型权重采用 Apache 2.0 许可证开放，既可通过 Apple 的 MLX 框架在 Apple 设备上运行，也可在 NVIDIA GPU 上运行。PrismML 还提供限时免费的 Developer Preview API 和 HuggingFace 在线演示。
来源与参考
收录于 2026-07-16