Safetensors 加入 PyTorch 基金会,推动机器学习模型安全存储
Hugging Face Blog··作者 Luc Georges
关键信息
该格式使用最大 100MB 的 JSON 头部和原始张量数据,支持零拷贝加载和懒加载——这意味着张量可以直接从磁盘访问,无需完全反序列化或不必要的 CPU 阶段。
资讯摘要
Safetensors 最初是 Hugging Face 为解决基于 pickle 格式的代码执行风险而开发的项目。设计简洁且高效,它已成为 Hugging Face Hub 等平台模型共享的默认格式。现在在 Linux 基金会下加入 PyTorch 基金会,获得中立治理和社区驱动发展。
对用户而言不会产生任何破坏性变化;贡献者可通过文档化的流程正式参与治理。未来计划包括设备感知加载(如 CUDA)、并行加载支持以及更好的量化格式兼容性。
资讯正文
Safetensors 正加入 PyTorch 基金会
Safetensors 最初是 Hugging Face 的一个项目,诞生于一个明确的需求:一种可以存储和共享模型权重但不会执行任意代码的方式。当时主导生态系统的基于 pickle 的格式存在非常真实的风险——你可能正在运行恶意代码。虽然在机器学习尚处于萌芽阶段时这种风险是可以接受的,但随着开放模型共享成为机器学习社区运作的核心方式,这一风险变得不可接受。
我们设计的格式有意保持简单:一个最多限制为 100MB 的 JSON 头部,描述张量元数据,后接原始张量数据。支持零拷贝加载,可直接从磁盘映射张量;也支持惰性加载,让你无需反序列化整个检查点即可读取单个权重。
我们未曾预料到的是它会被如此广泛采用。如今,Safetensors 已成为 Hugging Face Hub 及其他平台默认的模型分发格式,被数以万计的跨模态机器学习模型使用。它已成为开源机器学习社区共享模型的首选方式。
我们希望 Safetensors 真正属于社区。该项目始终是开源的,但代码贡献只是其演进的一部分。通过引入更多公司和贡献者参与项目的治理,我们确保发展能够反映建立在其之上的整个社区的广度。加入 PyTorch 基金会意味着 Safetensors 现在有了一个厂商中立的归属地。商标、代码仓库和项目治理权都交由 Linux 基金会管理,而非任何单一公司。Hugging Face 的两位核心维护者 Luc 和 Daniel 仍留在技术指导委员会,并继续负责日常项目推进,但 Safetensors 现在正式归属于依赖它的社区。
我们认为,当每个贡献者都能基于已有成果进行构建时,安全才能得到最好保障;这一原则现已嵌入项目治理本身。
对绝大多数用户而言,没有任何变化。格式不变,API 不变,Hub 集成也不变:没有破坏性更新。今天以 Safetensors 格式存储的模型将继续像现在一样正常工作。
对贡献者而言,成为维护者的路径现在已正式记录并面向社区中的任何人开放。项目的治理文档位于仓库中的 GOVERNANCE.md 和 MAINTAINERS.md 文件中。对于基于 Safetensors 构建的组织来说,Linux 基金会下的中立治理提供了稳定且长期的基础,完全由社区驱动。
Safetensors 是一个已经成熟并被生态系统广泛采纳的项目,但我们仍然坚信,这只是项目旅程的开端。
我们正在与 PyTorch 团队合作,使 Safetensors 能作为 PyTorch 内核中的序列化系统用于 torch 模型。
接下来几个月将见证显著增长,我们无法想象比 PyTorch 基金会更适合承载下一章的地方。未来的路线图包括设备感知的加载与保存功能,让张量可以直接加载到 CUDA、ROCm 等加速器上,而无需不必要的 CPU 中转。
我们还在开发针对张量并行和流水线并行加载的一流API,这样每个rank或流水线阶段只需加载它所需的权重。随着生态系统中量化技术的不断发展,我们将正式支持FP8、像GPTQ和AWQ这样的块量化格式,以及小于字节的整数类型。
这些问题关乎整个生态系统的利益,而加入PyTorch基金会意味着我们可以与其他托管项目协作解决这些问题,而不是各自独立推进。
Safetensors是开源项目,欢迎所有层级的贡献,从错误报告和文档编写到新功能开发和治理参与。
- GitHub:github.com/huggingface/safetensors
- 文档:huggingface.co/docs/safetensors
- PyTorch基金会:pytorch.org/foundation
如果你是开发者、研究人员或基于Safetensors构建项目的组织,并希望更深入地参与其发展方向,请提交问题、发起讨论或直接联系维护者。这个项目一直以来都属于使用者社区,现在的治理结构也体现了这一点。
来源与参考
收录于 2026-04-09