NVIDIA PAIR把家用设备变成本地AI集群
The Decoder··作者 Jonathan Kemper
关键信息
PAIR支持GeForce RTX 20系及更新显卡、RTX Pro工作站、DGX Spark，以及从M4开始的Apple silicon。NVIDIA表示它会自动发现兼容设备，并使用mTLS加密保护设备之间的通信，而且这个beta版本可用于Windows、macOS和Linux。
资讯摘要
NVIDIA推出了PAIR，全称是Personal AI Router，它是一款开源工具，旨在把本地AI推理分发到家庭网络中的多台设备上。这个系统像一个虚拟路由器，位于现有AI应用与可执行任务的设备之间，包括Ollama和LM Studio等工具。它不会把所有请求都压到一台机器上，而是把任务转发给当前空闲的兼容设备，并把结果返回给调用应用。NVIDIA表示，这样可以降低并行代理任务的等待时间，并更好地利用网络中原本闲置的硬件。
公司列出的支持硬件包括GeForce RTX 20系及更新显卡、RTX Pro工作站、DGX Spark，以及从M4开始的Apple silicon。在一次演示中，三台设备组成的集群用不到9分钟完成了一个包含5个子代理的任务，而单台笔记本则用了18分钟。PAIR还能自动发现网络中的兼容设备，并通过mTLS加密保护设备之间的通信。该beta版本可在Windows、macOS和Linux上使用，这也体现了NVIDIA把开源AI更紧密地连接到自身硬件生态的更大策略。
资讯正文
Nvidia 希望你的家庭网络像一个用于本地 AI 的迷你数据中心一样运作
Nvidia 的 PAIR（Personal AI Router，个人 AI 路由器）会自动将本地 AI 请求分散到家庭网络中所有可用设备上，从而缩短并行代理任务的等待时间。这款开源工具位于 Ollama 或 LM Studio 等现有工具与网络中的各台电脑之间，充当虚拟路由器。用户无需更改自己的代理或应用程序。PAIR 不会让单一 GPU 过载，而是将请求转发给当前空闲的机器，并把结果重新汇总后返回给发起调用的应用。
支持的硬件包括 20 系列及以上的 GeForce RTX 显卡、RTX Pro 工作站、DGX Spark，以及从 M4 开始的 Apple silicon。在一次演示中，一个由三台设备组成的集群在不到 9 分钟内完成了一个包含 5 个子代理的任务，而单台笔记本电脑则耗时 18 分钟。PAIR 会自动检测网络中的兼容设备，并使用 MTLS 加密保护机器之间的所有流量。该测试版可用于 Windows、macOS 和 Linux。PAIR 契合了 NVIDIA 更广泛的战略，即将开放 AI 更紧密地绑定到自家硬件上，这一策略也体现在其以 129 亿美元收购 Hugging Face 的交易中。
来源与参考