PrismML将1位Bonsai带上高通智能眼镜。

关键信息

PrismML称，其压缩方法可将模型体积缩小至原来的四分之一，同时在标准基准测试中保留几乎全部性能。不过，Qualcomm此次展示的只是模型与平台的兼容性，目前尚未公布任何搭载PrismML的商业智能眼镜。

资讯摘要

由Caltech研究人员创立、并由UC Berkeley教授Ion Stoica担任顾问的AI实验室PrismML，已将其小型语言模型技术适配到采用Qualcomm芯片的智能眼镜上。在Qualcomm举办的Snapdragon峰会上，这家芯片制造商展示了PrismML的1位Bonsai LLM，可在基于Snapdragon AR1 Gen 1平台的硬件上本地运行。智能眼镜版本拥有20亿个参数，并针对视觉和语言任务进行了调优。佩戴者因此可以针对视野中的物体或场景提问，并实时获得回答，而不一定要依赖远程模型。

PrismML称，其方法能将较大模型的体积缩小至原来的四分之一，同时保留其在标准基准测试中的几乎全部性能。该公司的长期目标是提供开放权重AI，更充分地利用消费设备已有的计算能力，并以本地运行替代依赖专有云端AI及其隐私承诺和庞大算力需求。此次演示让这一目标向前迈进一步，但它尚不代表已上市的产品，因为目前没有任何采用PrismML技术的智能眼镜得到正式公布。

来源与参考

1. 原始链接
2. PrismML brings its tiny LLMs to Qualcomm-powered smart glasses | TechCrunch