Google 的 SensorFM 可解析可穿戴健康数据
The Decoder··作者 Tomislav Bezmalinović
关键信息
SensorFM 输入来自五类传感器的 34 项一分钟特征，包括 PPG、加速度、皮电、皮肤温度和气压高度，并通过自监督掩码方式训练。Google 表示，最大模型与最大数据集效果最好，重建误差比最小配置低 31%，且在大多数下游任务上表现更优。
资讯摘要
Google Research 发布了 SensorFM，这是一种基础模型，目标是从可穿戴传感器数据中学习对人类生理和行为的通用表示。该模型在来自 500 万名 Fitbit 和 Pixel Watch 用户的超过 1 万亿分钟多模态数据上进行了预训练，数据覆盖 100 多个国家以及 20 多种设备型号。Google 表示，这是迄今用于训练此类模型的规模最大、来源最多样的可穿戴数据集。它的目标是超越当前碎片化的可穿戴算法体系，因为今天许多功能都是单独建模的，例如睡眠、心血管风险、压力或代谢指标。Google 希望用一个共享表示来处理连续且经常缺失的传感器流，从而覆盖更多健康问题。SensorFM 使用来自五类传感器的 34 项特征，包括光电容积描记（PPG）、加速度、皮电、皮肤温度和气压高度。它采用一种名为自适应和继承掩码（Adaptive and Inherited Masking，AIM）的自监督方法训练，帮助模型同时学习还原真实缺失的数据和训练时被刻意隐藏的数据。
研究人员测试了四种模型规模，参数量从约 10 万到 1 亿不等，训练数据规模则从 5000 人扩展到 500 万人。结果显示，模型规模和数据量同时增大时，性能会系统性提升；在最大数据集上，最大模型的重建误差比最小模型低 31%，并且在大多数下游任务上表现最好。研究人员还在三项独立研究的数据上进行了评估，共涉及 13,985 名参与者。SensorFM 在 35 个健康和行为预测任务上接受测试，涵盖心血管与代谢健康、心理健康、睡眠、人口统计特征和生活方式等类别。根据论文，基于 SensorFM 表征再接一个简单任务头的模型，在 35 个任务中的 34 个上都超过了使用手工设计可穿戴特征的监督式基线。该模型对新任务也更具标注效率，也就是用更少的标注样本就能适配新任务。此外，Google 发现，在健康摘要中加入 SensorFM 的额外预测后，五个研究领域的评分都显著高于基线版本。
来源与参考