#language-models

The Decoder·6月7日 15:45 UTC

为何更大的语言模型更易学会稀有技能

来自 Anthropic、Stanford 等机构的研究人员提出了一种机制，解释为什么更大的语言模型能学会小模型常常学不到的稀有任务。他们的研究表明，训练数据中任务出现的频率，可能和模型大小一样，都会决定某些罕见技能能否真正学会并保留下来。