#language-models

The Decoder·6月7日 15:45 UTC

为什么更大的语言模型更容易学会稀有技能

来自 Anthropic、斯坦福等机构的研究人员发现，更大的语言模型之所以更容易学会稀有任务，是因为高频任务对它们的挤占效应更小。该研究还指出，在某些情况下，提高训练数据中目标任务的出现频率，可能比单纯扩大模型规模更有效。