#mixture-of-experts

The Decoder·5月16日 15:55 UTC

EMO仅用12.5%的专家仍保持接近完整性能

艾伦人工智能研究所和加州大学伯克利分校的研究人员开发了 EMO，这是一种混合专家语言模型，其内部模块会专门对应医学、政治等内容领域。在测试中，该模型在仅保留 25% 专家时性能只下降约 1 个百分点，保留 12.5% 专家时也只下降约 3 个百分点。