亚马逊据称蒸馏Anthropic模型以降低成本

关键信息

据报道，亚马逊拥有蒸馏 Anthropic 模型的权利，这一点类似于苹果与 Google Gemini 的安排。Bedrock 提供蒸馏服务，但 Anthropic 的 Claude 模型并不在该平台上提供；目前仅支持亚马逊自家的 Nova 模型和 Meta 的 Llama 模型。

资讯摘要

据报道，亚马逊正在推进一项计划：把 Anthropic 的模型蒸馏成更小、成本更低的内部系统，以应对双方合作关系中的计费变化。The Information 称，一些亚马逊工程师已经在做这件事，因为他们担心新的安排会让成本上升。模型蒸馏的意思是让小模型学习大模型的输出，从而在尽量保留能力的同时降低推理成本。知情人士表示，亚马逊拥有把 Anthropic 模型用于这一目的的权利，这种安排被拿来类比苹果与 Google Gemini 的合作。亚马逊确实在 Bedrock 云平台上提供蒸馏服务，但 Claude 并不在该平台上开放，目前只支持亚马逊自己的 Nova 模型和 Meta 的 Llama 模型。

报道称，这项工作与亚马逊和 Anthropic 之间的合作重新谈判有关，从明年开始，亚马逊将按处理的 token 数量付费，而不是按算力小时付费。这样的变化在使用量上升时可能会显著推高成本，尽管亚马逊发言人表示，扩大的合作不会增加成本。Anthropic 则强调，其模型的定价与性能表现相比仍然更具吸引力。报道还说，亚马逊正在考虑 OpenAI 和自家的 Nova 模型等替代方案，而且今年亚马逊对 Anthropic 和 OpenAI 的投资分别最高可达 250 亿美元和 500 亿美元。

资讯正文

据报道，亚马逊工程师正在蒸馏 Anthropic 模型，以在新的按 token 计费模式生效前降低成本

据《The Information》报道，出于对成本上升的担忧，一些亚马逊工程师已经开始蒸馏 Anthropic 模型，以便为内部使用构建更小、成本更低的版本。蒸馏的原理是让一个较小的模型通过学习更大模型的输出来提升能力。据一位知情人士称，亚马逊拥有将 Anthropic 模型用于这一目的的部分权利，这与苹果使用 Google Gemini 的安排类似。亚马逊确实在其 Bedrock 云平台上提供蒸馏服务，但 Anthropic 的 Claude 模型并不在其中；目前仅支持亚马逊自家的 Nova 模型以及 Meta 的 Llama 模型。

《The Information》称，这项努力与双方合作关系的重新谈判有关。从明年开始，亚马逊将按处理的 token 数量而不是按计算小时为 Anthropic 的模型付费，这可能会使成本大幅上升。亚马逊发言人对此予以反驳，称扩展合作带来的变化不会增加成本。Anthropic 则强调，其模型相较于所提供的性能，价格更低。

据报道，亚马逊还在探索 OpenAI 以及自家的 Nova 模型等替代方案。今年，该公司向 Anthropic 追加投资高达 250 亿美元，并向 OpenAI 追加投资高达 500 亿美元。

来源与参考

1. 原始链接
2. Amazon engineers are reportedly distilling Anthropic models to cut costs before new token-based pricing kicks in