长文档训练方法被重写
字节与港科大研究发现，围绕文档做问答监督，比让模型做纯转录更有效；在 Qwen2.5-VL 上训练出的 MMProLong 甚至超过更大的开源模型。[2017]
字节研究发现问答优于转录训练长文档
字节跳动 Seed 和香港科技大学的研究人员报告称，做长文档理解训练时，多模态模型从问答监督中学到的效果明显优于纯文本转录。基于这一方法，他们在阿里巴巴开源的 Qwen2.5-VL 上构建了 MMProLong，并称其表现超过了更大的开源模型。
长文档能力是现代视觉语言模型的重要需求，因为它们需要处理 PDF、截图、视频以及跨多个步骤的智能体记忆。如果问答训练比转录更有效，这会改变实验室构建长上下文多模态系统的方式，并可能降低获得高性能所需的计算成本。
字节跳动 Seed 和香港科技大学研究了如何更有效地训练多模态模型来理解长文档。研究的核心发现是：让模型围绕文档回答问题，比让它把文档中的所有文字都转录出来更有效。研究人员在对比实验中发现，纯文本识别不仅没有帮助，反而会让性能低于模型的初始水平。相比之下，问答监督带来了明显提升，因为这种方式会迫使模型在长上下文中定位相关信息，再抽取答案。为了构造这种训练信号，研究人员使用字节跳动的 Seed 2.0 为文档的各个部分生成问答对。
随后，他们基于阿里巴巴开源的 Qwen2.5-VL 训练出一个名为 MMProLong 的模型。研究称，MMProLong 在 InternVL3-38B 和 Gemma3-27B 等更大的开源模型面前表现更好，并且在 256,000 甚至 512,000 token 的超长输入下仍能保持稳定。研究还发现，使用长短样本的广泛混合，比主要集中在最长文档上更可靠，而且真正的瓶颈是信息检索，而不是对检索到内容进行推理。最后，研究人员表示，这套方法也能迁移到长视频理解等任务，并且即使在已经面向长上下文的 Qwen3-VL-8B 上也能继续带来提升。
研究发现，纯 OCR 式文本识别作为训练任务反而会损害性能，而针对文档特定部分生成的问答对能够提升效果。最佳结果来自偏向抽取任务并混入少量计算任务的训练组合；尽管只在 128,000 token 上训练，模型在 256,000 甚至 512,000 token 输入下仍保持稳定。
