通义千问推出Qwen2.5-Turbo开源AI模型 上下文长度达100万tokens

阿里通义千问官方今天宣布,经过数月的优化与改进,正式发布Qwen2.5-Turbo开源AI模型,以满足社区对更长上下文长度的需求。新模型将上下文长度扩展至100万个tokens,等同于大约100万英文单词或150万中文字符,足以包含10部完整的小说、150小时的演讲稿或30000行代码。

上下文长度是指在自然语言处理中,大型语言模型在一次处理过程中能处理的最大文本量。Qwen2.5-Turbo通过采用稀疏注意力机制,将处理100万tokens至输出首个token的时间从4.9分钟减少到68秒,提升了4.3倍的速度。此外,该模型在1M-token的Passkey检索任务中达到了100%的准确率,RULER长文本评估得分高达93.1,优于GPT-4和GLM4-9B-1M等竞争对手。

Qwen2.5-Turbo的处理成本为每百万tokens 0.3元,能够处理的token数量是GPT-4o-mini的3.6倍。这使得Qwen2.5-Turbo在经济性和效率上具有显著优势,成为处理长文本的理想选择。尽管如此,开发团队也认识到在实际应用场景中,长序列任务的表现可能存在不稳定性,且大型模型的推理成本仍有待进一步优化。为此,团队承诺将持续优化模型的人类偏好度、提升推理效率,并探索更先进的长上下文处理技术。