重磅！北京第二外国语学院发布大语言模型翻译质量评测报告

面向全球六个大语言模型开展评测研究

从ChatGPT到Claude、Gemini，再到国内的通义千问、DeepSeek等，近年来，大语言模型的发展速度超乎想象，在多语种的翻译任务中已达到接近人类译者的水平，极大提升了译文的语言自然度、术语一致性与语篇连贯性等，正在深刻改变翻译行业、教育方式与研究范式。

从翻译学和语言学的角度来看，大语言模型在翻译任务中依然存在一些问题，例如大语言模型无法理解复杂语言结构和深层语义，专业领域知识薄弱，汉语理解与生成问题突出等，因此，我们迫切需要构建一个系统化、可解释的评测机制，以评估大模型在多语翻译任务中的真实能力，进一步促进大语言模型翻译能力的提升。

基于北二外多年的外语学科与教学积淀、结合前期翻译评测研究成果，学校集中英语、日语、俄语、法语、阿拉伯语五个语种师生力量，面向ChatGPT、Claude、Gemini、Grok、DeepSeek和通义千问六个国内外语言大模型，从当代文学、党政文献和外事新闻三个领域开展翻译质量评测研究。

以汉语为核心、以中国特色文本为基础，BISU-AiTQA（v1.0）从语言特征维度、神经网络维度构建了包括词汇多样性、句法复杂度、篇章衔接度、语言可接受度等在内的六项指标体系，着重关注译文的语言使用特性，可有效识别模型在词法、句法和篇章衔接方面的能力，同时考察模型对语义的理解与语言表达能力。这不仅实现了对大语言模型译文的多维分析，更以实证方式检验了模型对中国话语、文化意涵与政策表述的处理能力，填补了“以汉语为核心”的多语种评测空白，是促进中外人文交流之路上迈出的坚实一步。

探索文工交叉人才培养“新蓝海”

如今，毫无外语基础的人，似乎拿起手机就能和外国人交流；看不懂的外国文字，也许简单“扫一扫”就能无障碍阅读。人工智能技术的兴起让外语教育面临着前所未有的重塑与挑战。

从评测结果来看，即使生成式人工智能 ，目前也不完全具备处理复杂语言的能力，在借助人工智能技术时，使用者必须具有判断力，培养这种判断力正是外语教育重要的育人功能之一。

人工智能时代的外语学习，必要且必须。基于这样的逻辑，BISU-AiTQA（v1.0）脱胎于文工交叉学科，又反哺语言教学，项目中的多语种多领域语料及翻译评测指标可广泛应用于翻译课程、语言测试、语言分析等教学场景，为推动翻译教育与语言研究的数字化转型提供重要的实践平台。

语言不仅是沟通工具，更是人类思维方式的构建者。语言能力是外语人才的立身之本，大语言模型技术的进步是外语发展的助力，为外语教学与翻译研究扩宽了路径。在课堂中，尝试引导学生与模型协作，训练人机交互能力、语言判断与批判能力，培养学生做AI的引导者。

提供“智”慧育人的二外方案

在国家大力推进“人工智能+”战略背景下，外语学科的魅力在哪儿、外语院校如何精彩蝶变？北二外率先回答了时代之问。

人工智能与语言科学学院汇集学校多语种研究力量发布BISU-AiTQA（v1.0）。2025年4月，北二外依托60多年来积淀的外语、旅游和区域国别学科优势，汇聚计算机、数学及语言学师资，聚焦语言科学与人工智能技术的融合创新，瞄准北京市重点支持的“AI+X”领域（外语服务、脑机接口、老年康养、智慧文旅），通过“语言+AI+场景”的学科架构，建设成立了以语言科学为核心的文工交叉人才培养单位。

学生在中科院心理所参与fMRI脑科学实验

人工智能与语言科学学院最早可以追溯到北二外2008年成立的“语言认知实验室”，2018年该实验室改组为学校“人工智能与语言认知实验室”。目前，学院汇聚了认知神经科学、生物医学工程、信息处理、自然语言处理、计算机科学与技术、语言学等领域专业教师，聚焦人工智能与语言健康、人工智能与语言工程、脑科学与智能计算、智能交叉等研究领域，致力于培养具备语言能力与人工智能技术的复合型高端人才。

多语种多学科背景学生参与人工智能与

语言科学学院研究项目

让技术学习浸润人文关怀，使传统的人文学科焕发创新活力。

科学技术迭代日新月异，但语言所承载的文化内涵、认知模式与表达方式的复杂性，仍需专业研究者与译者的深度参与和持续探索。未来，北二外将继续围绕“人工智能+外语”开展人才培养模式探索，为人工智能时代外语院校发展路径提供有效的“二外方案”。

点击下载大语言模型翻译质量评测报告

BISU-AiTQA(v1.0)：

大语言模型翻译质量评测报告.pdf

您可以通过网址aitqa.bisu.edu.cn，访问