这项由弗吉尼亚理工大学、马里兰大学、阿布扎比穆罕默德·本·扎耶德人工智能大学及匹兹堡大学联合开展的研究，于2026年6月以预印本形式发布，论文编号为arXiv:2606.28186。对教育领域或人工智能感兴趣的读者，可通过这一编号在arXiv平台检索完整论文。
每年全国有数以百万计的学生在备考各类标准化考试，从SAT到医学执照考试，一道题到底"难不难"，背后有一套精密的科学体系在支撑。传统上，考试机构需要将题目提前给真实考生做测试，收集大量答题数据，再用统计方法算出这道题的难度值——这个过程耗费时间、金钱，而且在题目正式上线前，谁也说不准它到底难在哪里。
研究团队注意到一个有趣的现象：当最新一代的"会思考的AI"（也就是论文里说的大型推理模型，简称LRM）解题时，它不只给出答案，还会把整个思考过程完整地写下来，就像一个学生在草稿纸上写下每一步推演。这些"思考日记"里藏着什么秘密？研究团队由此产生了一个大胆的想法：用AI的解题过程来预测一道题对人类来说有多难。于是，他们开发了一套叫做**Epi2Diff**（Episode to Difficulty，从认知片段到难度）的方法，将AI的推理轨迹转化为可以量化的难度信号。
---
一、考题难度是个"老大难"问题
考一道题难不难，直觉上是个简单问题。但教育测量领域的专家会告诉你，这其实非常复杂。一道题的"官方难度"是通过让大批真实考生作答后统计得来的，比如在某次考试里，只有30%的考生答对，那这道题就是难题；80%都答对了，那就是简单题。这个数字来自真实世界的数据，非常可靠，但代价是高昂的——每道新题都要经历漫长的"试用期"，期间还不能正式计入成绩。
为了省掉这个麻烦，研究者们很早就开始尝试用计算机预测题目难度。早期的方法是手工提取题目里的语言特征，比如单词有多难、句子有多长、涉及多少专业概念，然后用这些数字去预测难度。后来，随着BERT这类语言模型的兴起，研究者开始直接把题目文本"喂"给模型，让模型自动学习什么样的题是难题。然而，这些方法都有一个共同的局限：它们都是在分析"题目长什么样"，而不是在理解"做这道题需要多少脑力"。
这就好比判断一条登山路线难不难，你只看了路线图的样子，却没有考虑实际攀爬时需要用多少力气、中途需要休息几次、哪些地方需要反复调整路线。路线图（题目文本）固然重要，但真正反映难度的，是实际攀爬过程中的体力消耗。
研究团队认为，题目难度不仅是题目本身的属性，更是解题过程所带来的认知负担的体现。而最新的AI大推理模型，恰好能把这个"攀爬过程"完整地记录下来。
---
二、AI的"草稿纸"里藏着难度密码
近年来出现的大型推理模型，比如DeepSeek-R1、QwQ-32B等，解题时会产生非常详细的推理轨迹。这些轨迹不是简单的一两句话，而是几百甚至上千个句子的详细思考过程，包括"先理解题意"、"分析已知条件"、"规划解题路径"、"具体计算"、"检验答案是否正确"等各种阶段。
问题在于，这些轨迹内容庞大、杂乱、重复，直接把它们塞进预测模型里，不但没有帮助，反而可能带来大量噪音。研究团队的核心洞察是：需要把这些杂乱的推理文字，整理成有意义的结构，才能提取出真正有用的难度信号。
他们选择用一个来自教育心理学的框架来做这件整理工作——舍费尔德的"认知片段理论"（Schoenfeld's Episode Theory）。这个理论由数学教育学家艾伦·舍费尔德提出，他通过观察真实学生解题时的过程，发现解题行为可以归纳为几种功能性的片段：阅读（读懂题目）、分析（理解结构）、规划（制定策略）、实施（具体计算）、探索（尝试不同方向）、验证（检查答案）、监控（评估当前进展），以及研究团队额外加入的回答（最终提交答案）。这八种片段构成了一套完整的解题"动作词典"。
把这个词典应用到AI的推理轨迹上，就像给一段连续的旅行录像打上路标标签：这段是"出发准备"，那段是"正在爬坡"，另一段是"休息检查地图"。通过这种方式，一条杂乱的推理轨迹就变成了一个整齐的认知片段序列，比如："阅读→分析→规划→实施→实施→验证→回答"。
---
三、把解题日记变成数字：Epi2Diff的具体做法
有了这套框架，研究团队接下来要解决的是如何自动给AI的每一句推理打上"片段标签"。他们训练了一个基于RoBERTa（一种擅长理解文本含义的AI模型）的句子分类器，专门负责判断每个句子属于八种认知片段中的哪一种。
训练这个分类器用到了一个名为ThinkARM的数据集，其中包含来自五种不同推理AI在奥林匹克数学题上生成的推理轨迹，由GPT-5大规模标注，并由人工验证了7067个句子。清洗去重后，最终用于训练的句子对超过23万条。这个分类器在人工标注的测试集上达到了79.9%的准确率，整体性能相当稳健。
有了自动标注工具，每道题就能产生一条认知片段序列，接下来就是从这条序列里提取数字特征了。研究团队设计了三类特征，共同描述一次解题过程的全貌。
第一类是长度特征，记录整个推理轨迹的总长度、思考部分的长度以及最终回答部分的长度，用词汇数量衡量。这就像记录一次旅行的总里程、路上走了多远、到达目的地后停了多久。
第二类是片段分布特征，统计每种认知片段各自占用了多少词汇，以及它们各自占整个推理过程的比例。这相当于记录旅行中各类活动各占多少时间：爬山占了40%、休息占了20%、拍照占了15%……
第三类是转换特征，统计相邻片段之间的切换次数，形成一个8乘8的矩阵。举例来说，矩阵中"分析→实施"这个格子里的数字，就代表在整个推理过程中，AI从"分析状态"直接切换到"实施状态"发生了多少次。这相当于记录旅行中路线调整的模式：从爬坡切换到休息多少次，从休息又切换回爬坡多少次。
这三类特征合并成一个83维的数字向量（3个长度特征加8个片段数量加8个片段比例加64个转换次数），就是所谓的"认知片段驱动的过程表示"。
仅有过程表示还不够，研究团队还用一个叫Sentence-BERT的模型把题目本身的文字内容转化成一个向量，捕捉题目"讲的是什么"。最终，将题目内容向量和过程特征向量拼接在一起，形成一道题的完整表示，再用机器学习模型（最终选用的是XGBoost）来预测难度。
---
四、让AI扮演不同水平的学生：多重视角的聪明设计
研究团队还加入了一个颇具创意的设计：对每道题，不仅让AI以它自己的正常方式解题，还分别让它"扮演"弱、中、强三种不同水平的学生来解题，一共产生四条推理轨迹。然后把这四条轨迹各自提取的过程特征取平均值，作为这道题最终的过程表示。
这个设计背后的逻辑是：不同水平的学生面对同一道题，会走出截然不同的解题路径。弱学生可能反复试错、大量探索；强学生可能一步到位、迅速切入核心。通过聚合多个"视角"的过程信息，能够获得对这道题认知负担更全面、更稳健的刻画。
为了验证这个设计是否真的有效，研究团队还做了一个严格的对照实验：让AI用同一种方式（直接作答，不角色扮演）重复解题四次，产生同样数量的轨迹后取平均值。结果发现，单纯增加重复次数带来的收益远不如角色扮演带来的收益明显。这说明，有效的多样性来自不同的"认知视角"，而不仅仅是更多的随机样本。
---
五、在四个真实考试数据集上的较量
研究团队用四个来自真实考试的数据集来检验Epi2Diff的效果，覆盖了医疗、英语阅读理解、语言推理和数学推理四个不同领域。
第一个数据集来自美国医师执照考试USMLE，包含667道多选题，每道题的难度值是通过300多名医学生的真实作答统计出来的连续数值。第二个数据集来自剑桥英语资质考试，包含793道阅读理解题，难度同样是连续数值。第三和第四个数据集来自SAT考试的语文阅读写作部分（1338题）和数学部分（1075题），难度被标注为简单、中等、困难三个等级。
与Epi2Diff对比的方法分为几大类：一是微调小型编码器模型，包括BERT、RoBERTa、ModernBERT和ELECTRA；二是直接用大型语言模型做零样本或少样本推理，测试了GPT-4o、GPT-5、QwQ-32B、Qwen3-32B；三是对小型解码器模型做监督微调，包括全参数微调和LoRA（一种参数高效微调技术）。
结果显示，Epi2Diff在全部四个数据集的全部指标上均取得了最佳表现。在SAT数学分类任务上，Epi2Diff达到了73.0%的准确率和72.8%的宏观F1分数，相比表现最好的LLM监督微调基线（Qwen3-4B全参数微调的70.5%）实现了超过8%的相对提升。在SAT语文部分，同样超过了所有基线。在连续难度预测任务上，Epi2Diff在剑桥数据集上的RMSE（预测误差）为7.612，R?（解释方差比例）为0.396，在USMLE上的RMSE为0.291，R?为0.121，同样优于所有对比方法。
值得关注的是，很多大型语言模型在零样本或少样本推理中表现非常差，某些情况下R?甚至出现负值，意味着它们的预测还不如简单地猜平均值准确。这说明"模型越大越聪明"并不等于"对人类考题难度的判断就越准"。
---
六、数字背后的故事：难题究竟难在哪里
Epi2Diff不仅能预测难度，还能解释难度从何而来。研究团队对SAT数学数据进行了深入的特征分析，发现了一些耐人寻味的规律。
从长度来看，难题诱导出更长的推理轨迹，但主要是"思考"部分变长，而"回答"部分的增幅远小于"思考"部分。这意味着难题让AI更费力地想，而不仅仅是写了更多的回答文字。
从片段分布来看，"实施"（Implement）片段的绝对数量和比例在难题中都显著偏高，而"阅读"、"规划"和"验证"的比例则相对下降。简单来说，难题让解题过程更集中于"真正动手算"的环节，而不是均匀地分散在各个阶段。这和我们的直觉是吻合的：简单题读完就知道怎么做，难题则需要大量的具体推演。
从片段转换模式来看，最强的正向影响来自"分析→实施"、"实施→实施"和"实施→分析"这几种转换。这揭示了一种"分析-执行-再分析"的循环模式：AI在遇到难题时，会频繁地在理解和计算之间来回切换，形成一种局部的"分析-执行-精炼"循环。即使整体上"验证"片段的比例没有显著上升，验证行为也可能以"在执行中顺带检验"的形式渗透进实施阶段。
三道具体题目的案例进一步印证了这一点。一道简单题（"函数f(x)=4x-3，求f(10)的值"）的AI推理轨迹总计557个词，实施片段占25.3%，验证片段占17.2%；一道中等题（求直线斜率）的轨迹长795词，实施占34.7%；一道难题（已知函数的截距和参数乘积，求参数a的值）的轨迹长995词，实施片段高达40.3%。随着难度上升，实施比例持续攀升，验证和阅读的比例则持续下降。
对这些特征重要性的定量分析表明，认知片段分布特征和转换特征组合起来的预测价值，在某些实验设置中甚至超过了题目内容本身的语义特征。这意味着"AI如何解题"所携带的信息量，不亚于"题目本身写了什么"。
---
七、消融实验：每一块拼图都不可或缺
为了验证设计中每一个组件的必要性，研究团队进行了细致的消融实验，系统地拆除各个部分，观察性能变化。
只用题目内容的语义特征，准确率和F1分数大约在60.7%左右，比完整版低了约12个百分点。只用过程特征（不加语义），最好情况下能达到68.4%/67.7%，依然低于完整版。完整版（语义加过程特征）在最佳聚合设置下达到73.0%/72.8%，是所有组合中最优的。拿掉任意一组过程特征（长度、片段分布或转换），性能都有所下降，三类特征各自贡献了互补的信息，缺一不可。
对于转换特征的设计，研究团队还测试了多种替代方案，包括归一化的转换比例、唯一转换对的数量、三元组转换等，发现原始的相邻二元组计数在所有对比中表现最稳定。原因在于，原始计数既保留了转换的强度信息，又足够紧凑（64维），不像三元组那样会产生512维的稀疏表示。
此外，研究团队还对角色扮演聚合策略进行了拆解：分别测试了单模型单次推理、双模型聚合、单模型角色扮演聚合和双模型角色扮演聚合。结果表明，双模型角色扮演聚合（即论文最终采用的方案）始终取得最优表现，且提升主要来自引入不同学生角色，而非单纯增加推理次数。
---
说到底，这项研究做了一件既有趣又实用的事：它把AI的"脑内独白"当作一面镜子，从中照出题目对人类的认知挑战究竟有多大。对于考试设计者来说，这意味着未来可能不再需要昂贵的大规模预测试，就能提前知道一道新题大概有多难、难在哪里。对于普通学习者来说，这种方法如果进一步发展，或许有一天可以帮助智能辅导系统更精准地判断某道题对某个学生来说到底是不是"刚刚好"的挑战。
当然，研究团队也坦率地指出了这套方法的局限。AI推理轨迹是AI自己产生的，不是真实人类的思维记录，不同AI在表达习惯、推理详细程度上可能差异很大，这些都会影响最终提取的特征。目前的实验只覆盖了四个数据集，未来还需要在更多领域和更多类型的题目上验证。计算成本也是现实的考量：对每道题生成多条推理轨迹需要大量算力，如何在保持精度的前提下降低成本，是下一步要解决的问题。
对于教育测量、自然语言处理或人工智能感兴趣的读者，完整的技术细节和实验数据收录在arXiv编号2606.28186的论文中，以弗吉尼亚理工大学为第一单位，感兴趣的读者可以直接检索查阅。
---
Q&A
Q1：Epi2Diff方法和直接让AI猜题目难度有什么区别？
A：直接让AI猜题目难度（零样本或少样本推理）是让AI读完题后直接给出一个难度判断，结果往往很不准确，甚至比随机猜测还差。Epi2Diff则不是让AI直接"猜"，而是让AI先完整解题，再分析它解题时的思考过程有多复杂、花了多少力气在哪些环节，最后用这些过程特征结合题目内容来预测难度。前者问的是"你觉得这题难吗"，后者观察的是"解这道题实际花了多少脑力"。
Q2：认知片段理论是什么，为什么用它来分析AI解题过程？
A：认知片段理论由数学教育学家艾伦·舍费尔德提出，他通过观察真实学生解题发现，解题过程可以分成阅读、分析、规划、实施、探索、验证、监控几种功能性阶段。研究者选用它是因为这套框架有明确的教育心理学依据，能把杂乱的AI推理文字整理成有意义的结构，让"解题过程的复杂程度"变成可以量化的数字，而不是一堆无法比较的文字。
Q3：SAT数学难题和简单题在AI解题过程上最明显的区别是什么？
A：最明显的区别在于"实施"阶段（具体计算和推演）占整个推理过程的比例。简单题的实施比例约为25%，中等题约35%，难题可以超过40%。同时，难题的总推理长度更长，思考部分增幅明显大于回答部分，并且"分析→实施→再分析"的来回切换更加频繁，形成一种反复精炼的循环模式。