这项由韩国科学技术院（KAIST）、纽约大学（NYU）及DeepAuto.ai联合开展的研究，发表于2026年4月，论文编号为arXiv:2604.14004。研究聚焦于一个听起来很有意思的问题：一个专门帮你修复软件漏洞的AI，能不能从它解过竞赛题的经历中获益？
一、当AI程序员只有"单科笔记"
假设你有一个非常聪明的助手，但这个助手有个奇怪的习惯——每次做完一类事情之后，他只会把笔记锁在那件事对应的盒子里，不允许混用。帮你解决过数学竞赛题的经验，不能用来帮你修房子；在厨房里摸索出来的调味技巧，也不能拿去指导木工活。这听起来挺荒唐的，但这恰恰就是目前大多数具备"记忆"功能的AI编程助手的现状。
这类AI系统通常被称为"自我进化代理"，意思是它们能从自己以往的工作经历中提炼经验，存起来以备将来使用。问题在于，现有的系统几乎清一色地把记忆限制在"同一类任务"里——解代码竞赛题的经验只用于下一道竞赛题，修复软件仓库的经验只用于下一个仓库任务。不同类型任务之间的知识，就这样被人为地隔绝开来，形成一个个孤立的"知识孤岛"。
KAIST与纽约大学的研究团队注意到这个问题，并提出了一个简单却富有启发性的想法：这些不同类型的编程任务，其实共享着大量底层基础——它们都在Linux环境下运行，都用Python或其他相同的编程语言，都面临文件读写、环境配置、测试验证这些共同的挑战。那么，为什么不把不同类型任务积累的经验放进一个共同的"记忆池"里，让AI助手从中自由取用呢？这个想法就是他们所称的**记忆迁移学习（Memory Transfer Learning，MTL）**。
二、记忆的四种形态：从日记到格言
在深入研究跨领域记忆迁移之前，研究团队首先面对一个基础问题：AI的"记忆"应该长什么样？
他们把记忆比作人类在做完一件事之后可能留下的不同类型的记录，并划分出四种格式，从最具体到最抽象依次排列。
最具体的一种叫**轨迹（Trajectory）**，就好比你在日记里把今天做的每一步都写下来，包括"打开文件、运行命令、遇到报错、再次尝试"，连中间失败的步骤也完整保留。这份记录信息量巨大，但也极其繁琐，充斥着大量与具体任务绑定的细节。
第二种叫**工作流（Workflow）**，相当于在整篇日记里圈出"真正有用的几步"，提炼成一份可复用的操作流程，去掉那些走错的弯路，只留下核心动作序列。它比轨迹简洁得多，但仍然保留了相当多的具体操作内容。
第三种叫**总结（Summary）**，不再列操作步骤，而是用叙述的方式说清楚"我做了什么任务、在什么环境下、用了什么策略、为什么成功或失败"。这已经开始脱离具体的命令细节，转向对经验的解释和分析。
第四种也是最抽象的一种叫**洞见（Insight）**，类似于一句"人生格言"——完全不提具体任务、具体文件、具体代码，只提炼出普适性的行动原则，例如"在修改代码之前，先写一个小测试来验证你的修改方向"。这类记忆几乎可以适用于任何编程场景，与具体任务的关联度极低。
研究团队用这四种格式为六个不同类型的编程基准任务生成记忆，然后把所有"非当前测试领域"的记忆汇集成一个统一的跨域记忆池，让AI在处理新任务时可以从中检索参考。
三、六个赛道，一个共同的记忆库
为了全面评估这个想法，研究团队选择了六个性质截然不同的编程任务基准。其中有两个偏向"解题"性质的任务——LiveCodeBenchv6专注于函数级别的代码竞赛题，Aider Polyglot考察多语言代码编辑能力。另外两个是"工程级"任务——SWE-Bench Verified要求AI修复真实GitHub仓库中的软件漏洞，TerminalBench2则是在命令行界面完成复杂的系统级操作。还有两个属于"专业领域"任务——ReplicationBench要求AI复现天体物理学论文中的代码，MLGym-Bench则让AI在机器学习研究场景中改进模型性能。
这六个任务覆盖面相当广，就像让同一个人参加数独比赛、修家里的电路、在实验室里做科学实验——表面上看是完全不同的事情，但做这些事的人共享同一套基本逻辑思维能力和动手习惯。
每个基准任务最多随机抽取100道题，用Pass@3这个指标衡量成绩——意思是AI在三次尝试中至少成功一次的比例。实验中使用的AI基础模型是GPT-5-mini，同时也在DeepSeek V3.2和Qwen3-Coder-480B两个开源模型上进行了验证。记忆的检索方式很直接：把当前任务的描述转化成一个向量（一种数字表示），然后从记忆库里找出向量距离最近的三条记忆，放进AI的"提示词"里作为参考。
四、数字背后的故事：跨域记忆真的有用
实验结果出人意料地清晰。在GPT-5-mini模型上，相比完全不使用任何记忆的零样本基线，跨域记忆迁移平均提升了3.7%的Pass@3得分。听起来数字不大，但在六个不同性质的基准上一致提升，说明这不是偶然现象。
具体来看，提升最显著的是两个专业领域任务。ReplicationBench的成绩从0.111跳升到0.189，提升幅度高达7.8%；MLGym-Bench从0.667提升到0.750，提升了8.3%。相比之下，LiveCodeBenchv6和Aider-Polyglot这两个"解题类"任务的提升幅度较小，但仍然是正向的。
在与其他自我进化方法的比较中，跨域记忆迁移的表现同样亮眼。ReasoningBank是一种专注于从同域任务中提炼洞见的方法，它在三个基准上的平均Pass@3是0.601；AgentKB是另一种构建大型跨域记忆池的系统，拥有多达5899条记忆，平均得分是0.613。而这项研究的MTL方法，仅用431条记忆就达到了0.630的平均得分——用更少的记忆，取得了更好的效果。
在开源模型上，这个结论同样成立。DeepSeek V3.2使用跨域Insight记忆后平均提升了2.6%，Qwen3-Coder提升了1.8%。这说明跨域记忆迁移不是某个特定模型的专属福利，而是一种具有普遍适用性的方法。
五、为什么有效？秘密藏在"操作哲学"里
弄清楚"有没有用"之后，研究团队更想搞明白"为什么有用"。他们收集了所有"零样本失败、加了Insight记忆后成功"的案例，让另一个AI（GPT-5）来分析这些案例中记忆究竟起了什么作用，并将作用归入不同类别。
结果显示，最大的贡献来自"迭代式工作流纪律"，占总贡献的15%——意思是记忆提醒了AI要按照"检查→修改→验证→提交"的步骤来，不要一步到位乱搞。紧随其后的是"测试驱动验证"，占14.5%，意思是记忆告诉AI在没有官方测试用例的情况下，自己写一个简单的测试来验证修改是否正确。"反模式规避"排第三，占14.4%，就是记忆帮AI避开了已知的坑，例如不要一次性重写大段代码、不要盲目猜测输出结果。
与此同时，"算法策略迁移"——也就是把一个任务里具体的算法思路搬到另一个任务里——只占了5.5%。这个发现非常有启发性：跨域记忆之所以有用，不是因为AI记住了"如何解决某种具体问题"，而是因为它记住了"如何以一种稳健、可靠的方式行动"。就像一个有经验的老程序员教新人的不是具体的代码，而是"先读懂再动手"、"改一点测一点"这类行动哲学。
研究团队还给出了一个具体案例加以印证。在SWE-Bench Verified的一个任务中，AI需要修复Django框架里的一个聚合查询问题。在零样本条件下，AI直接修改了相关文件，添加了一个报错逻辑，最终测试失败。而在加入了一条来自LiveCodeBench的Insight记忆之后——这条记忆的内容是"在做小的代码修改时，用Python内联脚本快速写几个测试来验证修改"——AI在同一个任务上主动加入了测试验证步骤，最终成功通过了测试。两次失败与成功的差异，不在于AI对Django有没有了解，而在于它有没有养成"做完就验证"的习惯。
六、抽象度决定了记忆能走多远
为了理解为什么四种记忆格式的效果差别这么大，研究团队做了一个很有意思的可视化分析。他们把每条记忆转化成高维向量，然后用t-SNE算法把这些向量"压扁"到二维平面上，观察不同类型的记忆在空间中的分布。
轨迹（Trajectory）记忆的分布，就像六个颜色鲜明的色块——每个任务领域的记忆紧紧抱团，界限清晰。工作流（Workflow）的分布同样如此，各域之间泾渭分明。总结（Summary）开始出现一定程度的混合，但仍然可以看出各域的聚集趋势。洞见（Insight）的分布则完全不同——六种颜色的点星星点点散落在整个空间里，彼此交错，找不到明显的聚类边界。
这个视觉结果用两个统计指标得到了量化支持。Davies-Bouldin指数（DBI）衡量各类别的聚集程度，越高说明各域越分散混合——从轨迹的3.09，到工作流的4.02，总结的4.47，再到洞见的6.50，呈明显的递增趋势。Local Inverse Simpson's Index（LISI）衡量局部混合程度，越高说明不同域的记忆在空间中越交错——同样从轨迹的1.70一路上升到洞见的4.00。
换句话说，越抽象的记忆，在嵌入空间里越"无家可归"——它不属于任何特定的任务域，因此也就天然地适合"漂洋过海"去帮助其他任务。
为了进一步确认抽象度本身（而非记忆格式）才是关键变量，研究团队做了一个精妙的控制实验。他们只看Insight这一种格式，然后判断每条Insight记忆有多"任务专一"——方法是让AI从记忆内容反推它是关于什么任务的，推断结果与原任务越接近，说明这条记忆越具体；越偏离，说明它越抽象。把最具体的30%和最抽象的30%分别拿来测试，结果抽象的那组在三个基准上的平均成绩均高于具体的那组，差距约为1.1%。格式相同，抽象度不同，效果就有差异——这有力地说明了抽象度本身就是一个独立的影响因素。
七、当记忆"跑错片场"：负迁移的三种样子
当然，事情不总是那么美好。在某些任务上，加了记忆反而比不加还差——这种现象叫做负迁移。研究团队同样认真地分析了这些失败案例，发现负迁移主要以三种形态出现。
第一种叫"领域错配锚定"。检索出来的记忆在表面上和当前任务看起来很像，但实际上结构完全不同，导致AI被误导，带着错误的前提去解决问题。第二种叫"错误验证信心"——来自其他任务的验证思路让AI产生了一种"已经检验过了"的错觉，反而放松了对正式测试标准的注意，导致悄悄犯了错却没有发现。第三种叫"最佳实践误用"——某些在其他任务里屡试不爽的操作模式，被AI不加辨别地搬到了新任务里，结果与新任务的具体要求产生冲突。
附录中还有两个生动的负迁移案例。在一个需要用C++实现函数的任务里，AI检索到了一条来自R语言环境的工作流记忆，记忆里有用heredoc写文件的技巧。AI照搬了这个操作模式，用同样的方式去覆写C++的头文件和源文件，完全没有检查原有文件的命名空间结构，最终导致编译失败。另一个案例里，一条关于"在运行昂贵实验前先做预检查"的Insight记忆，被AI扭曲理解成了"跑一个快速粗糙的测试就够了"，导致模型根本没有认真训练就提交了低质量结果。
这些失败模式指向了一个共同的改进方向：更聪明的记忆检索机制，不应该只看内容相似度，还应该考虑领域适配性；同时需要更好的记忆适应机制，能够在引用记忆时自动调整不适用的部分。
八、更大的池子，更多的领域，更好的成绩
研究团队还系统地验证了记忆池规模与任务域数量对性能的影响。他们把完整的跨域记忆池按照1/4、2/4、3/4和全量四个规模依次测试，结果发现平均成绩随记忆数量的增加稳步提升——记忆池越大，检索到真正有用记忆的概率就越高，这个逻辑符合直觉。
在域数量的实验里，他们从使用0个外部域的记忆开始，逐步增加到2个、5个、9个域，结果同样是域的数量越多，整体性能越好，9个域时达到最优。更广泛的域意味着更多样化的知识覆盖，也就意味着面对各种各样的新任务时，总有几条记忆能提供有价值的参考。
九、记忆还能跨越模型本身
最后，研究团队还做了一个颇具探索性的实验：记忆可以"跨模型"使用吗？也就是说，GPT-5-mini积累的记忆，拿去给DeepSeek V3.2用，有没有效果？
结果是肯定的。无论是用GPT-5-mini生成的记忆去辅助DeepSeek V3.2，还是反过来，都比零样本基线要好。研究团队认为这背后的原因与他们之前发现的一致——洞见类记忆传递的是"操作哲学"，而操作哲学不属于任何特定的模型，就像"先检查再动手"这条原则，对任何人都适用，不管你是工程师还是医生。
不过，跨模型迁移的效果确实不如"自产自用"——模型自己生成的记忆用起来效果更好，因为自己生成的记忆里可能带有模型特有的思维习惯和偏好，用起来更顺手。
另外，研究团队也测试了两种"升级版"检索方法——让LLM对候选记忆重新排序，以及让LLM把记忆改写成更适合当前任务的形式——结果发现，这两种"聪明"的方法都不如简单的嵌入相似度检索。原因可能在于，编程任务是一个动态的多步骤过程，在任务开始之前很难准确预判"后面会需要什么样的知识"，过于精细的提前筛选反而可能筛掉了有用的东西。这个发现本身也说明，针对动态智能体场景的记忆检索与适应方法，仍然是一个需要深入研究的开放问题。
归根结底，这项研究用六个基准、三个模型、四种记忆格式的大量实验，回答了一个直觉上合理却缺乏系统验证的问题：跨领域的编程经验是可以迁移的，而且迁移的主要载体不是具体的代码知识，而是更普遍的行动习惯和操作哲学。当记忆被提炼得足够抽象，它就不再属于某个特定的任务或领域，而成为一种通用的认知资源。
这意味着，未来的AI编程助手不应该把不同类型任务的经验分装在互不相通的格子里，而应该建立一个统一的知识公共空间——每完成一类任务，都向这个空间贡献经验；每面对新任务，都从这个空间汲取智慧。做到这一点的关键，在于把经验从"这道题怎么解"的层次，提炼到"解题时应该遵守什么原则"的层次。有兴趣深入探究这一研究细节的读者，可通过论文编号arXiv:2604.14004查阅完整论文。
---
Q&A
Q1：记忆迁移学习（MTL）和普通的AI记忆有什么区别？
A：普通的AI记忆系统只在同类任务之间共享经验，比如解代码竞赛题的经验只用于下一道竞赛题。记忆迁移学习打破了这个限制，把来自修复软件漏洞、代码竞赛、机器学习实验等完全不同类型任务的经验放进一个共同的记忆池，让AI在处理任何新任务时都能从中取用。核心思路是：不同编程任务虽然表面不同，但都共享底层的操作环境和行动哲学，这些共性经验完全可以跨域复用。
Q2：为什么洞见格式的记忆比轨迹格式的效果好？
A：轨迹记忆保留了每一个具体的命令和操作步骤，包含大量与特定任务绑定的细节。当这些细节被用在不同类型的任务里时，AI很容易照搬不适用的操作，导致出错。洞见记忆则完全不提具体文件或代码，只提炼出像"先写测试再修改"这样的普适原则。这类原则不依赖任何具体任务的结构，因此可以直接适用于各种场景，不会因为细节不匹配而引发问题。
Q3：记忆迁移学习在哪些任务类型上提升效果最明显？
A：根据实验数据，提升最显著的是专业领域类任务。复现天体物理学论文代码的ReplicationBench提升了7.8%，机器学习研究任务MLGym-Bench提升了8.3%。相比之下，代码竞赛题这类有明确输入输出规范的任务提升幅度较小。研究者认为，这是因为专业领域任务涉及更多环境配置、工具使用和验证流程，而这些恰恰是跨域记忆最擅长传递的"操作哲学"类知识。