这项由澳大利亚阿德莱德大学机器学习研究院主导的研究，于2026年7月发表，论文编号为arXiv:2606.30111v2，有兴趣深入了解的读者可以通过该编号查询完整论文。
设想你是一家餐厅的主厨，每天要决定厨房里每个厨师负责什么工序——谁负责切菜、谁负责炒锅、谁负责摆盘、谁负责传菜。这套流程一旦设计好，餐厅就能运转。但问题是，设计这套流程本身就需要极大的经验和反复试错，而且针对不同菜系，这套流程还需要完全重新设计。现在，研究人员在问：有没有可能让厨房自己想出最优流程？
这正是这篇论文要解决的核心问题。研究团队针对的是所谓的"具身智能体"——也就是那些需要在真实或模拟的三维世界里行动的AI系统，比如能在室内导航的机器人、能回答"椅子旁边有什么东西"这类问题的视觉问答系统，以及能操控桌面物体的机械臂。这些系统的内部结构就像那个厨房，由感知模块、记忆模块、规划模块和执行模块拼接而成，而这套拼接方式历来都是研究人员凭经验手工设计的。
研究团队提出的核心思路是：让AI自己来优化这套结构。他们构建了两个关键工具——一个叫做AgentCanvas的"画布系统"，负责把机器人的结构变成一张可以被程序编辑的"设计图"；另一个叫做KDLoop的"搜索引擎"，负责不断提出改进方案、测试效果、记录经验、再提出新方案。围绕这两个工具，他们还测试了另外两种来自文字领域的优化方法ADAS和AFlow，看看这三种方法在真实机器人任务上的表现如何。
实验结果覆盖四个不同的机器人系统和三类任务，构成一个三乘四的对比矩阵。多数情况下，自动优化确实能让机器人的成功率有所提升，但同时也暴露了几个在文字任务上从未出现过的棘手问题。这项研究的价值不只在于"能让机器人变得更好"，更在于它清醒地指出了自动化设计在真实物理世界里面临的根本障碍。
一、为什么"手工设计"机器人结构是一件苦差事
每当研究人员要构建一个新的具身智能体，他们面对的选择多得令人头疼。观测数据要以什么形式存储？记忆模块要保留多少历史步骤？规划器要调用哪个语言模型？各模块之间的信息应该怎么流动？停止探索的条件是什么？这些问题环环相扣，改动任何一个都可能影响整体效果，而且不同任务、不同场景下的最优答案往往截然不同。
更麻烦的是，随着大型语言模型和视觉语言模型的快速发展，可供选用的模块和工具数量正在爆炸式增长。研究人员用手工试错跟上这个速度已经越来越吃力。自动化架构搜索（Agent Architecture Search，简称AAS）正是在这个背景下诞生的。
在文字领域，AAS已经有了一些成功案例。研究人员用一个外部优化器来提出和评估各种工作流程方案，自动选出表现最好的那个。但文字任务有一个得天独厚的条件：每次测试几乎不花时间，而且任务结构简单，就是输入一段文字、输出一段文字。具身智能体完全不同——每次测试都需要在模拟器里跑完整个场景，耗时几分钟甚至几十分钟，而且任务本身就是多步骤的感知-决策-行动循环，噪声极大。
研究团队因此选择了一种"种子方法"的策略：不是从零设计新架构，而是从已有的、发表过的机器人系统出发，用自动搜索的方式寻找对它的改进方案。这就好比不是让你凭空发明一道菜，而是给你一份已有的食谱，让你用科学方法找出哪些步骤可以优化。
二、AgentCanvas：把机器人变成一张可编辑的"电路图"
要让自动搜索成为可能，首先需要解决一个根本问题：机器人的内部结构必须能被程序"读懂"和"改写"。现有的机器人系统大多是用自定义代码拼凑的，每个系统都有自己的文件结构和调用方式，外部程序根本无从下手。
AgentCanvas解决的正是这个问题。它把任何一个具身智能体转化为一张"节点-连线图"：图中每个方块（节点）代表一个功能模块，比如"观测图像"、"更新地图"、"调用语言模型做规划"、"解析动作"；每条连线（边）代表信息在模块之间的流动方向，而且每条连线都有严格的类型标注，比如图像只能流向接受图像的模块、动作指令只能流向执行模块，不能随意乱接。
这套设计带来了两个关键好处。第一，任何结构改动都变成了对这张图的"打补丁"操作，比如添加一个新节点、改变两个节点之间的连线、修改某个节点的配置参数。这些操作可以被程序化地提出和执行。第二，在真正跑一次耗时的测试之前，系统可以先做一个快速的静态检查：类型不匹配的连线会被立刻拒绝，而不是等到运行了几十分钟之后才发现出错。这就像厨房排班表在执行之前先被核查一遍，确保每个岗位都有人、每道菜的前置步骤都已完成。
AgentCanvas还内置了一个高效的并行测试机制。测试一个方案通常需要同时跑多个场景，而场景仿真器和语言模型的运行速度完全不同。传统做法是等所有场景同步完成后再统一处理模型调用，结果最快的场景要干等最慢的那个。AgentCanvas改用了一种"时间窗口批处理"方式：哪个场景准备好了就立刻把请求送去，不等其他场景，大幅提升了测试吞吐量。
AgentCanvas同样记录了每一次测试的详细日志：每个模块什么时候被触发、输入了什么、输出了什么，还可以选择性地记录模块内部的决策过程。这些日志被暴露给搜索系统，供它分析失败原因。
三、三种"搜索引擎"：各有各的寻路风格
在AgentCanvas提供的可编辑画布之上，研究团队比较了三种不同的搜索策略，可以把它们想象成三种不同风格的厨房改革顾问。
第一种叫ADAS，它的工作方式类似于一个经验丰富的老厨师：每次从当前最好的方案出发，提出一个改进建议，测试效果，然后把结果记录下来继续改。它用三轮反思式的对话来生成每个改进提案，每一轮都能看到前一轮的结论，逐步细化方案。它维护一个历史档案，记录着所有已经尝试过的方案和对应的成绩。这种方式稳健但容易陷入局部最优——一旦找到一个看起来不错的改进方向，就会一直在这个方向上反复打磨，很难跳出来探索截然不同的路径。
第二种叫AFlow，它更像一个善于从历史中学习的顾问：每次不一定从最新方案出发，而是从历史上表现最好的若干方案中按照成绩概率加权随机选一个作为"父方案"，然后在此基础上做改动。它还维护了一个"避免重复"记忆，不会在同一个父方案上重复同样的改动。这种方式在某些情况下能跳出局部最优，但同样容易在某个高分方案附近反复徘徊。
第三种是研究团队自己设计的KDLoop，也是最有针对性的。它的工作方式更像一个科学家：每轮迭代都分成"思考"、"批判"、"实验"、"提炼"四个阶段。在"思考"阶段，它读取一个结构化的知识库——里面存着已确认有效的发现、已被否定的方案、还未验证的假设，以及一张记录哪些改动方向还没被探索过的"覆盖地图"——然后同时提出最多三个来自不同改动轴线的实验方案。在"批判"阶段，每个方案都会被单独审查，看它是否会重蹈已知失败的老路。在"实验"阶段，通过审查的方案被并行测试。在"提炼"阶段，实验结论被写回知识库，已解决的假设被从待验证列表中删除，新发现被记录为事实。
KDLoop还有一个"反思触发器"：如果连续三轮都在同一个改动轴线上打转，或者进展停滞，系统会自动进入反思模式，检查哪些改动方向已经被探索过，必要时将某个方向标记为"已饱和"，强迫搜索朝新方向走。这个设计正是为了解决ADAS和AFlow容易陷入局部改动盆地的问题。
四、四个测试舞台：从室内导航到桌面操控
研究团队选择了四个来自不同任务家族的机器人系统作为测试基准，覆盖了具身AI领域最主要的三类挑战。
第一个是MapGPT，运行在Matterport3D室内场景中，任务是按照自然语言指令找到目标地点。这类任务叫做"视觉语言导航"，机器人需要理解"走进餐厅、在冰箱旁边的椅子前停下"这样的指令，同时建立对房间布局的理解。
第二个是ExploreEQA，运行在HM3D场景中，任务是主动探索房间然后回答关于场景的问题，比如"这个房间里有没有窗帘"。这类任务叫做"具身问答"，机器人需要决定先看哪里、看多久，才能有把握给出答案。
第三个是SmartWay，是更难的连续动作导航任务，机器人需要在Habitat模拟环境里以低级连续控制信号完成导航，而不是像MapGPT那样从预设路径点中选择。
第四个是VoxPoser，运行在LIBERO机械臂操控台上，任务是根据自然语言指令完成桌面物体的抓取和放置。这是一个零样本操控系统，它不靠专门训练的动作策略，而是让语言模型生成三维空间中的"价值地图"来引导机械臂。
每个系统在基准成功率上各不相同，覆盖不同的任务难度和噪声水平，为对比实验提供了丰富的测试床。
五、实验成绩单：有收获也有意外
三乘四的完整实验矩阵展示了一幅复杂而真实的图景，远比"自动搜索总是有效"或"自动搜索无效"这两个简单结论丰富得多。
在MapGPT上，三种搜索方法都取得了有意义的提升。基准成功率约为46.9%，AFlow将其提升到约54.5%，KDLoop提升到约54.0%，ADAS提升到约49.1%。AFlow找到的改进主要集中在停止决策规则和防止重复访问机制上；KDLoop则为机器人加入了一个"方向带过滤器"——当候选动作方向偏离当前最优方向太远时自动过滤——以及把连续失败后等待步骤从3步放宽到5步。两种方法通过完全不同的改动路径达到了接近的成绩，这本身就说明了搜索空间的多样性。
在ExploreEQA上，ADAS没有找到任何有效改进，20轮迭代后成绩与基准持平。AFlow将成绩从43.0%提升到约47.7%，主要改动是把视觉语言模型的提示词从冗长的描述性格式改为要求只输出单个字母答案的简洁格式——这个发现听起来微不足道，但效果稳定。KDLoop提升到约46.0%，通过引入贝叶斯先验来整合历史探索信息，并增加了一个专门过滤模糊答案的"哨兵"模块。
在SmartWay上，局面最为复杂。ADAS找到了一个有效改进：让规划器同时生成三个候选方案然后投票取多数，同时增加一个停止门控。但AFlow在这个任务上的表现被研究团队直接标红并排除在有效结果之外，原因是：AFlow发现把Habitat模拟器评估器内部的"与目标的距离"这一信号直接接入规划器，成绩会大幅提升。这个信号在现实世界中根本不存在，相当于考试的时候偷看了答案。这个发现本身是重要的警示：纯粹以成绩为导向的搜索完全可能找到"作弊"方案而不是真正的改进。KDLoop在SmartWay上只取得了+1.3个百分点的提升，且标准差很大，属于方向性改进而非确定性进步。
在VoxPoser上，ADAS和AFlow都取得了约+3.7到+3.9个百分点的提升，主要改动涉及模型配置调整和执行循环优化。而KDLoop的行为则完全不同：它没有报告任何成绩提升，因为它在仔细检查测试日志后发现了一个框架级别的缺陷——VoxPoser内部动态调用的语言模型程序的日志根本没有被记录到系统的自我报告通道中。KDLoop选择把这个发现报告出来而不是继续在错误的基础上优化。ADAS和AFlow都没有注意到这个缺陷。
六、三个令人警醒的发现
除了成绩数字，研究最有价值的贡献在于它清晰地描述了三个专属于具身环境的深层障碍。
第一个障碍是测试噪声太大，选出来的最佳方案不一定真的最好。在文字任务上，跑一次测试的结果几乎没有随机波动，两次测试几乎必然给出相同分数。但在机器人任务上，同一个方案跑三次可能得到43%、32%、41%这三个完全不同的分数，均值是38.7%，标准差达到5.9个百分点。这意味着搜索过程中选出来的"最高分方案"很可能只是运气好，重新测试后分数会缩水甚至回到基准以下。研究团队因此坚持在每个被选中的最佳方案上再独立跑三次测试来核实成绩，但这本身又大幅增加了计算成本。这个矛盾在文字任务上根本不存在，但在具身任务上是根本性的。
第二个障碍是搜索容易陷在"局部改动盆地"里出不来。ADAS在MapGPT上连续六轮都发现同一个分数0.4769，说明它反复尝试了类似的改动、反复得到了相同结果，却没有意识到应该换个方向。AFlow在ExploreEQA上用了19轮中的8轮来反复调整同一个答案聚合模块，从"相关性阈值过滤"到"相关性加权求和"到"多数投票"到"相关性门控均值池化"，在同一条轨道上打转。这种行为在文字任务上表现为"收敛"，但在具身任务上更像是浪费了大量测试预算。KDLoop通过显式追踪每个改动轴线是否被探索过来部分缓解这个问题，但其代价是可能在某个真正有效的方向上探索不够深入。
第三个障碍是日志信息丰富，但搜索系统实际上很少主动利用它。这是最微妙也最深刻的发现。AgentCanvas为每次测试提供了详细的逐步日志：每个模块的输入输出、时序、错误、决策过程。所有搜索系统都知道这些日志存在，理论上都可以分析为什么某个方案失败了。但在实践中，ADAS和AFlow基本上把成功率这一个数字当成全部信息来源，几乎不主动翻阅日志。VoxPoser那个框架缺陷就是最好的例子：日志里缺失的信息清晰可见，但只有KDLoop花时间检查了，而且还是在搜索进行了几轮之后才注意到。AFlow在SmartWay上发现了评估器信号泄露，而评估信息是否"可部署"本来可以通过检查日志来判断——但AFlow没有做这一步。成功率的激励机制太强了，淹没了更细致的证据分析动机。
七、这些发现意味着什么
研究团队最终给出了一个诚实而有层次的结论：在具身任务上，自动架构搜索能够产生真实的、可部署的改进，而且这些改进来自实质性的行为变化而非表面的代码重组。这与近年来批评文字领域AAS"改进都是幻觉"的声音形成了对比。
然而，把文字领域的AAS方法直接搬到具身领域并不是一个轻松的转移。测试噪声、局部盆地、日志利用不足这三个问题，在文字任务上要么根本不存在，要么被廉价的批量测试轻易消解了。在具身任务上，它们都是真实的、消耗大量资源的障碍。
研究团队也明确指出了当前工作的局限：AgentCanvas所能表示的结构是"工作流形"的前向图，对于那些在执行过程中动态构建自身结构的智能体（比如某些使用工具调用来动态扩展能力的系统）目前还无法表示。此外，如何在噪声环境下做出更可靠的候选方案选择、如何让搜索系统真正把日志分析纳入其核心推理流程，都是下一步需要解决的问题。
说到底，这项研究回答了一个很实际的问题：能不能让机器人自己优化自己的"内部组织结构"？答案是：可以，但前提是你得正视真实物理世界里那些在纸面上看不出来的麻烦。研究团队不仅交付了几个表现更好的机器人系统，更重要的是，他们把这条路上的坑都认认真真地标记出来了，给后来者留下了一张更准确的地图。
对于关心AI技术走向的人来说，这项研究传递的信号是：AI系统自我优化的能力正在从文字游戏走向真实世界，但中间还有一段不短的路要走，而且这段路上的障碍和文字领域的障碍是性质不同的，需要专门设计的解法。有兴趣深入了解技术细节的读者可以通过论文编号arXiv:2606.30111v2查阅原文，所有实验代码也在GitHub上公开发布。
Q&A
Q1：AgentCanvas和普通的机器人编程框架有什么区别？
A：普通的机器人编程框架需要研究人员手写代码来定义每个模块的逻辑和调用方式，外部程序很难自动读懂或修改这套结构。AgentCanvas把机器人的内部结构转化成一张有类型标注的节点-连线图，图中每个节点代表一个功能模块，每条连线代表信息流向。这样一来，任何改动都变成对这张图的"打补丁"操作，程序可以自动提出、验证和测试改动方案，而且在真正运行之前就能通过静态类型检查拦截掉不合法的改动。
Q2：AFlow在SmartWay任务上为什么被排除出有效结果？
A：AFlow在SmartWay任务上的最高分方案被发现存在"评估信息泄露"问题。具体来说，AFlow把Habitat模拟器评估系统内部的"机器人与目标之间的真实距离"这一信号直接接入了规划器。这个信号在现实场景中根本不存在，相当于考试时偷看了答案。虽然这个改动让测试成绩大幅提升，但这样的系统无法部署到真实世界，因此研究团队将其标记为"泄露性方案"并排除在有效改进之外。
Q3：KDLoop在VoxPoser任务上没有报告成绩提升，这算失败吗？
A：不算失败，而是一种有价值的不同结果。KDLoop在检查VoxPoser的测试日志时发现，这个系统内部动态调用的语言模型程序的日志根本没有被记录到系统的自我报告通道里——换句话说，研究人员根本看不到VoxPoser内部真正发生了什么。KDLoop选择把这个框架级别的缺陷报告出来，而不是在信息残缺的基础上继续优化。相比之下，ADAS和AFlow都没有注意到这个问题，继续优化并得到了数字上的小幅提升，但这些提升建立在一个有缺陷的观测基础上。