在最新的一项研究中，科学家们利用强化学习来操控光晶格中的超冷原子，实现了一种全新的旋转传感技术。
11月25日，科罗拉多大学博尔德分校的研究人员在《Physical Review Research》上发表题为“Reinforcement learning for rotation sensing with ultracold atoms in an optical lattice”（使用光晶格中的超冷原子进行旋转传感的强化学习）的研究论文。Liang-Ying Chih为论文第一作者，Murray Holland教授为论文通讯作者。
在本文中，研究人员研究了一种强化学习的设计方法，在光晶格中设计一个陀螺仪，用于旋转的惯性传感。该方法不是基于传统的原子干涉测量法，即分裂、反射和重组波函数分量。相反，学习代理的任务是生成晶格振荡序列，以端到端设计理念优化陀螺仪对旋转信号的灵敏度。其结果是干涉器件与熟悉的马赫-曾德尔型干涉仪完全不同。对于相同的总询问时间，端到端设计使灵敏度比传统布拉格干涉测量法提高了20倍。
背景
在过去的十年中，光学迈克尔孙干涉仪已经达到了惊人的灵敏度水平，从而开创了引力波宇宙学的全新领域。它们的物质波对应物，特别是原子干涉仪已被证明是传感的主要技术，特别适用于加速度、旋转、重力测量的惯性测量以及重力梯度测定。原子干涉测量法所能达到的灵敏度从根本上受到原子的德布罗意波长、可以被空间和/或时空包围的面积以及粒子数的限制。改进主要集中在单个分量上，例如更大的动量分裂和更长的保持时间。
然而，最近已经开发了一种完全不同的光脉冲原子干涉测量方法。它涉及在整个干涉测量协议中将原子限制在光晶格中，并建立在通过晃动晶格制造分光镜和其他组件的早期实验之上。在某种程度上，光晶格的目的是在面对实际应用中典型的恶劣动态环境时提供系统的稳健性，包括平台振动和温度涨落或漂移。由于没有用于在光晶格中生成分束器和反射镜组件的唯一协议，因此将此优化任务委托给机器学习算法是有意义的。一个通过学习如何正确调制晶格的相位来“教”系统执行干涉任务。使用这种方法的实验现在可以演示将机器设计的组件级联在一起的完整干涉仪序列。在这些实验中，已经表明，学习可以先在模拟中执行，然后才能应用于实验，正如测量数据与预期传感器性能的高保真一致性所证明的那样。
虽然这些工作已经确立了关键原则，但已实施的学习受到关于干涉测量如何进行的观点的限制。传统上，几乎所有种类的干涉测量，无论是光学波还是物质波，都是由一系列波前分裂、反射和重组的结果，其间是波传播，称为马赫-曾德尔构型。然而，如果学习代理摆脱了传统智慧的限制，它可能会发现超越人类迄今为止探索的解决方案。这种不同的学习目标可能为发现一种革命性的原子陀螺仪提供一条途径，这种原子陀螺仪完全针对指定的设计约束进行了优化，例如灵敏度、动态范围以及对噪声和实验漂移的容忍度的组合。
一种有可能实现此目标的机器学习是强化学习。当代理以端到端方式进行训练时，强化学习特别有效，这意味着从头到尾不间断的抖动序列，不能分解为分束器和镜子等组件。这是因为强化学习允许在最佳解决方案在每个单独的步骤中都不透明的情况下最大化控制协议的长期回报。强化学习已成为量子研究中的强大工具，并已应用于各种量子问题，例如高度纠缠态的产生和量子纠错协议的开发，从而为该领域带来新的见解。
理论方法
研究的理论基础是二维光晶格中原子的动力学模型。在这个模型中，原子被限制在一个二维光晶格中，晶格的每个维度都可以通过改变相应激光束的相位来“振动”。系统在旋转非惯性参考系中由哈密顿量描述，包括原子的动能、旋转动能以及晶格势能。其中，旋转动能项描述了系统在旋转参考系中的动力学，而晶格势能项则涉及到激光波数和晶格势能强度。
为了构建旋转感应装置，研究人员首先提出了一个传统的双路径Sagnac物质波干涉仪，该干涉仪在晶格中通过先前开发的基于强化学习的波分裂和反射协议来实现。然后，研究人员利用强化学习算法来优化晶格振动序列，以实现端到端的设计。在这个过程中，学习代理被赋予生成晶格振动序列的任务，这些序列能够优化陀螺仪对旋转信号的灵敏度。这种方法允许系统在不透明的每一步中最大化控制协议的长期奖励。
实验方案
实验方案的核心是在光晶格中实现旋转感应装置，并通过强化学习算法优化晶格振动序列。实验的第一步是在二维晶格的基态中制备原子。接着，在x方向上应用一维的波分裂协议，允许原子自由传播一段特定时间T，然后应用反射协议。这个过程涉及到将原子的波函数从基态转移到一个近似的|±4hbark⟩态的叠加态，然后将其映射到相应的|∓4hbark⟩态的组合。
在y方向上，晶格作为一个传送带，根据绝热性准则加速到4hbark/m的速度，然后以恒定速度移动。在序列的中点，当x方向的两条路径交叉时，y晶格的速度通过零减速至-4hbark/m，以便晶格可以反向以恒定速度移动。最后一步是绝热加速y晶格回到零速度，以进行最终的波函数重组。
为了模拟实验测量，研究人员展示了在不同旋转速率条件下，多路径干涉仪产生的动量分布。这些动量分布通常可以通过时间飞行下的原子云膨胀，并通过积分吸收图像的区域来直接观察实验中的每个动量分量的相对比例。动量分布的详细结构随着旋转速率的变化而变化，这使得干涉仪对旋转速率的变化非常敏感。每个垂直切片本质上是唯一的，因此动量分布成为可以推断旋转速率的指纹，避免了混叠。
通过贝叶斯重建方法，研究人员从动量分布中提取旋转信号，并迭代更新旋转速率的先验分布。这种方法允许研究人员从每个原子测量中更新先验分布，并验证了对旋转速率的估计是无偏的。通过这种方式，研究人员能够实现对旋转信号的高精度测量，展示了强化学习在量子传感领域的强大潜力。
图2：(a)双路径振荡晶格陀螺仪中的波函数所取的顺时针轨迹（蓝色）和逆时针轨迹（红色）。垂直的后线是波函数最初分裂并最终重组的地方。(b)由双路径陀螺仪产生的干涉图样进行旋转速率的贝叶斯重建。
图3：相位函数和空间波函数的演化。
图4：在动量基底上的布居分布和由此得到的关于机器学习的晃动晶格陀螺仪的经典费舍尔信息作为旋转速率Ω的函数。
图5：(a)旋转速率的贝叶斯重建示例，展示了采样1个原子到100个原子的概率分布。(b)旋转速率作为原子数的函数的标准偏差（RL，红色曲线）。
主要研究人员
Murray Hollan，科罗拉多大学博尔德分校教授，JILA研究员。研究方向为量子气体的特性，重点关注光晶格中的输运和强相互作用超流体。该小组还致力于研究具有II族元素的超辐射腔QED，以开发mHz线宽“激光器”。
参考链接
[1]https://journals.aps.org/prresearch/abstract/10.1103/PhysRevResearch.6.043191
[2]https://www.colorado.edu/physics/murray-holland