划重点
01美国约翰霍普金斯大学和美国斯坦福大学的研究人员打造出一台AI手术机器人,能完成外科手术中的三项基本操作:操纵针头、提起身体组织、缝合。
02该机器人在缝合等标准手术任务中,手术时长相比人类医生大约缩短30%,尤其在时间紧迫的手术中更具优势。
03研究人员通过观察真人医生手术的步骤,让机器人具备自主学习的能力,从而在没有人类帮助的情况下开展复杂手术。
04为此,研究人员使用了“模仿学习”这一方法,将“模仿学习”方法与ChatGPT所使用的同款机器学习架构相结合。
05未来,研究人员将继续探索该机器人能否用于看不见的解剖结构的外科手术,以及提高其能力和可靠性。
以上内容由腾讯混元大模型生成,仅供参考
想象这样一个场景:假如一名患者必须在几分钟内接受手术,否则就会面临死亡风险。然而附近碰巧没有医院,但是恰好有一台 AI 手术机器人,并且其手术成功率很高,那么这名患者大概率愿意尝试一下。
前不久,来自美国约翰霍普金斯大学和美国斯坦福大学的研究人员打造出一台 AI 手术机器人,目前其已能完成外科手术中的三项基本操作:操纵针头、提起身体组织、缝合。
在缝合等标准手术任务中,该机器人的手术时长相比人类医生大约缩短 30%,这对于时间紧迫的手术尤为有益。目前,它不仅能做缝合之类的小手术,还能做一台完整的手术。
研究中,研究人员针对机械臂加以训练,即让它“观看”10000 多条长达数千小时的手术视频,这些视频均来自于真实手术室,由真人医生从手腕上安装的摄像头录制而来。
通过这一学习,以及在“模仿学习”(IL,imitative learning)在这一方法的帮助之下,让机器人能够观察和模仿真人医生的行为,从而通过自我学习达到与人类医生相当的水平。
(来源:Johns Hopkins University)
已通过模拟手术考核
工欲善其事,必先利其器。本次研究用到的一款“硬件利器”叫做达芬奇手术系统(dVRK,da Vinci Surgical Research Kit),它是一款远程机器人手术系统,该系统中包含一个由 AI 驱动的机械臂。目前,该系统已被广泛用于非临床研究领域。
在打造机器人时,研究人员也使用了这一系统。如果将机器人比喻为一个人,那么达芬奇手术系统就是它的“手和眼睛”,而研究人员的主要贡献在于为该机器人造出了“大脑”,即让其拥有自我学习的能力。
对于一般的编程机器人来说,在对其进行训练时,通常需要以手动方式输入人们希望它们做出的动作。
在之前基于达芬奇手术系统的类似研究中,当对机器人进行缝合编程时,人们需要针对每个动作进行详细的手工编码。这不仅“框死”了机器人的能力范围,而且还会让其缺乏灵活性。
更严重的是,在机械臂执行多个关节运动之后其会积累一定的误差,这可能会让机械臂无法准确地到达预定位置。
在手术这样的敏感环境中,即使是微小的误差也有可能带来致命后果,因此这也是此前该类机器人在落地时面临的主要限制。
基于此,研究人员定下这样一个目标:当机器人在做手术时,让其能够根据实时观察到的情况移动。
为此,研究人员使用了“模仿学习”这一方法,而之所以无需针对单个动作进行手动编程,是因为“模仿学习”能让机器人观察真人医生手术的步骤,从而让其具备自主学习的能力,进而能在没有人类帮助的情况下开展复杂手术。
也就是说,“模仿学习”这一方法可以让机器人快速适应它所看到的任何东西,能让机器人像外科实习医生一样从年长医生那里学习。
实现这一功能也很简单,只需要收集不同手动程序的“模仿学习”数据来训练机器人,几天之内机器人就能学会相应的能力。
研究人员还将“模仿学习”方法与 ChatGPT 所使用的同款机器学习架构相结合。
不过,ChatGPT 使用的是文字和文本。而该机器人所搭载的模型则使用运动学(kinematics)来执行动作(运动学是一种能将机器人运动角度分解为数学的语言)。
在机器人所使用的受训数据中,包含患者解剖差异、意外出血和组织异常等数据,基于此机器人能够进行泛化和插值。如果机器人在手术中遇到略有不同的器官结构,它能够识别这些器官并做出适当的动作。
为了让该机器人进行更安全的操作,研究人员还对机器人进行了虚拟模拟(virtual simulations)。
通过观看大量视频,让机器人学会分辨手术动作之间的细微差别,来判断在处理组织所需的张力幅度,从而避免造成损伤。
为了检验这款机器人的效果,研究人员打造了一台模拟手术,其中使用了合成组织模拟器(synthetic tissue simulators)和手术假人,并将“针头放置精确度”和“组织操作一致性”设为这一模拟手术的考核目标。
结果发现,该机器人非常擅长学习那些人类并没有教过它的技能,例如手术针头掉了它会自动捡起并继续手术。
也就是说该机器人具有较好的自适应性,这不仅有利于它学会新技能,也能帮助它更好地处理手术现场中的突发情况,比如处理患者动脉破裂或患者生命体征突然变化等情况。
在创建虚拟模型的时候,研究人员使用了一个未包含在初始训练中的单独数据集,以确保在进行物理程序测试之前让机器人既能适应新的手术场景,也能适应从未见过的手术场景(unseen surgical scenarios)。通过这种交叉验证,让机器人的泛化能力得以验证。
通过将复杂的动作序列分解为运动组件,机器人还能学会一些复杂动作序列。
其原理在于:这些序列可以转化为更简单的动作,比如关节角度、位置和路径,从而让机器人在做手术过程中更容易模仿动作和调整动作。
另外,在执业外科医生的帮助之下,让研究人员得以更好地评估机器人所搭载的模型性能,并能提供关于组织的精细处理的反馈。收到这些反馈之后,机器人会将其整合到学习过程中。
(来源:Johns Hopkins University)
当一个 AI 手术机器人拿着手术刀和针头
当一个 AI 手术机器人拿着手术刀和针头,似乎会让患者感到可怕。但是,在某些情况下机器的精度可能比真人医生更好。
因为对于能够独立执行复杂程序的机器人来说,只要它处于正常运行状态,其医疗错误率可能会更低。
假如 AI 手术机器人能够得到大范围普及,那么人类医生则能将精力用于处理并发症,以及用于处理难度更高的手术操作中。
研究人员的设想是,让该机器人成为真人外科医生的助手,同时最大限度地减少人为错误。要想实现这一目标,必须证明其在所有特定情况下的可靠性。
如果该机器人能够顺利完成包含棘手情况在内的 1000 次手术,那就说明其具备一定的可靠性。
同时,要想在没有人类监督的情况下,将该机器人部署在真实手术环境之中,必须解决伦理方面和监管方面的挑战。
比如,对于一个由机器人完成的手术来说,如果出问题了谁来负责?是生产机器人的公司?还是监督它做手术的真人医疗人员?
解决这些问题之后,在做这样一台手术时还得征求患者的同意,这时就需要对患者及其家属进行“用户教育”,即让他们了解什么是手术机器人及其与人类外科医生的不同。
目前,这一领域仍然处于灰色地带。未来如果有更多统计数据能够证明手术机器人的安全性和有效性,那么人们将会更有动力选择手术机器人。
当这一切就绪,既需要相关医院愿意为此投入资金,也需要医院成立专门团队来管理手术机器人。
而在下一步,研究人员将探索该机器人能否用于看不见的解剖结构的外科手术。
在一些复杂的外科手术中,做手术时需要随时适应患者的情况。在对严重的内伤患者进行手术时,也需要该机器人具备更强的能力,因此还需进一步提高它的能力。
同时,研究人员也将让该机器人尝试开展真实手术,比如先从疝气修复手术这样的低风险手术开始,然后再逐步推进到更复杂的手术。
参考资料:
https://techxplore.com/news/2024-11-surgery-videos-robot-skill-human.html
https://www.fastcompany.com/91226566/doctors-built-an-ai-that-taught-itself-how-to-do-surgery-and-its-ready-to-work-on-humans
https://hub.jhu.edu/2024/11/11/surgery-robots-trained-with-videos/
https://www.techradar.com/computing/artificial-intelligence/robotic-ai-performs-successful-surgery-after-watching-videos-for-training
https://www.techeblog.com/ai-robot-learn-human-doctor-surgery-videos/
运营/排版:何晨龙