Nature Methods | 打破传统瓶颈：InterpolAI以光流魔法，重塑高精度3D组织重建新范式

生物探索

2025-06-02 15:31发布于江苏科学领域创作者

引言

我们体内那些微小的细胞、复杂的组织，乃至宏大的器官，究竟是以怎样精妙的结构在运作？现代生物医学研究，正以前所未有的速度迈入三维（3D）成像时代，试图揭开生命更深层次的奥秘。然而，这场探索并非坦途。

在构建清晰、完整的3D生物组织图谱时，我们常常遭遇一系列令人头疼的挑战：机械损伤导致的图像数据缺失、长时间成像带来的光漂白（photobleaching）和运动伪影（motion artifacts）、以及分辨率（resolution）的不足，甚至仅仅是时间限制，都可能让我们的“透视”变得模糊不清，如同盲人摸象。这些问题不仅限制了我们对细胞构成和组织形态的精确分析，更让许多稀有而关键的生物事件无从追踪。

那么，如果有一双“AI慧眼”，能够智能地“脑补”出那些看不见的细节，精确地修复受损的部分，甚至让模糊的图像变得纤毫毕现，这是否会彻底改变我们对生命的理解？5月28日《Nature Methods》的研究报道“InterpolAI: deep learning-based optical flow interpolation and restoration of biomedical images for improved 3D tissue mapping”，介绍了一项颠覆性技术——InterpolAI。它不再是简单地对图像进行模糊处理或平均，而是利用深度学习（deep learning）与光流（optical flow）技术，如同最顶尖的侦探，精准追踪并预测像素的运动轨迹，从而“创造”出介于真实图像之间的高质量合成图像。

这项创新不仅能修复传统切片（serial sectioning）中常见的组织撕裂、折叠等物理损伤，显著减少图像拼接（stitching）带来的伪影，更能在多种成像模态（imaging modalities）、不同物种（species）和多样染色技术（staining techniques）下，以无与伦比的精度提升3D图像的完整性、分辨率和分析质量。

3D生物成像的“阿喀琉斯之踵”：为何我们总在“盲人摸象”？

在深入了解InterpolAI之前，我们首先需要理解当前3D生物成像所面临的痛点。为什么说它在某些方面是“阿喀琉斯之踵”，限制了我们对生命体复杂性的全面认知呢？

当前主流的3D成像方法大致可以分为两类：基于连续切片（serial sectioning）的方法和基于完整组织（intact imaging）的方法。

连续切片方法的固有挑战

这类方法通过将组织切成薄片，然后对每片进行成像，最后进行三维重建。它允许我们进行多重标记（multiplexing），在数十到数百张切片上获取丰富的分子信息。然而，它有两大“拦路虎”：

轴向分辨率（axial spatial resolution）受限：切片厚度是硬性限制，组织学切片通常为4-10微米（µm），而串行切片透射电镜（ssTEM）的切片厚度约为40纳米（nm）。这意味着在切片之间存在固有的信息间隙。当我们需要在图像堆栈中混合使用不同的成像模式时（例如，交替使用H&E染色和免疫组织化学（IHC）染色切片），分辨率问题会更加突出。

物理伪影（physical artifacts）的困扰：切片过程中不可避免地会产生组织撕裂（tissue section splitting）、折叠（folding）和变形（warping）。这些物理损伤导致重建出的连续结构（如导管和血管）出现中断和扭曲，严重影响了3D结构的完整性。例如，研究发现，在超过13000张ssTEM切片中，随机选取的100张连续切片中，有超过70%的切片存在损伤，其中许多甚至包含多个损伤区域。这使得直接使用原始数据进行3D重建变得困难重重。

完整组织成像方法的“美丽与哀愁”

这类方法如组织透明化（tissue clearing）、磁共振成像（MRI）和计算机断层扫描（computed tomography），可以对连续结构进行3D成像，避免了切片带来的物理损伤。然而，它们也有自己的“软肋”：

成像过程中的缺陷：长时间曝光导致的光漂白和光吸收（light absorption）会造成样本光照不均，影响图像质量。组织运动（tissue movement）也会引入运动伪影，导致图像失真。这些缺陷最终表现为组织连接性（tissue connectivity）和图像清晰度（clarity）的丧失。例如，MRI图像在扫描过程中常常受到患者运动的影响，导致运动伪影和信号丢失。

面对这些挑战，我们亟需一种智能化的解决方案，能够填补数据空白，修复图像损伤，提升整体图像质量，从而真正实现高精度、高通量的3D生物组织重建。

AI的“先行者”与InterpolAI的“独辟蹊径”

在人工智能领域，生成模型（generative models）如生成对抗网络（GANs）和扩散模型（diffusion models）已在合成组织图像方面展现出巨大潜力。例如，CycleGANs可以将H&E染色的图像转换为合成的IHC染色图像，这在一定程度上实现了跨模态转换（cross-modality translation）。扩散模型也被用于扩增MRI和CT扫描的训练数据集，以增强深度学习模型的性能。

然而，这些生成模型在生成合成生物图像以提取准确的微观解剖信息方面仍存在局限性。它们通常用于生成同一张切片的不同染色图像，但在推断相邻切片之间缺失或受损的微观结构变化方面，其能力有限。换句话说，它们很难在Z轴（深度轴）上“脑补”出连续、准确的细节。此外，生成模型在合成图像中准确捕捉微小或稀有的纹理特征、细胞簇和组织边界等方面仍面临技术挑战。

正是认识到这些局限性，研究人员将目光投向了帧插值（frame interpolation）技术，特别是用于处理大范围图像运动（large image motion）的光流（optical flow）方法。光流的概念最早由Horn和Schunck在1980年代提出，它通过估计图像帧之间像素的视在运动来描述物体的运动。早期光流方法计算成本高，精度有限，但随着深度学习技术的发展，特别是卷积神经网络（CNNs）和循环神经网络（RNNs）的应用，运动预测和图像合成能力得到了显著提升。

InterpolAI正是基于这种光流概念，将视频帧插值方法FILM（Frame Interpolation for Large Motion）巧妙地应用于生物医学图像的空间插值。它犹如一位数字生物学中的“福尔摩斯”，通过分析图像帧之间的像素“运动”规律，精准预测并生成缺失的图像，从而弥补了传统方法在处理复杂生物结构时的不足。与传统的图像翻译（image translation）模型（如GANs）不同，InterpolAI不是将一张图像转换为另一种风格，而是在两张真实的、无损的图像之间“创造”出新的、从未存在过的图像，从而恢复3D结构的连续性。它不需要预先知道缺失切片的信息，就能像魔法一样填补空白。

InterpolAI的“解密”：它如何实现图像插值和修复？

那么，InterpolAI究竟是如何工作的呢？它的核心在于其算法设计，尤其是在处理大规模生物医学图像时的创新性。

InterpolAI的工作流程可以概括为三个主要步骤：特征提取金字塔（feature extraction pyramid）、光流估计（optical flow estimation）以及特征融合与图像合成（feature fusion and frame synthesis）。

特征提取金字塔

首先，InterpolAI接收一对相邻的、高质量的2D图像作为输入。这些图像通过一个由六个卷积层组成的特征提取金字塔进行处理。这个金字塔的设计非常巧妙：随着层数的增加，卷积核尺寸逐渐增大，步长逐渐减小，这使得模型能够同时捕捉到从精细像素级细节到大范围组织结构的不同尺度的特征。更重要的是，这些层之间共享权重，极大地提高了模型处理小范围运动和大范围运动的效率。这意味着，无论是微小的细胞位移还是整个组织的宏观变形，InterpolAI都能有效地提取其特征。

双向光流估计

提取到特征后，它们被送入一个双向光流估计模块。这个模块的核心任务是计算输入图像之间像素级的运动向量（即“光流”）。这些向量描述了每个像素从一张图像移动到另一张图像的方向和距离。采用“双向”方法是InterpolAI的关键优势之一：它不仅计算从第一张图像到第二张图像的运动，也计算从第二张图像到第一张图像的运动。这种双向估计能够捕捉更准确、更精细的插值信息，尤其在处理复杂运动和遮挡区域时表现更佳。

特征融合与图像合成

在获得了提取的特征和估计的光流后，InterpolAI进入最终的融合阶段。它将对齐后的特征、光流信息以及原始输入图像本身连接起来，形成一个综合的特征金字塔。这个融合后的金字塔包含了图像的视觉信息和帧间的运动动态。最后，一个U-Net解码器架构处理这个融合后的特征金字塔，并合成出最终的插值图像。U-Net中的跳跃连接（skip connections）是确保插值图像保留精细细节并与输入图像保持一致性的关键。

动态插值能力

InterpolAI的算法是基于一个递归函数设计的，该函数能够根据输入帧的数量和模型递归处理的次数，来决定插值图像的数量。这使得InterpolAI能够灵活地根据用户需求，在输入图像之间插值生成1、4、7或15帧图像。通过将时间序列概念（从0到1）引入图像插值，InterpolAI能够动态地确定插值步长，从而生成对应于缺失切片的时间点图像。

大规模图像的处理

对于组织学切片等大规模图像（例如，尺寸超过14000x10000像素的图像），InterpolAI还配备了“分块拼接”（tile-and-stitch）算法，以有效处理计算机内存限制。它将大型全切片图像（WSIs）分割成用户定义大小（如1024x1024或2048x2048像素）的带填充的小块（padded tiles），每个小块都有X和Y索引。然后，对具有相同索引的小块对进行插值。一旦所有小块都被插值，它们会被拼接回完整的图像，并移除填充区域。这种方法确保了InterpolAI在处理高放大率的大尺寸图像时同样稳健。

InterpolAI的“硬核”表现：多模态图像的全面验证

“是骡子是马，拉出来遛遛！”为了全面评估InterpolAI的性能，研究团队在多种成像模式、不同物种、多种染色技术和不同像素分辨率的数据集上进行了严格的验证。这包括：H&E染色和IHC染色的人胰腺组织切片、小鼠脑部的ssTEM显微照片堆栈、透明化小鼠肺部的光片显微镜图像，以及人脑的结构MRI数据集。

他们选择了线性插值（linear interpolation）和当时最先进的光流插值方法XVFI（eXtreme Video Frame Interpolation）作为对照，进行了一场全面的“大比拼”。

组织学切片：修复“疤痕”，还原真实面貌

在病理诊断和研究中，组织学切片是金标准。然而，切片过程中的物理损伤或存储不当常常导致切片丢失或损坏，严重影响3D重建的连续性。

人胰腺H&E染色切片

研究人员选取了人胰腺H&E染色切片堆栈进行测试。这些切片包含胰岛、导管上皮、血管、脂肪、腺泡、细胞外基质（ECM）和胰腺上皮内肿瘤（PanIN）等八种微观结构。为了模拟缺失数据，研究人员跳过7张切片，然后使用InterpolAI进行插值。

质量对比：结果令人惊喜！线性插值图像常常在导管周围出现噪声和伪影，甚至将受损区域错误地填充为腺泡样物质，而非真实的空白区域。它也无法很好地保留血管结构，导致模糊。XVFI虽然移除了部分损伤，但仍残留黑色伪影，且在空白区域错误生成了有色腺泡结构。相比之下，InterpolAI成功修复了损伤，精准保留了空白区域，并且导管上皮层光滑清晰，中央结构完整，没有噪声和伪影。它还准确地插值了导管，同时保留了细胞信息，而XVFI则无法插值出细胞信息，呈现出模糊或缺失细胞的图像。

细胞计数（CD45+ cell count）：通过CODA细胞检测模块对图像中的CD45+细胞进行计数比较发现，线性插值生成图像的细胞数量持续高于真实图像（因为伪影被错误识别为细胞），而XVFI插值图像的细胞数量则远低于真实图像（因为它导致细胞模糊或缺失）。相比之下，InterpolAI插值图像的细胞数量虽然平均略低于真实图像，但与真实图像的细胞数量趋势最为接近，在某些情况下，其CD45+细胞计数的误差百分比低至惊人的小于5%。例如，在跳过7张切片时，线性插值的误差百分比可以超过100%，而XVFI也通常超过20%，InterpolAI的平均误差仅为22%。

图像纹理特征（Haralick texture features）量化：为了更客观地评估图像质量，研究人员使用了13种哈拉利克纹理特征（如角二阶矩、对比度、相关性、方差等）进行量化分析。这些特征能够从多个维度描述图像的纹理模式。通过主成分分析（PCA），发现，即使跳过7张切片，InterpolAI插值图像在多维空间中也最接近真实图像的信息，其欧氏距离（Euclidean distance）比线性插值图像跳过1张切片时与真实图像的距离还要小一半以上。更具体地说，在跳过7张切片时，InterpolAI的欧氏距离约为837，而线性插值则高达2456，XVFI更是达到2348。这表明InterpolAI在保留图像纹理和结构信息方面具有显著优势。

病理学家验证：最令人信服的是，约翰霍普金斯大学医学院的资深病理学家在最初阶段甚至无法区分真实图像和InterpolAI生成的图像。随着时间的推移，他们发现InterpolAI插值图像可以通过缺少损伤伪影来与真实图像区分开来，这恰恰证明了InterpolAI的修复能力。

人胰腺IHC染色切片（CD45+）

为了进一步验证，研究人员对免疫组化（IHC）染色的CD45+切片进行了插值，输入切片之间间隔达52微米，相当于跳过12张连续的4微米厚切片。

质量对比：线性插值在脂肪密集区域产生了明显的伪影，并导致细胞模糊不清，被白色调覆盖，类似于脂肪。XVFI生成的图像细胞褪色且模糊，无法准确保留脂肪区域的结构。而InterpolAI则没有这些伪影，能够清晰插值出脂肪周围的细胞，并保留了大部分导管和ECM结构。

细胞计数与纹理特征：在跳过7张和12张切片的情况下，InterpolAI插值图像的CD45+细胞计数趋势依然最接近真实图像，平均误差远低于线性插值和XVFI。哈拉利克纹理特征分析也再次印证了InterpolAI的优越性，其欧氏距离显著低于其他两种方法。

光片显微镜图像：滤除“噪音”，展现立体之美

光片显微镜技术能够对透明化组织进行3D成像，但光漂白和光吸收是其常见问题。研究人员使用小鼠肺部的光片显微图像堆栈进行测试。

挑战与修复：真实的图像经常受到光吸收和光漂白伪影的影响，导致绿色和红色通道渗入细支气管内部。线性插值在细支气管周围产生不自然的“双边界线”伪影。XVFI产生了不存在的额外细支气管，并使细支气管的右边缘拉长。虽然线性插值和XVFI都能在一定程度上减少光漂白伪影，但都无法完全去除。InterpolAI则成功地移除了红绿通道的渗入，准确地插值出细支气管的结构，完美还原了其在真实图像中的形态。

纹理特征：哈拉利克纹理特征分析显示，InterpolAI在单个跳过场景（如跳过1张或3张切片）下的欧氏距离优于线性插值和XVFI。尽管在PCA图中，线性插值图像在某些情况下看起来更接近真实图像，但在综合评估每个跳过场景下的欧氏距离时，InterpolAI的表现始终如一地优于XVFI和线性插值。

ssTEM图像：弥合“断裂”，重塑神经连接

串行切片透射电镜（ssTEM）能够以极高分辨率呈现神经突触等超微结构。研究人员使用小鼠脑部的ssTEM显微照片堆栈进行测试。

损伤与拼接伪影：真实的ssTEM图像常常出现厚重、不规则的黑色线条，这是由于薄切片制备过程中不可避免的组织撕裂造成的。此外，图像还存在微弱的灰色横线，这是图像拼接（image stitching）产生的伪影。研究发现，在超过13000张ssTEM切片中，有超过70%的切片存在损伤。

InterpolAI的“神来之笔”：通过InterpolAI在两张无损ssTEM切片之间进行插值，模型成功移除了受损切片上的损伤，同时保留了微观解剖结构，并显著减少了图像拼接伪影。这对于神经结构（如突触）的准确3D重建至关重要，因为它大大降低了由个体2D切片损伤导致的连接性丧失。

纹理特征：哈拉利克纹理特征分析再次确认，InterpolAI插值图像在欧氏距离上最接近真实图像，显著优于线性插值和XVFI。

MRI图像：消除“模糊”，重建整体轮廓

磁共振成像（MRI）能够对整个器官进行无创的3D成像。研究人员使用人脑的结构MRI数据集进行测试。

挑战与修复： MRI图像通常分辨率较低（如1x1x1毫米），且易受运动伪影影响，导致图像质量下降。线性插值会在软组织边界周围产生明显的带状伪影，而XVFI则产生模糊和不准确的结构。InterpolAI能够有效减少MRI图像中的运动伪影，生成的图像与真实图像非常相似，特别是能准确插值出脑部的凹陷和地形结构。

纹理特征：哈拉利克纹理特征和欧氏距离分析显示，InterpolAI插值图像与真实图像的距离不到线性插值或XVFI图像距离的一半。即使跳过7张切片，InterpolAI插值图像也表现出卓越的准确性。

尽管InterpolAI在修复伪影方面表现出色，但由于MRI切片较厚（1毫米），当跳过7张切片（相当于8毫米）时，InterpolAI在准确插值大范围结构变化方面仍面临挑战。这提示我们，在处理低z轴分辨率的MRI数据时，可能需要更短的插值距离来捕捉这些大的结构变化。

从2D到3D：InterpolAI如何点亮生命图谱

InterpolAI的最终目标是为更准确的3D生物组织重建提供高质量的2D图像基础。通过将InterpolAI插值后的2D图像进行语义分割（semantic segmentation）并随后进行三维拼接，这样能够可视化微观解剖特征的3D结构。

人胰腺导管：传统的3D重建在跳过切片后，导管连接性严重受损。线性插值产生的3D导管结构块状不平滑，且未能保留分支形态，甚至部分区域缺失导管壁。而InterpolAI和XVFI则显著恢复了导管主分支和次分支的微观解剖连接性，并创建了更平滑的3D结构，没有噪声传播。尽管XVFI在结构上准确，但它在细胞识别方面存在缺陷。

小鼠肺细支气管：光片显微镜图像的3D重建显示，在跳过切片后，细支气管的连接性丢失。三种插值方法（线性、XVFI、InterpolAI）都改善了3D连接性，并且在13种哈拉利克纹理特征方面表现相当。

小鼠脑突触：从ssTEM图像重建的突触3D结构，在原始数据中缺失了大量的连接。线性插值产生了低分辨率的块状结构，XVFI虽然减少了块状感，但却将突触生成为连续的管状结构，而非真实的离散突触。相比之下，InterpolAI成功恢复了突触的连接性，并生成了更高分辨率的3D体，与真实体积高度相似。

人脑： MRI图像重建的人脑3D结构在缺失数据后失去了其特有的地形结构，变得扁平化。线性插值产生了不自然的突出边缘，而XVFI虽然地形准确，但未能插值出脑部的分支结构（如脑干）。InterpolAI重建出的3D体积则与真实人脑的结构最为相似，具有准确的凹陷和地形，甚至连脑干的分支结构也得到了精确重建。

总而言之，通过InterpolAI，能够有效地恢复生物医学图像堆栈中缺失或受损切片的信息，从而弥合了Z轴分辨率的差距。这项技术不仅修复了图像损伤，减少了拼接伪影，还改善了3D重建中连续微观解剖结构（如导管和血管）的连接性。它在多种图像模态、物种和分辨率下都表现出卓越的性能，证明了其在增强空间分辨率和恢复生物信息方面的强大潜力。

AI“慧眼”的局限与未来

虽然InterpolAI取得了显著的成就，但任何技术都有其局限性，我们仍需清醒认识，以期未来有更进一步的突破。

对齐是基础： InterpolAI需要输入图像经过良好对齐。如果输入图像存在严重错位（例如，超过200微米（µm）的垂直或水平错位，或旋转角度超过2度），模型可能会出现“幻觉”（hallucinations），生成不切实际的生物结构。虽然InterpolAI能很好地处理小范围的错位，但大规模、复杂的错位仍是挑战。

损伤传播的风险： InterpolAI在无损图像输入对之间表现最佳。如果输入图像本身就存在明显的损伤（如组织折叠、撕裂或染色不一致），这些损伤可能会在插值过程中被“传播”到生成的图像中，形成新的伪影。

稀有事件的“盲区”：由于InterpolAI是基于两个输入图像之间的数据进行插值，它无法预测或生成输入图像中不存在的“稀有事件”或结构变化。这在MRI等低分辨率图像中尤为明显，因为厚切片可能导致大的结构变化在相邻帧之间跳跃，超出了模型基于光流的推断能力。

尽管存在这些局限性，InterpolAI的出现无疑为3D生物成像领域带来了突破性的进展。它超越了现有图像翻译方法的范畴，不再仅仅停留在将一种图像域转换为另一种图像域，而是真正解决了“缺失信息”的核心问题。

未来，InterpolAI的潜力无限

空间组学（spatial omics）的融合：它可以进一步应用于空间转录组学（spatial transcriptomics）、蛋白质组学（proteomics）和代谢组学（metabolomics）等数据，实现多组学数据与3D组织结构的无缝整合。这将使我们能够以前所未有的精度绘制高分辨率的组织图谱，深入理解疾病的发生发展机制。

疾病诊断与治疗：在临床医学中，InterpolAI可以帮助病理学家更好地诊断疾病，例如在癌症组织中更精确地识别肿瘤边界和细胞浸润模式。

新药研发：更准确的3D组织模型将加速新药筛选和药物作用机制的研究。

在生命科学与人工智能深度融合的时代，InterpolAI不仅仅是一个算法，它更像是一把钥匙，开启了我们对生命微观世界更深层次认知的门。它告诉我们，即使面对缺失和不完整的数据，AI也能通过其独特的“慧眼”和强大的学习能力，为我们勾勒出更真实、更完整的生命图景。

未来，期待更多像InterpolAI这样富有创新性的AI工具出现，它们将不断突破技术边界，帮助研究人员在浩瀚的生命海洋中航行得更远，探索得更深。

参考文献

Joshi S, Forjaz A, Han KS, Shen Y, Queiroga V, Selaru FA, Gérard M, Xenes D, Matelsky J, Wester B, Barrutia AM, Kiemen AL, Wu PH, Wirtz D. InterpolAI: deep learning-based optical flow interpolation and restoration of biomedical images for improved 3D tissue mapping. Nat Methods. 2025 May 28. doi: 10.1038/s41592-025-02712-4. Epub ahead of print. PMID: 40437217.

声明：本文仅用于分享，不代表平台立场，如涉及版权等问题，请尽快联系我们，我们第一时间更正，谢谢！