划重点
01研究团队提出了轻量化模型MobileMamba，旨在平衡效率和效果，推理速度远超现有基于Mamba的模型。
02MobileMamba采用三阶段网络作为基础框架，设计了一个高效的多感受野特征交互模块，以增强多尺度感知能力和改进细粒度高频边缘信息的提取。
03通过在不同FLOPs大小的模型上采用训练和测试策略，MobileMamba在分类任务以及三个高分辨率输入的下游任务中显著提升了性能和效率。
04实验结果显示，MobileMamba在ImageNet-1K数据集上的Top-1准确率最高可达83.6，优于现有基于CNN、ViT和Mamba的方法。
以上内容由腾讯混元大模型生成，仅供参考
始智AI wisemodel.cn开源社区
随着移动设备的普及，资源受限环境中对高效、快速且准确的视觉处理需求日益增长。开发轻量化模型，有助于显著降低计算和存储成本，还能提升推理速度，从而拓展技术的应用范围。现有被广泛研究的轻量化模型主要被分为基于CNN和Transformer的结构。基于CNN的MobileNet设计了深度可分离卷积大幅度减少了计算复杂度。
GhostNet提出将原本将原本全通道1x1卷积替换为半数通道进行廉价计算，另半数通道直接恒等映射。这些方法给后续基于CNN的工作奠定了良好的基础。
但是基于CNN方法的主要缺陷在于其局部感受野，如图1(i)所示，其ERF仅在中间区域而缺少远距离的相关性。并且在下游任务高分辨率输入下，基于CNN的方法仅能通过堆叠计算量来换取性能的少量提升。
ViT有着全局感受野和长距离建模能力，如图1(ii)所示。但是由于其平方级别的计算复杂度，计算开销比CNN更大。一些工作尝试从减少分辨率或者减少通道数上来改减少所带来的计算复杂度的增长取得了出色的效果。
图1 顶部：不同结构下有效感受野ERF的可视化图像；
底部：最近基于CNN/Transformer/Mamba方法的效果 vs. FLOPs对比。
图2：现有基于Mamba的轻量化模型效果 vs. 吞吐量。
如图1(iv)所示，MobileMamba有着全局感受野的同时，高效多核深度可分离卷积操作有助于提取相邻信息。图1底部与SoTA方法的对比可知，MobileMamba从200M到4G FLOPs的模型在使用训练策略后分别达到76.9，78.9，80.7，82.2，83.3，83.6的Top-1在ImageNet-1K上的效果均超过现有基于CNN、ViT和Mamba的方法。
与同为Mamba的方法相比如图2所示，MobileMamba比LocalVim在Top-1上提升0.7↑的同时速度快21倍。比EfficientVMamba提升2.0↑的同时速度快3.3↑倍。显著优于现有基于Mamba的轻量化模型设计。同时，在下游任务目标检测、实力分割、语义分割上大量实验上也验证了方法的有效性。在Mask RCNN上比EMO提升1.3↑在mAP并且吞吐量提升56%↑。
在RetinaNet上比EfficientVMamba提升+2.1↑在mAP并且吞吐量提升4.3↑倍。在SSDLite通过提高分辨率达到24.0/29.5的mAP。在DeepLabv3, Se-mantic FPN, and PSPNet上有着较少的FLOPs分别最高达到37.4/42.7/36.9的mIoU。在高分辨率输入的下游任务与基于CNN的MobileNetv2和ViT的MobileViTv2相比分别提升7.2↑和0.4↑，并且FLOPs仅有其8.5%和11.2%。
总的来说，研究团队贡献如下:
l 提出了一个轻量级的三阶段MobileMamba框架，该框架在性能和效率之间实现了良好的平衡。MobileMamba的有效性和效率已经在分类任务以及三个高分辨率输入的下游任务中得到了验证。
l 设计了一个高效的多感受野特征交互（MRFFI）模块，以通过更大的有效感受野增强多尺度感知能力，并改进细粒度高频边缘信息的提取。
l MobileMamba通过在不同FLOPs大小的模型上采用训练和测试策略，显著提升了性能和效率。
图 MobileMamba结构概述 (a) 粗粒度结构设计: 三阶段MobileMamba总体框架。(b) 16 ×16 下采样PatchEmbed. (c) MobileMamba Block结构。(d) 细粒度结构设计: 所提出的高效多感受野特征交互模块 (MRFFI).
更多实验结果如下：
编辑：成蕴年