2025深度学习发论文&模型涨点之——Mamba+遥感

遥感图像通常具有高分辨率和大规模的特点,传统的卷积神经网络(CNN)和基于Transformer的模型在处理这类图像时存在局限性。CNN由于其局部卷积操作,难以捕捉全局上下文信息;而Transformer虽然能够捕捉长距离依赖关系,但其计算复杂度较高,难以处理大规模图像。Mamba架构基于状态空间模型(SSM),具有线性时间复杂度和全局建模能力,能够有效解决这些问题。

我整理了一些Mamba+遥感【论文+代码】合集

论文精选

论文1:

RSMamba: Remote Sensing Image Classification with State Space Model

RSMamba:基于状态空间模型的遥感图像分类

方法

状态空间模型(SSM):利用SSM的全局建模能力和线性复杂度,将二维图像转换为一维序列进行处理。

动态多路径激活机制:通过创建前向、反向和随机路径,增强模型对二维图像数据的建模能力,解决传统Mamba模型只能处理因果序列的限制。

重叠分块与位置编码:将图像分割成重叠的块,并添加位置编码以保留图像的空间位置信息。

Mamba块堆叠:通过多个Mamba块的堆叠,逐步提取图像的长距离依赖关系。

图片

创新点

动态多路径激活机制:首次引入动态多路径激活机制,解决了传统Mamba模型只能处理因果序列且对空间位置不敏感的局限性,显著提升了遥感图像分类的性能。

性能提升:在UC Merced、AID和RESISC45三个数据集上,RSMamba的分类性能显著优于现有的基于CNN和Transformer的方法。例如,在UC Merced数据集上,RSMamba的F1分数达到了93.88%,比ResNet-50提升了2.23个百分点;在AID数据集上,F1分数达到了91.66%,比ResNet-50提升了2.63个百分点;在RESISC45数据集上,F1分数达到了94.84%,比ResNet-50提升了2.37个百分点。

线性复杂度与效率:RSMamba保持了Mamba模型的线性复杂度,使其在处理大规模遥感图像时更加高效,同时减少了对硬件资源的需求。

图片

论文2:

Spectral-Spatial Mamba for Hyperspectral Image Classification

SS-Mamba:用于高光谱图像分类的光谱-空间Mamba模型

方法

光谱-空间令牌生成:将高光谱数据立方体转换为空间和光谱序列,通过轻量级多层感知机(MLP)进行特征映射,并进行空间和光谱分区。

光谱-空间Mamba块:设计了包含两个基本Mamba块和一个特征增强模块的光谱-空间Mamba块,分别处理空间和光谱令牌,并通过中心区域信息增强特征。

特征增强模块:通过调节空间和光谱令牌,增强光谱-空间特征并实现信息融合。

图片

创新点

光谱-空间学习框架:首次将Mamba模型应用于高光谱图像分类,通过光谱-空间学习框架充分利用高光谱样本中的光谱-空间信息,显著提升了分类性能。

性能提升:在Indian Pines、Pavia University、Houston和Chikusei四个数据集上,SS-Mamba的分类性能优于现有的基于CNN和Transformer的方法。例如,在Pavia University数据集上,SS-Mamba的总体准确率(OA)达到了96.40%,比DBDA提升了0.53个百分点;在Houston数据集上,OA达到了94.30%,比MSSG提升了0.38个百分点。

特征增强模块:通过特征增强模块,SS-Mamba能够更好地利用中心区域信息,进一步提升了分类性能。例如,在Houston数据集上,引入特征增强模块后,OA从92.21%提升到了94.30%,提升了2.09个百分点。

图片

论文3:

UV-Mamba: A DCN-Enhanced State Space Model for Urban Village Boundary Identification in High-Resolution Remote Sensing Images

UV-Mamba:一种用于高分辨率遥感图像中城中村边界识别的DCN增强型状态空间模型

方法

编码器-解码器框架:采用编码器-解码器架构,编码器包含四个可变形状态空间增强块,用于高效提取多级语义信息;解码器用于整合提取的语义信息。

可变形卷积(DCN):通过可变形卷积为感兴趣区域分配更大的权重,缓解了状态空间模型在长序列建模中的内存丢失问题。

多路径扫描:在编码器中引入多路径扫描机制,从八个方向(水平、垂直、对角线及其反向)聚合扫描结果,以捕捉复杂的空间关系。

图片

创新点

DCN增强:通过可变形卷积增强状态空间模型的全局建模能力,显著提升了模型在高分辨率遥感图像中的边界识别性能。例如,在北京数据集上,UV-Mamba的交并比(IoU)达到了73.3%,比之前的最佳模型提升了1.2个百分点;在西安数据集上,IoU达到了78.1%,提升了3.4个百分点。

性能提升:UV-Mamba在推理速度和参数数量上也表现出显著优势。与之前的最佳模型相比,UV-Mamba的推理速度提高了6倍,参数数量减少了40倍。

多路径扫描机制:通过多路径扫描机制,UV-Mamba能够更好地捕捉复杂的空间关系,进一步提升了边界识别的准确性。

图片

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐