CNN-Transformer-Mamba协同架构:面向复杂场景的高精度裂缝分割模型

一、研究方向
本文研究方向为计算机视觉领域的基础设施缺陷检测与道路裂缝分割,旨在实现复杂环境下高精度、像素级的道路裂缝分割。随着道路、桥梁等基础设施逐年老化,裂缝检测是保障结构健康监测的核心工作。但道路裂缝形态细长、纹理杂乱、对比度低、走向无规律,极大提升了精准分割的检测难度。
现有方法主要包括三类:
1.CNN-based 方法
优点:擅长提取局部纹理,计算效率高
缺点:感受野有限,难以捕获长距离依赖
2. Transformer-based 方法
优点:建模全局关系能力强
缺点:计算复杂度高
3. Mamba-based 方法
优点:线性复杂度建模序列关系
缺点:顺序扫描机制限制全局信息利用
因此,如何 同时兼顾局部纹理、全局依赖和结构信息,并保持较高效率,成为裂缝分割模型设计的重要问题。
为此,本文提出一种 混合架构模型 MixerCSeg,融合 CNN、Transformer 和 Mamba 的优势,实现高效裂缝分割。
二、主要研究方法与创新点
论文提出 MixerCSeg 网络框架,核心包括三个关键模块:
TransMixer(混合编码模块)
DEGConv(方向引导边缘门控卷积)
SRF(空间细化多层特征融合)
整体网络结构如 图2(page 3) 所示。

1 TransMixer:解耦 Mamba 注意力的混合编码结构
现有Transformer与Mamba混合模型大多为简单叠加,无法充分发挥二者的优势。对此,本文结合Mamba隐式注意力机制,设计TransMixer模块。该模块将特征通道Token分为全局与局部两类,全局Token通过自注意力机制捕捉全局依赖,局部Token借助卷积优化模块强化局部纹理特征。最终融合CNN局部建模、Transformer全局建模与Mamba序列上下文建模的优势,构建出高效的协同特征编码机制。
TransMixer结构示意如 图3(page 4) 所示。

其优势:
避免简单堆叠结构
同时利用三种架构优势
提高裂缝细结构表达能力
2 DEGConv:方向引导边缘门控卷积
裂缝往往具有:
多方向延展
分支结构
细长形态
普通卷积难以准确捕捉这些特征,因此提出 DEGConv(Direction-guided Edge Gated Convolution)。
该模块包含三个关键步骤:
本文通过三项核心模块优化特征提取能力。
一是空间块划分,将特征图切分为多个局部区块,实现裂缝结构的精细化建模。
二是方向先验嵌入,利用Sobel算子计算特征梯度dx、dy,通过反正切函数求解梯度方向并构建方向直方图,生成方向嵌入向量,使模型具备几何可解释性,同时提升对裂缝方向的感知能力。
三是边缘门控卷积,结合1×k与k×1条状卷积以及门控机制,强化裂缝边缘特征,模块结构如图2(b)所示。
针对传统多尺度融合存在的特征对齐误差、高分辨率特征利用率低等问题,本文提出SRF空间细化融合模块。该模块利用高分辨率特征生成空间注意力权重,对低分辨率特征进行加权融合,优化裂缝边界定位精度,最终输出高精度的像素级裂缝分割结果。
三、实验结果
1 数据集
实验使用四个裂缝分割数据集:

图像统一处理为 512×512。
评价指标:mIoU;F1-score;ODS;OIS
2 与 SOTA 方法对比

表1(page 6)给出了结果。
在 DeepCrack 数据集:

相比:
-
SCSegamba
-
mIoU ↑ 1.43%
-
F1 ↑ 1.04%
-
MambaVision
-
mIoU ↑ 1.78%
-
F1 ↑ 4.61%
说明该方法在裂缝分割精度上达到 SOTA水平。
3 计算效率
表2(page 6):

可见:
-
计算量显著降低
-
参数规模极小
适合 边缘设备部署。
4 可视化结果

图4(page 7)显示:
在复杂背景
不规则裂缝
细小裂纹
等场景中,MixerCSeg能保持 连续、完整的裂缝结构检测。
四、总结
本文提出MixerCSeg裂缝分割模型,基于Mamba隐式注意力机制构建高效的混合特征编码架构。模型核心创新包含三个模块:TransMixer模块解耦Mamba注意力,融合CNN、Transformer与Mamba的建模优势;DEGConv模块引入裂缝方向先验知识,优化边缘特征建模效果;SRF模块依托高分辨率特征优化多尺度特征融合,提升分割精度。实验结果表明,该模型在四类裂缝数据集上取得最优性能,参数量仅2.54M、计算量仅2.05 GFLOPs,兼顾高精度与高效率,具备良好的工程落地价值。
不妨文末扫码添加微信,免费获取一对一学术咨询。
👇 如何领取?
“管祝”:供祝好
“ 威-
你-
领-
航-”
学无止境、未来可期
There is no end to learning, and the future holds promise.
— END —
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)