UCTransNet 又一个transformer的医学图像语义分割模型
这篇文章也是一个医学图像语义分割的模型，同样是基于U-Net，UCTransNet文章一开始分析了，U-Net 的各种形式，对于大家熟悉的跳连接进行了分析。发现由于编解码器阶段特征集不兼容，并不是每个跳跃连接设置都是有效的，甚至一些跳跃连接会对分割性能产生负面影响;原有的U-Net在某些数据集上比没有跳过连接的U-Net更差。后来作者提出了一种新的模型结构，具体来说，CTrans(Channel
·
这篇文章也是一个医学图像语义分割的模型，同样是基于U-Net，UCTransNet 文章一开始分析了，U-Net 的各种形式，对于大家熟悉的跳连接进行了分析。发现
- 由于编解码器阶段特征集不兼容，并不是每个跳跃连接设置都是有效的，甚至一些跳跃连接会对分割性能产生负面影响;
- 原有的U-Net在某些数据集上比没有跳过连接的U-Net更差。
后来作者提出了一种新的模型结构，具体来说，CTrans(Channel Transformer))模块是U-Net skip connections的替代，其中一个子模块用于与Transformer进行多尺度通道交叉融合(CCT)，另一个子模块Channel-wise Cross-attention(CCA)用于引导融合的多尺度通道信息与解码器特征有效连接以消除歧义。
上图是整个网络的整体结构。该文章主要是将U-Net 中的所有跳连接结合在一起。通过transformer 进行特征的融合，然后再使用一个CCA 模块去还原每一个跳连接。这里具体细节大家可以去细看论文。其中比较有意思的是特征融合阶段。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)