一种基于特征融合的息肉分割双解码模型

在结直肠癌的早期筛查中，通过对结肠镜图像进行自动化的息肉检测和分割可以提高诊断效率和准确性。由于肠道内部环境的复杂性以及图像质量的限制，自动化的息肉分割仍然是一个具有挑战性的问题。针对这一问题，提出了一种基于Transformer和空洞卷积特征融合的息肉分割双解码模型（Dual decoded polyp segmentation model fusing Transformer and dilated convolution， FTDC-Net）。该模型以ResNet50作为编码器，以便能够更好地提取图像深层次特征。使用 Transformer 编码模块，它的自注意力（Self-attention）机制能够捕捉输入之间的长距离依赖关系，模型中使用了不同的空洞卷积（Dilated-convolution）来扩大模型的感受野，让模型能捕捉到结肠镜图像更大范围内的信息。本文网络模型的解码部分使用双解码结构，包含一个自动编码器分支，自动编码器可以重构输入，另一个编码分支用于分割结果。模型中，自动编码器的输出被用于生成一个注意力图作为注意力机制，该图将被用于指导分割结果。在Kvasir-SEG和ETIS-LARIBPOLYPDB标准数据集上进行了实验验证，实验结果表明FTDC-Net能有效地分割出结肠息肉，相比目前主流息肉分割模型，在各项评价指标上均取得了较高的提升。