
SAM在医学图像分割任务的精度分析(2023+Accuracy of Segment-Anything Model (SAM) inMedical Image Segmentation Tasks)
摘要:本报告探讨了(1)SAM在12个公共医学图像分割数据集上的准确性,这些数据集涵盖了各种器官(脑、乳腺、胸部、肺、皮肤、肝脏、肠道、胰腺和前列腺)、图像形态(2D x射线、组织学、内窥镜检查、3D MRI和CT)和健康状况(正常、病变)。(2)计算机视觉基础分割模型SAM是否能为医学图像分割提供有前景的研究方向。根据实验结果发现,未经医学图像重新训练的SAM表现不如U-Net或其他医学图像训练的深度学习模型准确。
对比模型:U-Net、U-Net++、Attention U-Net、UCTransNet、Trans U-Net
SAM模型:SAM(自动提示)、SAM(点提示)、SAM(框提示)

数据集:

(1) ACDC来自心脏自动诊断挑战,目的是心脏MRI (CMR)评估。
(2) BraTS来自2020 Multimodal Brain Tumor Segmentation Challenge,目的是对脑肿瘤(包括瘤周水肿和肿瘤核心)进行分割。
(3) BUID来自超声与乳腺超声图像数据集,目的是对乳腺癌进行分割。
(4) CIR由来自两个公共数据集的956张肺结节分段CT图像组成。
(5) Kvasir来自Kvasir- seg,由1000张息肉图像组成。
(6)胰腺由285张CT扫描组成,目的是对胰腺实质和肿块进行分割。
(7)前列腺来自一个多站点数据集,该数据集由来自三个不同位置的116个前列腺t2加权MRI组成。
(8)ISIC由皮肤镜图像组成,用于皮肤病变分割。
(9) LA是在钆增强心脏磁共振核磁共振成像(GE-MRI)上对左心房(LA)进行自动心房分割的数据集。
(10) LiTS为图像数据集含有原发性和继发性肝脏肿瘤的网站计算机断层扫描(CT)体积。
(11)海马为海马区和部分海马区的MRI数据集菌丝层。
(12)胸片包含胸片用于肺分割的图像。
实验结果:
图2和表1显示了不同模型在12个数据集上的Dice精度。主要观察结果是,直接在医学图像上训练的分割模型(U-Net、UNet++、Attention U-Net、Trans U-Net、UCTransNet)在所有12个数据集上提供比SAM模型更高的Dice分数。广泛用于医学图像分割的5种深度学习算法在每个数据集中都获得了相似的Dice精度。3种SAM变化的排名在数据集之间不一致。但总的来说,SAM算法的准确率往往比5种常用的医学图像分割深度学习算法的准确率低0.1-0.5,有时甚至低0.6-0.7。图3显示了U-Net和3个SAM变化在3个面板上的Dice精度散点图。结果表明,SAM对来自Kvasir、BUID、ISIC和x射线的二维图像提供了更高的Dice精度,特别是带有自动提示的SAM。主要原因可能是SAM是在二维图像上训练的,因此它对二维医学图像有很好的泛化能力。



更多推荐

所有评论(0)