安徽思成儀器技術(shù)有限公司
安徽思成儀器技術(shù)有限公司
暫無信息 |
閱讀：28發(fā)布時間：2024-11-23
本文共5400字，建議閱讀15分鐘
在利用CNNs進行圖像語義分割時，有一些針對網(wǎng)絡(luò)結(jié)構(gòu)的創(chuàng)新點，主要包括了新神經(jīng)架構(gòu)和新組件或?qū)拥脑O(shè)計。文章的后半部分則對醫(yī)學圖像分割領(lǐng)域中網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的應(yīng)用進行了梳理。
本文總結(jié)了利用CNNs進行圖像語義分割時，針對網(wǎng)絡(luò)結(jié)構(gòu)的創(chuàng)新，這些創(chuàng)新點主要包括新神經(jīng)架構(gòu)的設(shè)計（不同深度、寬度、連接和拓撲結(jié)構(gòu)）和新組件或?qū)拥脑O(shè)計。前者是利用已有的組件組裝復雜的大型網(wǎng)絡(luò)，后者是更偏向于設(shè)計底層組件。首先介紹一些經(jīng)典的語義分割網(wǎng)絡(luò)及其創(chuàng)新點，然后介紹網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計在醫(yī)學圖像分割領(lǐng)域內(nèi)的一些應(yīng)用。
1. 圖像語義分割網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新
1.1 FCN網(wǎng)絡(luò)
FCN整體架構(gòu)簡圖
單獨將FCN網(wǎng)絡(luò)列出來是因為FCN網(wǎng)絡(luò)是個從全新的角度來解決語義分割問題的網(wǎng)絡(luò)。此前的基于神經(jīng)網(wǎng)絡(luò)的圖像語義分割網(wǎng)絡(luò)是利用以待分類像素點為中心的圖像塊來預測中心像素的標簽，一般用CNN+FC的策略構(gòu)建網(wǎng)絡(luò)，顯然這種方式無法利用圖像的全局上下文信息，而且逐像素推理速度很低；而FCN網(wǎng)絡(luò)舍棄全連接層FC，全部用卷積層構(gòu)建網(wǎng)絡(luò)，通過轉(zhuǎn)置卷積以及不同層特征融合的策略，使得網(wǎng)絡(luò)輸出直接是輸入圖像的預測mask，效率和精度得到大幅度提升。
FCN不同層特征融合示意圖
創(chuàng)新點：全卷積網(wǎng)絡(luò)（不含fc層）；轉(zhuǎn)置卷積deconv（反卷積）；不同層特征圖跳躍連接（相加）
1.2 編解碼結(jié)構(gòu)（Enconder-decoder）
創(chuàng)新點：Encoder-Decoder結(jié)構(gòu)；Pooling indices。
SegNet網(wǎng)絡(luò)
SegNet與FCN的Upsample方式對比
創(chuàng)新點：U型結(jié)構(gòu)；短接通道（skip-connection）
U-Net網(wǎng)絡(luò)
V-Net網(wǎng)絡(luò)
創(chuàng)新點：相當于U-Net網(wǎng)絡(luò)的3D版本
FC-DenseNet（百層提拉米蘇網(wǎng)絡(luò)）
創(chuàng)新點：融合DenseNet與U-Net網(wǎng)絡(luò)（從信息交流的角度看，密集連接確實要比殘差結(jié)構(gòu)更強大）
1) DeepLabV1：融合卷積神經(jīng)網(wǎng)絡(luò)和概率圖模型：CNN+CRF，提高了分割定位精度；
2) DeepLabV2：ASPP（擴張空間金字塔池化)；CNN+CRF
3) DeepLabV3：改進ASPP，多了1*1卷積和全局平均池化（global avg pool）；對比了級聯(lián)和并聯(lián)空洞卷積的效果。
級聯(lián)空洞卷積
并聯(lián)空洞卷積（ASPP）
4) DeepLabV3+：加入編解碼架構(gòu)思想，添加一個模塊來擴展DeepLabv3；將深度可分離卷積應(yīng)用于ASPP和模塊；將改進的Xception作為Backbone。
DeepLabV3+
總的來說，DeepLab系列的核心貢獻: 空洞卷積；ASPP；CNN+CRF（僅V1和V2使用CRF，應(yīng)該是V3和V3+通過深度網(wǎng)絡(luò)解決了分割邊界模糊的問題，效果要比加了CRF更好）
PSPNet網(wǎng)絡(luò)
創(chuàng)新點：多尺度池化，更好地利用全局圖像級別的先驗知識來理解復雜場景
RefineNet網(wǎng)絡(luò)
創(chuàng)新點：Refine模塊
1.3 降低計算復雜的網(wǎng)絡(luò)結(jié)構(gòu)
也有很多工作致力于降低語義分割網(wǎng)絡(luò)的計算復雜度。一些簡化深度網(wǎng)絡(luò)結(jié)構(gòu)的方法：張量分解；通道/網(wǎng)絡(luò)剪枝；稀疏化連接。還有一些利用NAS（神經(jīng)架構(gòu)搜索）取代人工設(shè)計來搜索模塊或整個網(wǎng)絡(luò)的結(jié)構(gòu)，當然AutoDL所需的GPU資源會勸退一大批人。因此，也有一些人使用隨機搜索來搜索小的多的ASPP模塊，然后基于小模塊來搭建整個網(wǎng)絡(luò)模型。
網(wǎng)絡(luò)輕量化設(shè)計是業(yè)內(nèi)共識，移動端部署不可能每臺機器配一張2080ti，另外耗電量、存儲等問題也會限制模型的推廣應(yīng)用。不過5G如果能普及的話，數(shù)據(jù)就可以全部在云端處理，會很有意思。當然，短期內(nèi)（十年），5G部署不知道是否可行。
1.4 基于注意力機制的網(wǎng)絡(luò)結(jié)構(gòu)
注意力機制可以定義為：使用后續(xù)層/特征圖信息來選擇和定位輸入特征圖中判斷力（或顯著性）的部分。簡單地可以認為是給特征圖加權(quán)的一種方式（權(quán)值通過網(wǎng)絡(luò)計算得到）膨脹卷積，按照權(quán)值的作用方式的不同，可以分為通道注意力機制（CA）和空間注意力機制（PA）。FPA（Feature Pyramid Attention，特征金字塔注意力）網(wǎng)絡(luò)是一種基于注意力機制的語義分割網(wǎng)絡(luò)，它將注意力機制和空間金字塔相結(jié)合，以提取用于像素級標記的精密特征，而沒有采用膨脹卷積和人為設(shè)計的網(wǎng)絡(luò)。
1.5 基于對抗學習的網(wǎng)絡(luò)結(jié)構(gòu)
Goodfellow等人在2014年提出了一種對抗的方法來學習深度生成模型， 生成對抗網(wǎng)絡(luò)（GANs）中需要同時訓練兩個模型：捕獲數(shù)據(jù)分布的生成模型G，和估計樣本來自訓練數(shù)據(jù)的概率的判別模型D。
G的訓練程序是將D錯誤的概率。可以證明在任意函數(shù)G和D的空間中，存在的解決方案，使得G重現(xiàn)訓練數(shù)據(jù)分布，而D=0.5。訓練過程中，生成網(wǎng)絡(luò)G的目標就是盡量生成真實的圖片去欺騙判別網(wǎng)絡(luò)D。而D的目標就是盡量辨別出G生成的假圖像和真實的圖像。這樣，G和D構(gòu)成了一個動態(tài)的“博弈過程"，最終的平衡點即納什均衡點.。在G和D由神經(jīng)網(wǎng)絡(luò)定義的情況下，整個系統(tǒng)可以用反向傳播進行訓練。
GANs網(wǎng)絡(luò)結(jié)構(gòu)示意
受到GANs啟發(fā)，Luc等人訓練了一個語義分割網(wǎng)絡(luò)（G）以及一個對抗網(wǎng)絡(luò)（D），對抗網(wǎng)絡(luò)區(qū)分來自ground truth或語義分割網(wǎng)絡(luò)（G）的分割圖。G和D不斷地博弈學習， 它們的損失函數(shù)定義為 ：
GANs loss function
其中 和 分別代表分割網(wǎng)絡(luò)（G）和對抗網(wǎng)絡(luò)（D）的參數(shù)。 和 分別是多類和二類交叉熵損失，兩部分共同組成網(wǎng)絡(luò)的損失函數(shù)。
回顧一下原始的GAN損失函數(shù)：
GANs的損失函數(shù)體現(xiàn)的是一種零和博弈的思想，原始的GANs的損失函數(shù)如下：
損失的計算位置是在D（判別器）輸出處，而D的輸出一般是fake/true的判斷，所以整體可以認為是上采用了二分類交叉熵函數(shù)。由GANs的損失函數(shù)的形式可知，訓練要分為兩部分：
首先是maxD部分，因為訓練一般是先保持G（生成器）不變訓練D的。D的訓練目標是正確區(qū)分fake/true，如果我們以1/0代表true/fake，則對項E因為輸入采樣自真實數(shù)據(jù)所以我們期望D(x)趨近于1，也就是項更大。同理第二項E輸入采樣自G生成數(shù)據(jù)，所以我們期望D(G(z))趨近于0更好，也就是說第二項又是更大。所以是這一部分是期望訓練使得整體更大了，也就是maxD的含義了。這部分只更新D的參數(shù)。
第二部分保持D不變（不進行參數(shù)更新），訓練G，這個時候只有第二項E有用了，關(guān)鍵來了，因為我們要迷惑D，所以這時將label設(shè)置為1(我們知道是fake，所以才叫迷惑)，希望D(G(z))輸出接近于1更好，也就是這一項越小越好膨脹卷積，這就是minG。當然判別器哪有這么好糊弄，所以這個時候判別器就會產(chǎn)生比較大的誤差，誤差會更新G，那么G就會變得更好了，這次沒有騙過你，只能下次更努力了（引自）。這時候只更新G的參數(shù)。
從另一個角度看GANs，判別器（D）相當于一種特殊的損失函數(shù)（由神經(jīng)經(jīng)網(wǎng)絡(luò)構(gòu)成，不同于傳統(tǒng)的L1、L2、交叉熵等損失函數(shù)）。
另外GANs訓練方式特殊，存在梯度消失、模式崩潰等問題（目前好像有辦法可以解決），但其設(shè)計思想確實是深度學習時代一個偉大的發(fā)明。
1.6 小結(jié)
基于深度學習的圖像語義分割模型大多遵循編碼器-體系結(jié)構(gòu)，如U-Net。近幾年的研究成果表明，膨脹卷積和特征金字塔池可以改善U-Net風格的網(wǎng)絡(luò)性能。在第2節(jié)中，我們總結(jié)一下，如何將這些方法及其變體應(yīng)用于醫(yī)學圖像分割。
2. 網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新在醫(yī)學圖像分割中的應(yīng)用
這部分介紹一些網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新在2D/3D醫(yī)學圖像分割中的應(yīng)用研究成果。
2.1 基于模型壓縮的分割方法
為了實現(xiàn)實時處理高分辨率的2D/3D醫(yī)學圖像（例如CT、MRI和組織病理學圖像等），研究人員提出了多種壓縮模型的方法。weng等人利用NAS技術(shù)應(yīng)用于U-Net網(wǎng)絡(luò)，得到了在CT，MRI和超聲圖像上具有更好的器官/腫瘤分割性能的小型網(wǎng)絡(luò)。Brugger通過利用組歸一化（group normalization ）和Leaky-ReLU（leaky ReLU function），重新設(shè)計了U-Net架構(gòu)，以使網(wǎng)絡(luò)對3D醫(yī)學圖像分割的存儲效率更高。也有人設(shè)計了參數(shù)量更少的擴張卷積module。其他一些模型壓縮的方法還有權(quán)重量化（十六位、八位、二值量化）、蒸餾、剪枝等等。
2.2 編碼-解碼結(jié)構(gòu)的分割方法
Drozdal提出了一種在將圖像送入分割網(wǎng)絡(luò)之前應(yīng)用簡單的CNN來對原始輸入圖像進行歸一化的方法，提高了單子顯微鏡圖像分割、肝臟CT、前列腺MRI的分割精度。Gu提出了在主干網(wǎng)絡(luò)利用擴張卷積來保留上下文信息的方法。Vorontsov提出了一種圖到圖的網(wǎng)絡(luò)框架，將具有ROI的圖像轉(zhuǎn)換為沒有ROI的圖像（例如存在腫瘤的圖像轉(zhuǎn)換為沒有腫瘤的健康圖像），然后將模型去除的腫瘤添加到新的健康圖像中，從而獲得對象的詳細結(jié)構(gòu)。Zhou等人提出了一種對U-Net網(wǎng)絡(luò)的跳躍連接重新布線的方法，并在胸部低劑量CT掃描中的結(jié)節(jié)分割，顯微鏡圖像中的核分割，腹部CT掃描中的肝臟分割以及檢查視頻中的息肉分割任務(wù)中測試了性能。Goyal將DeepLabV3應(yīng)用到彩色圖像分割中，以提取皮膚病變區(qū)域。
2.3 基于注意力機制的分割方法
Nie提出了一種注意力模型，相比于baseline模型（V-Net和FCN），可以更準確地分割前列腺。SinHa提出了一種基于多層注意力機制的網(wǎng)絡(luò)，用于MRI圖像腹部器官分割。Qin等人提出了一個擴張卷積模塊，以保留3D醫(yī)學圖像的更多細節(jié)。其他基于注意力機制的啼血圖像分割論文還有很多。
2.4 基于對抗學習的分割網(wǎng)絡(luò)
Khosravan提出了從CT掃描中進行胰腺分割的對抗訓練網(wǎng)絡(luò)。Son用生成對抗網(wǎng)絡(luò)進行視網(wǎng)膜圖像分割。Xue使用全卷積網(wǎng)絡(luò)作為生成對抗框架中的分割網(wǎng)絡(luò)，實現(xiàn)了從MRI圖像分割腦腫瘤。還有其他一些成功應(yīng)用GANs到醫(yī)學圖像分割問題的論文，不再一一列舉。
2.5 基于RNN的分割模型
遞歸神經(jīng)網(wǎng)絡(luò)（RNN）主要用于處理序列數(shù)據(jù)，長短期記憶網(wǎng)絡(luò)（LSTM）是RNN的一個改進版本，LSTM通過引入自環(huán)（self-loops）使得梯度流能長期保持。在醫(yī)學圖像分析領(lǐng)域，RNN用于對圖像序列中的時間依賴性進行建模。Bin等人提出了一種將全卷積神經(jīng)網(wǎng)絡(luò)與RNN融合的圖像序列分割算法，將時間維度上的信息納入了分割任務(wù)。Gao等人利用CNN和LSTM拉對腦MRI切片序列中的時間關(guān)系進行建模，以提高4D圖像中的分割性能。Li等人先用U-Net獲得初始分割概率圖，后用LSTM從3D CT圖像中進行胰腺分割，改善了分割性能。其他利用RNN進行醫(yī)學圖像分割的論文還有很多，不再一一介紹。
2.6 小結(jié)
這部分內(nèi)容主要是分割算法在醫(yī)學圖像分割中的應(yīng)用，所以創(chuàng)新點并不多，主要還是對不同格式（CT還是RGB，像素范圍，圖像分辨率等等）的數(shù)據(jù)和不同部位數(shù)據(jù)的特點（噪聲、對象形態(tài)等等），經(jīng)典網(wǎng)絡(luò)需要針對不同數(shù)據(jù)進行改進，以適應(yīng)輸入數(shù)據(jù)格式和特征，這樣能更好的完成分割任務(wù)。雖然說深度學習是個黑盒，但整體上模型的設(shè)計還是有章可循的，什么策略解決什么問題、造成什么問題，可以根據(jù)具體分割問題進行取舍，以達到的分割性能。
部分參考文獻：
1 Deep Semantic Segmentation of Natural and Medical Images: A Review
2 NAS-Unet: Neural architecture search for medical image segmentation. IEEE Access, 7:44247–44257, 2019.
3 Boosting segmentation with weak supervision from image-to-image translation. arXiv preprint arXiv:1904.01636, 2019
4 Multi-scale guided attention for medical image segmentation. arXiv preprint arXiv:1906.02849,2019.
5 SegAN: Adversarial network with multi-scale L1 loss for medical image segmentation.
6 Fully convolutional structured LSTM networks for joint 4D medical image segmentation. In 2018 IEEE
7
儀表網(wǎng) 設(shè)計制作，未經(jīng)允許翻錄必究 .? ? ?
請輸入賬號
請輸入密碼
請輸驗證碼