??
從百度離職后，吳恩達重新回到斯坦福大學繼續進行學術研究，醫療是他最為看重的垂直應用方向之一，兩年的時間里，吳恩達和團隊陸續發表了多項成果：包括用 CNN 算法識別肺炎、公布最大醫學影像數據集 MURA 等等。
我們了解到，近日，斯坦福大學官網發布了吳恩達團隊的一項最新成果：借助人工智能算法，幫助放射科醫師改進腦動脈瘤的診斷。該成果的論文發表在了《JAMA Network Open》。
未破裂動脈瘤的診斷是一項至關重要的臨床任務 —— 腦動脈瘤是大腦血管中的隆起物，可能會滲漏或破裂，可能導致中風、腦損傷或死亡。
計算機斷層掃描血管造影 (CTA) 是目前用于顱內動脈瘤的診斷、監測和術前規劃的主要的、微創的成像模式。但是，即使是專業的神經放射學家來進行診斷也需要耗費很長的時間。低評分者信度 (interrater agreement) 對診斷的可靠性也提出了額外的挑戰。
在這幾年的人工智能浪潮下，卷積神經網絡 (CNN) 已經在一系列視覺任務 (包括醫學圖像分析) 上表現出優異的性能。然而，利用深度學習來增強臨床醫生工作能力的成果并不是很多。
所以，利用 AI 幫助臨床醫生可靠地識別 CTA 中具有臨床意義的動脈瘤，將會為放射科醫師、神經外科醫生和其他臨床醫生提供一個可用和易用的診斷支持工具。
基于這些考慮，吳恩達團隊建立了一種深度學習模型，用于自動檢測 CTA 上的顱內動脈瘤并分割特定區域，以幫助臨床醫生通過 CTA 檢查以診斷顱內動脈瘤。
以下為論文詳細內容。
摘要
重要性： 深度學習有可能增強臨床醫生在醫學成像解釋中的表現，并通過自動分割縮短診斷時間。迄今為止，很少有研究探討過這一主題。
目的： 開發和應用神經網絡分割模型 (HeadXNet 模型)，該模型能夠在頭部計算機斷層血管造影 (CTA) 成像中生成顱內動脈瘤的精確體素預測，以增強臨床醫生的顱內動脈瘤診斷能力。
設計、設置和參與者：在這項診斷研究中，我們開發了一個三維卷積神經網絡結構，使用 611 例頭部 CTA 檢查訓練集以生成動脈瘤分割。在 115 個檢查的測試集上，該模型的分割結果提交給了臨床醫生。
在 2018 年 8 月 13 日和 2018 年 10 月 4 日之間，無論是否有模型增強，8 名臨床醫生在使用隨機順序和 14 天清洗期的交叉設計中診斷出測試集上存在動脈瘤。在 2003 年 1 月 3 日至 2017 年 5 月 31 日期間的頭頸部檢查，被用于訓練、驗證和測試模型。有至少 1 例臨床意義重大的動脈瘤，未破裂的顱內動脈瘤檢查為陽性。排除了出血、動脈瘤破裂、創傷后或傳染性假性動脈瘤、動靜脈畸形、手術夾、線圈、導管或其他外科硬件的檢查。所有其他 CTA 檢查都被認為是對照組。
結果：該數據包含來自 662 名獨立患者的 818 項檢查，其中 328 例 CTA 檢查 (40.1%) 至少包含 1 例顱內動脈瘤，490 例檢查 (59.9%) 無顱內動脈瘤。閱讀測試集的 8 位臨床醫生的經驗為 2 至 12 年。通過人工智能產生的分割預測來增強臨床醫生的能力，與沒有增強相比，臨床醫生在靈敏度、準確性和評分者信度方面取得了統計學上的顯著改善：
臨床醫生的平均敏感度增加 0.059 (95% CI，0.028-0.091;adjusted P = .01)，平均準確度增加 0.038 (95% CI，0.014-0.062;adjusted P = .02)，平均評估者間差異 ( Fleiss κ) 增加 0.060，從 0.799 增加到 0.859 (adjusted P = .05)。
特異性 (0.016; 95% CI，-0.010-0.041;adjusted P = .16) 和診斷時間 (5.71 秒；95% CI，7.22-18.63 秒；adjusted P = .19) 的平均值在統計學上沒有顯著變化。
結論和意義：我們建立的深度學習模型成功地檢測出 CTA 上臨床意義顯著的顱內動脈瘤。這表明人工智能輔助診斷模型的集成可以通過可靠和準確的預測來增強臨床醫生的表現，從而優化患者護理。
方法
數據
我們回顧性研究了 2003 年 1 月 3 日至 2017 年 5 月 31 日在斯坦福大學醫學中心進行的頭部或頭頸部共 9455 例連續 CTA 檢查報告。檢查包括實質性出血、蛛網膜下腔出血、創傷后或傳染性假性動脈瘤、動靜脈畸形、缺血性中風、非特異性或慢性血管發現，如顱內動脈粥樣硬化或其他血管病變，以及手術夾、線圈、導管或其他外科硬件。由具有 12 年經驗的神經放射學家排除了因創傷或運動退化導致的損傷的例子。檢查報告還包括非破裂性重要動脈瘤 (> 3 mm)。
放射科醫生標注
測試集中所有檢查的參考標準由一位經過認證的具有 12 年經驗的神經放射學家確定。通過審查原始放射學報告確定動脈瘤的存在，對 CTA 檢查進行雙重審查。另外，如果可行，通過診斷性腦血管造影進一步確認動脈瘤。神經放射學家可以訪問所有的醫學數字成像和 DICOM 系列，原始報告和臨床病史，以及注釋過程中的前期和后續檢查，以確定標簽的最佳參考標準。
在每個動脈瘤檢查中，放射科醫師還確定了每個動脈瘤的位置。使用開源注釋軟件 ITK-SNAP，在每個切片上手動分割所識別的動脈瘤。
模型建立
在這項研究中，我們開發了一種名為 HeadXNet 的三維 CNN，用于從 CT 掃描中分割顱內動脈瘤。CNN 是一種用于處理圖像數據的神經網絡，而三維 CNN 特別適合處理圖像序列或體積。
HeadXNet 是具有編碼器 - 解碼器結構的 CNN (補充中的 e 圖 1)，其中編碼器將卷映射到抽象的低分辨率編碼，然后解碼器將該編碼擴展為全分辨率分割體積。分割結果為每個體素動脈瘤的概率值，其尺寸與原圖像相同。編碼器改編自 50 層 SE-ResNeXt 網絡，解碼器是一系列 3×3 轉置卷積。
與 UNet 類似，跳過連接在 3 層編碼器中使用，以將編碼過程中的輸出直接傳輸到解碼器中。編碼器是在 Kinetics-600 數據集上預先訓練的，這是一系列標有人類行為的 YouTube 視頻；在預訓練編碼器之后，最后 3 個卷積塊和 600-way softmax 輸出層被移除，相應位置添加了一個巨大的空間金字塔池化層和解碼器。
訓練過程
在訓練期間，我們從體積中隨機取樣 16 個樣本的子體積。對數據集進行預處理以找到顱骨的輪廓，并且將每個樣本重采樣到 208×208 像素之前，每個樣本在橫斷面中圍繞顱骨進行裁剪。然后將切片裁剪成 192×192 像素 (在訓練期間使用隨機裁剪，在測試期間使用中心裁剪)，最終輸入的尺寸大小為 16×192×192; 將相同的變換應用于分割標簽。訓練過程使用基于體素的二元交叉熵和 Dice 損失的加權組合。
在進入模型訓練之前，輸入圖像被截取為 [-300,700] Hounsfield 單位，數據歸一化為 [-1,1] 和零中心。 訓練使用 3 個 TitanXp GPU (NVIDIA)，每個 GPU 上的 minibatch 為 2。 使用隨機梯度下降優化器優化模型的參數，動量為 0.9，隨機初始化權重的 peak learning rate 為 0.1，預訓練權重為 0.01。學習率通過 linear warm-up 從 0 到 10000 次迭代的 peak learning rate 進行調整，然后進行超過 30 萬次的余弦退火迭代。
另外，對于預訓練編碼器的前 10000 次迭代，學習速率固定為 0。關于正則化，對于所有可訓練參數的 loss 加上 0.001 的 L2 權重衰減，并且在編碼器塊中使用隨機 depth dropout。沒有使用標準 dropout。
為了控制類不平衡，我們使用了 3 種方法。
首先，錯誤分類的正例通過編碼器和 focal loss 鼓勵更大的參數更新，在這之后添加輔助 loss。
其次，異常訓練樣本的采樣頻率高于正常樣本，因此異常樣本占訓練迭代的 30%。
最后，在訓練迭代中，當分割標簽完全由背景 (正常) 體素組成時，解碼器的參數不更新。
為了產生整個體積的分割預測，連續 16 張切片的子體積的分割輸出被簡單地連接起來。如果切片的數量不能被 16 整除，則最后一個輸入體積用 0 填充，相應的輸出體積被截斷回原始大小。
我們了解到，近日，斯坦福大學官網發布了吳恩達團隊的一項最新成果：借助人工智能算法，幫助放射科醫師改進腦動脈瘤的診斷。該成果的論文發表在了《JAMA Network Open》。
未破裂動脈瘤的診斷是一項至關重要的臨床任務 —— 腦動脈瘤是大腦血管中的隆起物，可能會滲漏或破裂，可能導致中風、腦損傷或死亡。
計算機斷層掃描血管造影 (CTA) 是目前用于顱內動脈瘤的診斷、監測和術前規劃的主要的、微創的成像模式。但是，即使是專業的神經放射學家來進行診斷也需要耗費很長的時間。低評分者信度 (interrater agreement) 對診斷的可靠性也提出了額外的挑戰。
在這幾年的人工智能浪潮下，卷積神經網絡 (CNN) 已經在一系列視覺任務 (包括醫學圖像分析) 上表現出優異的性能。然而，利用深度學習來增強臨床醫生工作能力的成果并不是很多。
所以，利用 AI 幫助臨床醫生可靠地識別 CTA 中具有臨床意義的動脈瘤，將會為放射科醫師、神經外科醫生和其他臨床醫生提供一個可用和易用的診斷支持工具。
基于這些考慮，吳恩達團隊建立了一種深度學習模型，用于自動檢測 CTA 上的顱內動脈瘤并分割特定區域，以幫助臨床醫生通過 CTA 檢查以診斷顱內動脈瘤。
以下為論文詳細內容。
摘要
重要性： 深度學習有可能增強臨床醫生在醫學成像解釋中的表現，并通過自動分割縮短診斷時間。迄今為止，很少有研究探討過這一主題。
目的： 開發和應用神經網絡分割模型 (HeadXNet 模型)，該模型能夠在頭部計算機斷層血管造影 (CTA) 成像中生成顱內動脈瘤的精確體素預測，以增強臨床醫生的顱內動脈瘤診斷能力。
設計、設置和參與者：在這項診斷研究中，我們開發了一個三維卷積神經網絡結構，使用 611 例頭部 CTA 檢查訓練集以生成動脈瘤分割。在 115 個檢查的測試集上，該模型的分割結果提交給了臨床醫生。
在 2018 年 8 月 13 日和 2018 年 10 月 4 日之間，無論是否有模型增強，8 名臨床醫生在使用隨機順序和 14 天清洗期的交叉設計中診斷出測試集上存在動脈瘤。在 2003 年 1 月 3 日至 2017 年 5 月 31 日期間的頭頸部檢查，被用于訓練、驗證和測試模型。有至少 1 例臨床意義重大的動脈瘤，未破裂的顱內動脈瘤檢查為陽性。排除了出血、動脈瘤破裂、創傷后或傳染性假性動脈瘤、動靜脈畸形、手術夾、線圈、導管或其他外科硬件的檢查。所有其他 CTA 檢查都被認為是對照組。
結果：該數據包含來自 662 名獨立患者的 818 項檢查，其中 328 例 CTA 檢查 (40.1%) 至少包含 1 例顱內動脈瘤，490 例檢查 (59.9%) 無顱內動脈瘤。閱讀測試集的 8 位臨床醫生的經驗為 2 至 12 年。通過人工智能產生的分割預測來增強臨床醫生的能力，與沒有增強相比，臨床醫生在靈敏度、準確性和評分者信度方面取得了統計學上的顯著改善：
臨床醫生的平均敏感度增加 0.059 (95% CI，0.028-0.091;adjusted P = .01)，平均準確度增加 0.038 (95% CI，0.014-0.062;adjusted P = .02)，平均評估者間差異 ( Fleiss κ) 增加 0.060，從 0.799 增加到 0.859 (adjusted P = .05)。
特異性 (0.016; 95% CI，-0.010-0.041;adjusted P = .16) 和診斷時間 (5.71 秒；95% CI，7.22-18.63 秒；adjusted P = .19) 的平均值在統計學上沒有顯著變化。
結論和意義：我們建立的深度學習模型成功地檢測出 CTA 上臨床意義顯著的顱內動脈瘤。這表明人工智能輔助診斷模型的集成可以通過可靠和準確的預測來增強臨床醫生的表現，從而優化患者護理。
方法
數據
我們回顧性研究了 2003 年 1 月 3 日至 2017 年 5 月 31 日在斯坦福大學醫學中心進行的頭部或頭頸部共 9455 例連續 CTA 檢查報告。檢查包括實質性出血、蛛網膜下腔出血、創傷后或傳染性假性動脈瘤、動靜脈畸形、缺血性中風、非特異性或慢性血管發現，如顱內動脈粥樣硬化或其他血管病變，以及手術夾、線圈、導管或其他外科硬件。由具有 12 年經驗的神經放射學家排除了因創傷或運動退化導致的損傷的例子。檢查報告還包括非破裂性重要動脈瘤 (> 3 mm)。
放射科醫生標注
測試集中所有檢查的參考標準由一位經過認證的具有 12 年經驗的神經放射學家確定。通過審查原始放射學報告確定動脈瘤的存在，對 CTA 檢查進行雙重審查。另外，如果可行，通過診斷性腦血管造影進一步確認動脈瘤。神經放射學家可以訪問所有的醫學數字成像和 DICOM 系列，原始報告和臨床病史，以及注釋過程中的前期和后續檢查，以確定標簽的最佳參考標準。
在每個動脈瘤檢查中，放射科醫師還確定了每個動脈瘤的位置。使用開源注釋軟件 ITK-SNAP，在每個切片上手動分割所識別的動脈瘤。
模型建立
在這項研究中，我們開發了一種名為 HeadXNet 的三維 CNN，用于從 CT 掃描中分割顱內動脈瘤。CNN 是一種用于處理圖像數據的神經網絡，而三維 CNN 特別適合處理圖像序列或體積。
HeadXNet 是具有編碼器 - 解碼器結構的 CNN (補充中的 e 圖 1)，其中編碼器將卷映射到抽象的低分辨率編碼，然后解碼器將該編碼擴展為全分辨率分割體積。分割結果為每個體素動脈瘤的概率值，其尺寸與原圖像相同。編碼器改編自 50 層 SE-ResNeXt 網絡，解碼器是一系列 3×3 轉置卷積。
與 UNet 類似，跳過連接在 3 層編碼器中使用，以將編碼過程中的輸出直接傳輸到解碼器中。編碼器是在 Kinetics-600 數據集上預先訓練的，這是一系列標有人類行為的 YouTube 視頻；在預訓練編碼器之后，最后 3 個卷積塊和 600-way softmax 輸出層被移除，相應位置添加了一個巨大的空間金字塔池化層和解碼器。
訓練過程
在訓練期間，我們從體積中隨機取樣 16 個樣本的子體積。對數據集進行預處理以找到顱骨的輪廓，并且將每個樣本重采樣到 208×208 像素之前，每個樣本在橫斷面中圍繞顱骨進行裁剪。然后將切片裁剪成 192×192 像素 (在訓練期間使用隨機裁剪，在測試期間使用中心裁剪)，最終輸入的尺寸大小為 16×192×192; 將相同的變換應用于分割標簽。訓練過程使用基于體素的二元交叉熵和 Dice 損失的加權組合。
在進入模型訓練之前，輸入圖像被截取為 [-300,700] Hounsfield 單位，數據歸一化為 [-1,1] 和零中心。 訓練使用 3 個 TitanXp GPU (NVIDIA)，每個 GPU 上的 minibatch 為 2。 使用隨機梯度下降優化器優化模型的參數，動量為 0.9，隨機初始化權重的 peak learning rate 為 0.1，預訓練權重為 0.01。學習率通過 linear warm-up 從 0 到 10000 次迭代的 peak learning rate 進行調整，然后進行超過 30 萬次的余弦退火迭代。
另外，對于預訓練編碼器的前 10000 次迭代，學習速率固定為 0。關于正則化，對于所有可訓練參數的 loss 加上 0.001 的 L2 權重衰減，并且在編碼器塊中使用隨機 depth dropout。沒有使用標準 dropout。
為了控制類不平衡，我們使用了 3 種方法。
首先，錯誤分類的正例通過編碼器和 focal loss 鼓勵更大的參數更新，在這之后添加輔助 loss。
其次，異常訓練樣本的采樣頻率高于正常樣本，因此異常樣本占訓練迭代的 30%。
最后，在訓練迭代中，當分割標簽完全由背景 (正常) 體素組成時，解碼器的參數不更新。
為了產生整個體積的分割預測，連續 16 張切片的子體積的分割輸出被簡單地連接起來。如果切片的數量不能被 16 整除，則最后一個輸入體積用 0 填充，相應的輸出體積被截斷回原始大小。
