作者

Bhavneesh Sharma(1)，Blake Lobato(2)，Srini Rao(3)，Mradul K Daga(4)，Bruno Janota(5)

通信地址：美国马萨诸塞州安多佛市北街135号Bhavneesh Sharma135号，邮编：01810

电话：+1 718 501 7515，电子邮件：bs2537@nyu.edubs2537@nyu.edu

摘要

间质性肺疾病(ILDS)，又称弥漫性实质性肺疾病，是由200多种慢性肺部疾病组成的异质性组，由于相似的临床、放射、生理或病理表现而被归类在一起。ILDS的放射学特征重叠，诊断困难，可能需要侵袭性肺活检才能确认诊断。

在这项初步研究中，我们使用自定义卷积神经网络(CNN)来区分两种最常见的ILDS：肺纤维化和非特异性间质性肺炎(NSIP)的CT扫描图像，这两种类型的CT扫描特征经常重叠，并在30名患者中被早期手动诊断。

CNN使用TensorFlow2.5，Python3.9库进行训练，在NVIDIA P-100GPU上对306张图像进行实时图像增强。在验证数据集中的37幅图像上获得了100%的验证准确率。在41幅图像的测试数据集上对训练好的模型进行测试，测试正确率达到100%。我们将该模型部署为Web应用程序，并成功地获得了对测试图像的预测，每个图像属于3个类别之一-肺纤维化、NSIP和健康。

这项研究表明，深度学习模型可能有助于临床医生对肺纤维化和NSIP的放射学分类，而不需要额外的测试，包括侵入性肺活检。

在这个项目的下一阶段，我们计划进一步扩大研究范围，收集更大的数据集，并进行包括更多ILD类别的实验，如过敏性肺炎、DIP、COP等。

关键词：ILD；CT扫描；深度学习；机器学习；CNN；卷神经网络、肺纤维化、非特异性间质性肺炎、IPF、NSIP

详细信息

引言

间质性肺疾病(ILDS)，又称弥漫性实质性肺疾病，是由200多种慢性肺部疾病组成的异质性组，由于临床、影像学、生理或病理表现相似而被归为一类。据估计，ILDS的年流行率为97.9例/10万人，年发病率为26-32例/10万人(1)。根据肺部的CT扫描，ILDS大致可分为：(A)主要纤维化型(例如，肺纤维化，可能是特发性或继发性的)，(B)主要是磨玻璃型(例如，非特异性间质性肺炎(NSIP)，脱屑性间质性肺炎(DIP)，或(C)主要是肺纤维化、磨玻璃型和微结节的组合(例如，隐源性机化性肺炎(COP))。ILDS重叠的放射学特征使诊断变得困难，可能需要包括侵袭性肺活检在内的额外检查才能确认诊断。

肺纤维化和NSIP是两种最常见的ILDS，其CT扫描特征经常重叠，如基底膜下结节、网状和牵引性支气管扩张。肺纤维化年患病率为68/10万，年发病率为15.4/10万(2)。NSIP不如肺纤维化常见，但估计发病率为所有特发性间质性肺炎的14-36%(3)。

深度学习是机器学习的一种形式，在2009年开始获得吸引力，当时人工神经网络显示出比其他模型更优越的优势，特别是在图像分类、目标检测和语音识别等领域。卷积神经网络(CNNs)是一类深度学习模型，在图像分类、目标检测等计算机视觉任务中表现出极好的性能。CNN是一种多层感知器，它使用一种称为卷积的数学运算作为识别底层数据中模式的手段。卷积层处理输入图像的方式类似于大脑视觉皮层中的神经元。每个卷积层对输入进行卷积，并将其输出传递到下一个连接层。

以前的工作

CNNs已被用于提高放射学实践的效率(4)，例如，使用短文本分类的方案确定(5)，减少对比增强脑MRI中的钆剂量(6)，放射治疗(7)，引导前列腺活检(8)，在脑部CT扫描和MRI上诊断中风(9)，在胸部X光片上诊断气胸(10)，诊断冠状病毒相关肺部疾病(11)，以及许多其他疾病。应用CNN诊断ILD的先前工作包括识别过敏性肺炎中的ILD模式(12)，在ILD中使用七层CNN进行肺组织表征(13)，以及使用基于混合核的支持向量机(SVM)模型进行ILD模式分类(磨玻璃混浊、正常肺等)(14)。使用Inception-ResNet-V2CNN模型对不同类型的纤维化肺疾病进行分类，如特发性肺纤维化(IPF)、慢性过敏性肺炎和结缔组织相关肺部疾病(15例)。以前的工作集中于使用各种机器学习模型而不是疾病标签本身的分类来识别不同ILD的CT模式，如磨玻璃图案、蜂窝状图案、网状图案、微结节、实变、肺气肿等(16-19)。一家人工智能初创公司VIDA也提供了各种ILD中肺组织纹理的信息，但没有提供明确的疾病标签分类(20)。

仅根据临床病史和CT扫描，放射科医生对ILD的诊断常常意见不一。例如，胸科放射科医生诊断肺纤维化的中位准确率为60%，阳性预测值为96%(21例)。在另一项研究中，放射科医生区分慢性过敏性肺炎与IPF和NSIP的准确率只有50%(22)。放射科医生在ILDS的CT评估中发现观察者间和观察者内的显著差异(23)。因此，需要能够辅助放射科医生诊断ILDS的HRCT图像的疾病标签的计算机算法。

在之前的一项试点研究中，我们通过使用ResNet-50 CNN模型，实现了100%的验证准确率，以区分IPF的CT肺部图像(IPF是ILDS最常见的形式)与健康肺(24)。在本文中，我们提出了我们在这一领域的研究的进一步扩展，应用CNNs对肺纤维化(特发性和由结缔组织病等其他原因引起的肺纤维化)和NSIP这两种常见的ILDS进行了分类。我们使用CNNs在这两个常见的ILD之间进行分类，达到了100%的测试准确率。

方法

我们在ILD数据库MedGift上进行了实验。该数据集来自128名患者(47名女性和81名男性，平均年龄59岁)。108HR(高分辨率)肺部图像扫描以DICOM格式存储。使用Python3.9语言将DICOM图像转换为TIFF格式。清理后的图像数据集由1202个图像组成，这些图像排列在不同的文件夹中(每个文件夹代表一个ILD类别)。CTILD类(列表如图1所示)是由专家放射科医生结合患者病史和其他辅助测试阅读后提供的。

在这项研究中，我们使用了这个数据集的一个子集，带有肺纤维化、NSIP和健康标签(总共来自30名患者的384张图像)。数据集以0.9/0.1/0.1的比例被分成相同子文件夹结构中的训练、验证和测试数据集(训练数据集由306个图像组成，验证和测试数据集分别由37个和41个图像组成)。不进行图像分割。

我们使用Python3.9语言在单个NVIDIA P100 GPU上进行了实验。定制的CNN模型(图2)是在TensorFlow2.5框架上实现的。在训练过程中使用KERAS ImageGenerator类生成图像标签。我们使用批大小为8的ADAM作为优化器，使用0.001的学习率开始训练。KERAS DataGen(来自目录的流)用于训练、验证和测试期间的实时图像增强(水平翻转)。使用42的随机种子对图像进行混洗，以生成训练数据集。

图1：数据清理后MedGift数据集中不同间质性肺部疾病类别的图像数据集分布。

在训练过程中，对不同的批次进行了实验，得到了最好的结果，其中批次为8，学习率为0.001。使用ModelCheckpoint回调保存最佳模型(验证损失最低)，保存频率=‘EPORCH’。

在达到最佳验证精度后，将保存的训练模型加载到41幅测试图像上并进行测试。模型生成的预测与实际图像路径一起保存在Pandas数据框中，并将该数据框保存为CSV文件。

图2：本实验中使用的CNN模型的初始层。由于大小限制，不会显示完整的模型图层。

结果和讨论

在训练过程中，最大验证准确率达到了100%。最佳模型是使用KERAS MODEL.SAVE函数保存的。该模型能够正确预测41幅ILD测试图像中100%的类别(41幅测试图像的测试结果输出)。output of the test results on 41 test images

保存的模型被部署为Web应用程序(图3)。该模型在3幅测试图像上进行了测试，每幅图像都属于三个类别之一-肺纤维化、NSIP和健康肺。如下面的图4、5和6所示，该模型能够准确地识别每个测试图像的正确类别。

图3：上传测试图像之前的最终Web应用程序UI。

图4：web app对上传的肺纤维化HRCT肺部图像的成功分类。

图5：Web应用程序成功分类上传的NSIP HRCT肺部图像。

图6：Web应用程序成功分类上传的健康HRCT肺部图像。

可以在此处查看Web应用程序演示的录制视频。 here

石灰解析器被用来提供对训练模型的“黑盒”分类的更多洞察力。在一张肺纤维化的测试CT图像上，莱姆能够解释说，该模型使用CT图像中的蜂窝状结构将图像分类为肺纤维化(见下图)。肺蜂窝样改变是肺纤维化的典型特征。

图7：使用石灰模型解释器来更深入地了解为什么经过训练的模型将该测试图像归类为肺纤维化。

在这项初步研究中，我们训练了一个CNN模型来正确地对肺纤维化、NSIP和健康的HRCT肺图像进行分类。我们还成功地将训练好的模型部署为Web应用程序，并准确预测了测试CT图像的类别。

据我们所知，这是第一项即使在没有图像分割的情况下，也能在区分肺纤维化和NSIP HRCT扫描方面达到如此高精度的研究。

这项研究表明，深度学习模型可能有助于临床医生对肺纤维化和NSIP的放射学分类，而不需要额外的测试，包括侵入性肺活检。

在这个项目的下一阶段，我们计划进一步扩大研究范围，收集更大的数据集，并进行包括更多ILD类别的实验，如过敏性肺炎、DIP、COP等。

参考文献

1.Coultas DB，Zumwalt RE，Black WC等。间质性肺病的流行病学。Am J Respir Crit Care Med；150(4)：967-972(1994)。Black

2.Ferrara G，Arnheim-Dahlstrom L，Bartley K，et al.“肺纤维化的流行病学：一项使用瑞典医疗保健数据的队列研究。”Pulm Ther；5：55-68(2019年)。

3.Palmacci S，Roccasalva F，Puglisi S.等人。特发性间质性肺炎的临床和放射学特征：图片回顾。“洞察力成像”；5：347-364(2014)。

4.塞尔维克夫·亚历山大和伦德沃德·阿维德。以核磁共振为中心的医学影像深度学习综述。“时代周刊”(Zeitschrift für Medizinische Physik)；29(2)：102-127(2019年)。

5.李耀辉。在繁忙的放射学实践中提高效率：使用深度学习卷积神经网络确定肌肉骨骼磁共振成像方案。J数字影像；31(05)：604-610(2018)。

6.龚娥、保利·JM、温特马克·M等人。深度学习可以减少对比度增强的大脑MRI的钆剂量。J Magn Reson影像学；48(2)：330-340(2018)。

7.Meyer P，Noblet V，Mazzara C等人。放射治疗中深度学习的调查研究。Comput Biol Med；98：126-146(2018)。

8.Haskins G，Kruecker J，Kruger U等人。学习3D MR-TRUS配准的深度相似度量。arxiv；1806.04548v2(2018年)。

9.Lee EJ，Kim YH，Kim N等人。深入大脑：中风成像中的人工智能。J中风；19：277-285(2017)。

10.Tae JJ，Dohyeun Kim和DaeYoung Kim。使用多尺寸胸片图像的卷积神经网络集成自动诊断气胸。网址：https://arxiv.org/ftp/arxiv/papers/1804/1804.06821.pdf(2016年)。https://arxiv.org/ftp/arxiv/papers/1804/1804.06821.pdf

11.Ozturk T，Talo M，Yildirim EA等人。利用带X射线图像的深度神经网络自动检测冠状病毒病例…[中国核科技信息与经济研究院]。计算机生物医学；第121：103792(2020年)。

12.Aliboni L，Pennati F，Dias O等人。卷积神经网络(Cnn)用于间质性肺疾病模式识别。EUR RESP J；54：PA3926(2019年)。

13.基于Hattikatti P.纹理的卷积神经网络间质性肺疾病检测。2017国际大数据、物联网和数据科学大会(BID)，浦那：18-22(2017)。

14.Ajin M和Mredhula L.间质性肺病的分型诊断。Procedia Comput Sci；115：195-208(2017)。

15.Walsh SLF，Calandriello L，Silva M等人。深度学习在高分辨率计算机断层扫描上对纤维性肺病进行分类：一项病例队列研究。“柳叶刀呼吸医学”；6(11)：837-845(2018年)。

16.Depeursinge A，Van de Ville D，Platon A等人。利用各向同性小波框架进行肺组织分析的近仿射不变纹理学习。IEEE Trans Inf Technol Bimed；16(4)：665-675(2012)。

17.赵伟，徐荣，平野勇，等。HRCT图像稀疏表示法对弥漫性肺部疾病分型的研究IEEE医学和生物工程学会(EMBC)2013年第35届国际年会：5457-5460(2013)。

18.Anthimopoulos M，Christodoulidis S，Ebner L等人。深卷积神经网络用于间质性肺疾病的肺型分类。IEEE Transans Med影像学；35(5)：1207-1216(2016)。

19.Sruthy PS，Dheebha J.用于识别间质性肺疾病的深度学习。IOSR计算机工程学报(IOSR-JCE)；2：17-20(2016)。

20.维达。Vidalung.ai.网址：https://tinyurl.com/3tb5a6dphttps://tinyurl.com/3tb5a6dp

21.Gotway MB，Freemer MM，King TE Jr.肺纤维化面临的挑战。1.应用肺部高分辨率CT扫描评价特发性间质性肺炎。“胸腔”62(6)：546-53(2007)。

22.作者：Jon-min，KR，KR，Anderi AC，King TE，等人。特发性间质性肺炎–社区医生和学术医生是否同意诊断？Am J Respir Crit Care Med；175(10)：1054-1060(2007)。

23.江田谷，酒井F，约古T，等。肺部蜂窝状病变CT评估中的观察者间变异性。放射学；266(3)：936-944(2013)。

24.使用卷积神经网络对特发性肺纤维化的CT扫描图像进行分类。数据驱动型投资者。网址：https://medium.com/datadriveninvestor/using-a-convulational-neural-network-to-classify-ct-scan-images-of-idiopathic-pulmonary-fibrosis-e0fb1ad4032b(2019年)。https://medium.com/datadriveninvestor/using-a-convulational-neural-network-to-classify-ct-scan-images-of-idiopathic-pulmonary-fibrosis-e0fb1ad4032b