GasHis-Transformer是一个实现胃组织病理图像分类(GHIC)的模型，它在胃癌诊断中自动将胃的显微图像分为正常和异常两种情况，如图所示。

点

GasHis-Transformer是一种多尺度图像分类模型，它结合了视觉变换器(VIT)和CNN的最佳特征，其中VIT有利于全局信息，而CNN有利于局部信息。

GasHis-Transformer由两个重要模块组成，全局信息模块(GIM)和局部信息模块(LIM)，如下图所示。

GasHisTransformer对胃组织病理学测试数据具有较高的分类性能，其估计精度、召回率、F1得分和准确率分别为98.0%、100.0%、96.0%和98.0%。

实施

GasHisTransformer由两个模块组成：全局信息模块(GIM)和局部信息模块(LIM)。全局信息模块(GIM)基于僵尸网络50从胃组织病理图像中提取全局信息。局部信息模块(LIM)基于Inception-V3的并行结构，多尺度获取胃组织病理图像的局部信息。LIM模块(Inception-V3)的输入大小从299×299更改为224×224，以匹配GIM模块和LIM模块的特征测量。利用GIM和LIM分别对2048维特征进行融合，将4096维特征通过FC层和Softmax进行胃癌诊断。

实验结果

从实验结果中非常有趣地注意到，他们成功利用了两个不同网络的工作原理：一个是全局信息强的视觉转换器(VIT)，另一个是局部信息强的CNN(ResNet-50，僵尸网络-50)。

此外，下面的念力矩阵显示，GasHisTransformer的收敛和泛化能力非常高，足够实际使用。在验证集中，206幅异常图像和209幅正常图像被正确分类，4幅异常图像被误分类为正常(假阳性)，1幅正常图像被误分类为异常(假阴性)。在测试集中，403幅异常图像和420幅正常图像被归为正确的类别。仅17幅异常图像被误判为正常(假阳性)，无假阴性。

参考文献

[气体变形金刚]陈浩源，陈澧，李晓燕，葛旺，胡伟明，李一新，刘万里，孙昌浩，姚玉栋，岳阳腾，马辛·格泽高泽克，2021年。GasHis-Transformer：一种用于胃组织病理学图像分类的多尺度视觉转换器方法arxiv预印本arxiv：2104.14528。

[僵尸网络]Srinivas，A.，Lin，T.Y.，Parmar，N.，Shens，J.，Abbeel，P.，Vaswani，A.，2021.用于视觉识别的瓶颈转换器。arxiv预印本arxiv：2101.11605。

[Increation-V3]Szegedy，C.，Vanhoucke，V.，Ioffe，S.，Shens，J.，Wojna，Z.，2016。重新思考计算机视觉的初始架构，见：IEEE计算机视觉和模式识别会议论文集，第2818-2826页。

首页–期刊主要分类–期刊细介绍–期刊题录与文摘–期刊详细文摘内容一张图片价值16×16个字：按比例进行图像识别的变形金刚。arxiv预印本arxiv：2010.11929。