这是本系列的第一篇文章，即“腹侧颞叶皮层时空功能磁共振成像的认知计算模型”。如果您想查看整个系列，请转到以下链接。

我将介绍认知计算模型的主题及其在大脑解码研究中的使用案例。我们开始吧。

所有相关材料都托管在我的GitHub页面中。别忘了去看看。如果你是纸质爱好者，你可以阅读这个系列文章的纸质版本，也可以在我的repo中找到。

人脑的腹侧颞叶皮质对来自自然的视觉刺激的不同表征具有选择性，腹侧物体视觉通路产生分布和重叠的神经反应[21]。单细胞研究表明，非人灵长类动物颞叶腹侧皮质单个神经元的差异调谐对不同种类的物体具有选择性，并形成具有代表性的特征[6，21]。然而，它们的选择性顺序不能概括，也不能扩展到更高程度的对象表示[8]。为了模拟腹侧皮质的神经结构，人们开发了统计算法，但通路中的不确定性仍然存在。关于神经成像的最新发展表明，人类感知、记忆和思想的时空解码可以通过功能磁共振成像(FMRI)方法进行解码[11]。然而，功能磁共振成像数据的复杂性和分布性需要复杂的科学工具，因为它具有时空分辨率的神经能力。随着机器学习的进步，神经科学家发现大规模fMRI数据集中的统计和结构模式，以解决神经科学背景下的各种任务。此外，深度学习方面的最新进展使研究人员能够解决尚未解决的神经科学任务[12]，并具体展示了深度学习的重要性。在这项研究中，我们建立了一个端到端的发现机器学习管道来解码人类受试者基于fMRI数据观察到的视觉刺激类别。我们利用最先进的解释性神经成像技术，如回声平面、感兴趣区域(ROI)、统计地图、解剖学和玻璃脑方法，对fMRI样本的视觉结构进行可视化和预分析。

我的实验是基于挡路设计的一个4维时间序列功能磁共振数据集，即哈克斯比数据集[7，15，8]，从人脸和物体表征的研究中获得。它由6个受试者组成，每个受试者12次[8]。在每一次运行中，受试者被动地观看八个对象类别的灰度图像，这些图像被分组在24s的块中，由睡觉周期隔开[8，7]。每幅图像显示500ms，然后是1500ms的刺激间间隔[7]。全脑功能磁共振成像数据是以2.5s的体积重复时间记录的，因此，一个刺激挡路大约有9个体积[8]。它由每个受试者的高分辨率解剖图像组成，除了具有40x64x64体素(对应于体素大小为3.5×3.75×3.75 mm，体积重复时间为2.5秒)的1452个体积的第六个4D fMRI时间序列图像数据[8]。我们有8种不同的刺激物，分别是剪刀、脸、猫、炒皮克斯、瓶子、椅子、鞋子和房子。由于不提供关于解码视觉刺激的附加信息，因此消除了静息状态块[8]。

在深入研究获取Haxby数据集的Python代码及其探索性的fMRI分析之前，让我们从鸟瞰到整体分析，以及如何在神经解码的上下文中执行认知计算建模。

1.发现神经影像分析

作为发现性神经成像分析，我们采用了最先进的解释性神经成像技术，如回波平面、感兴趣区域(ROI)、统计地图、解剖学和玻璃脑方法，对fMRI样本的视觉结构进行可视化和预分析。我们将在系列文章的第二部分中深入讨论。

2.颞叶腹侧皮层的功能连通性和相似性分析

我们基于相关性、精确性和偏相关性进行功能连通性分析，并基于余弦、Minkowski和欧几里德距离进行相似性分析，以发现颞叶腹侧皮层的重叠表征。

这在解释性功能磁共振成像分析中非常有用，因为它从统计和数学的角度显示了人脑中的分布区域如何共享相似的特征。我们将在本系列文章的第三部分中深入讨论。

3.人脑分布区的流形学习与降维

采用流形学习和降维方法对每个受试者的腹侧时间掩码进行学习，提取时空掩码的潜在变量，为进一步的人脑解码提供帮助。作为降维方法，我们采用了主成分分析(PCA)、线性判别分析(LDA)、独立成分分析(ICA)、非负矩阵分解(NNMF)和多维尺度(MDS)等降维方法，并通过三维可视化对得到的子空间进行了比较。此外，我们还执行了多种流形学习算法来提取掩蔽的腹侧颞区中的潜在流形分布。我们执行了t-随机邻域嵌入(t-SNE)、均匀流形逼近和投影(UMAP)、ISOMAP、局部线性嵌入(LLE)和谱嵌入(SE)，然后通过它们的三维可视化来比较它们的低维流形，这进一步有助于解码过程。

这将为理解人脑颞叶腹侧皮质的测地线关系提供全面的介绍。从ML的角度，这将是对无监督学习和人脑的交集的深入回顾。我们将在本系列文章的第四部分中深入讨论。

在这一点上，我们只进行发现分析，以了解fMRI数据样本及其分布。接下来，我们将深入了解解码过程。

4.时空fMRI解码：ML&DL算法

开发了端到端机器学习算法，根据颞叶腹侧皮质的分布和重叠区域对刺激进行分类。准确地说，我们实现了以下机器学习算法：线性支持向量分类器(LinearSVC)、随机梯度下降分类器(SGD分类器)、多层感知器(MLP)、感知器、Logistic回归、Logistic回归交叉验证、支持向量分类器(SVC)、校准分类器(利用保序回归进行概率校正)、被动攻击式分类器、标签传播分类器、随机森林分类器、梯度提升分类器、二次判别器作为一种鲁棒的集成解码，我们采用了新的正则化模型集成：FREM：L2正则化SVCS的交叉验证集成，FREM：L2正则化Logistic回归的交叉验证集成。我们利用不同视觉表征流之间相互作用的优势，进一步构建了认知神经网络，精确的具有Gelu非线性的MLP[10]，二维和三维卷积神经网络。我们将在本系列文章的第五部分深入讨论，这将是本系列的最后一篇文章。

是的，那是个很大的。我知道，但关键是要进行许多解码实验，并比较它们的结果。不用担心，我们将在“两行”代码中实现几乎所有的ML算法。是的，我是认真的。我们将在两行代码中实现几乎所有的算法。ML工具的威力！

让我们开始编码吧。在本文中，我们将只用一行代码从Web下载Haxby数据集，并探索数据集的结构，该框架将在本系列文章后面介绍的“nilLearning”框架中使用。

首先，我们需要安装必要的Python包。打开您最喜欢的Jupyter Notebook，复制并粘贴以下代码以进行必要的安装。

然后，让我们导入我们在旅途中将使用的所有必需的软件包。如果您想保存结果，请创建名为“图像”和“结果”的文件夹，或者您可以只删除下面的第66-67行。

我们准备好出发了！请阅读下面的文档字符串以了解Haxby数据集，乍一看可能不容易理解，但不必担心。我们稍后会讨论更多。请注意，从Web下载数据大约需要30分钟，这取决于您的下载速度等。

是的，我们下载功能磁共振数据集。当您打印Haxby_Dataset时，您将看到这样的屏幕。

让我们简要讨论一下输出。上面有详细的描述，您也可以参考Haxby数据集。确实有,

• ANAT：功能磁共振成像数据的解剖结构
• Func：fMRI数据的Nifti图像(将转换为NumPy矩阵)
• SESSION_TARGET：文件对应于我们的目标变量(将在后面讨论)
• MASK、MASK_Vt、MASK_FACE、…(提取颞叶腹侧皮层激活区的不同空间掩模)

让我们潜入更深的地方。这里，我们打印受试者的fMRI数据的文件名。不用担心“nii.gz”格式。它只是功能磁共振成像数据的有效表示。我们将使用“Nilearn”库轻松解码此扩展，并将其转换为NumPy数组。

这篇文章就到这里。我们介绍了我们如何以及为什么要构建时空计算技术来理解人脑。我们从网上下载了Haxby数据集。讨论了有关数据集的问题。最后，简要回顾了数据集。祝贺你!您完成了第一篇文章，并通过认知计算方法对人脑进行了解码。

在下一篇文章中，我们将使用最先进的神经成像方法分析和可视化fMRI数据集。

文章的链接

进一步阅读

• https://www.hindawi.com/journals/cmmm/2012/961257/

下面的参考文献列表在我的研究中用于机器学习和神经科学两个方面。我强烈推荐复制粘贴参考资料和简要回顾。

参考文献

首页–期刊主要分类–期刊细介绍–期刊题录与文摘–期刊详细文摘内容图层标准化，2016。

[2]L.Buitinck，G.Louppe，M.Blondel，F.Pedregosa，A.Mueller，O.Grisel，V.Nchoae，P.Prettenhofer，A.Gramfort，J.Grobler，R.Layton，J.Vanderplas，A.Joly，B.Holt，10和G.Varoquaux。机器学习软件的API设计：来自SCRKIT-LEARN项目的经验。参见ECML PKDD研讨会：用于数据挖掘和机器学习的语言，第108-122页，2013年。

[3]楚晓明，田智田，王勇，张斌，任海文，魏晓伟，夏海华，沈春春。“双胞胎：重温视觉变形金刚中空间注意力的设计”，2021年。

[4]K.Crammer，O.Dekel，J.Keshet，S.Shalev-Shwartz和Y.Singer。在线被动攻击性算法。2006年。

[5]K.J.弗里斯顿。统计参数映射。1994年。

[6]C.G.Gross，C.D.Rocha-Miranda和D.Bender。猕猴颞下皮质神经元的视觉特性。神经生理学杂志，35(1)：96-111,1972。

[7]S.J.Hanson，T.Matsuka和J.V.Haxby。用于目标识别的腹侧颞叶组合码。

[8]书名/作者声明：[by]J.Haxby、M.Gobbini、M.Furey、A.Ishai、J.Schouten和P.Pietrini。《视觉物体识别》，2018年。

[9]R.A.Heckemann，J.V.Hajonal，P.Aljabar，D.Rueckert和A.Hammers。结合标签传播和决策融合的解剖脑MRI自动分割。神经影像，33(1)：115-126,2006。

[10]D.Hendrycks和K.Gimpl.高斯误差线性单位(Gelus)，2020。

[11]黄胜山，邵伟，王明林，张东全。基于模糊推理的人脑活动视觉信息解码：简要回顾。“国际自动化与计算杂志”，2021年，第1-15页。

[12]R.Koster，M.J.Chadwick，Y.Chen，D.Berron，A.Banino，E.Duzel，D.Hassabis和D.Kumaran。海马系统内的大循环循环支持跨发作的信息整合。神经元，99(6)：1342-1354,2018年。

[13]E.毛尔。毕达哥拉斯定理：4000年的历史。普林斯顿大学出版社，2019年。

[14]题名/责任者：Required of[14]K.A.Norman，S.M.Polyn，G.J.Detre，J.V.Haxby。读心术之外：功能磁共振成像数据的多体素模式分析。认知科学趋势，10(9)：424-430,2006。

[15]书名/作者声明：[by]A.J.O‘Toole，F.酱，H.Abdi，J.V.哈克斯比(J.V.Haxby)颞叶腹侧皮质中物体和面部的部分分布表征。认知神经科学杂志，17(4)：580-590,2005。

[16]F.Pedregosa、G.Varoquaux、A.Gramfort、V.Michel、B.Thirion、O.Grisel、M.Blondel、P.Prettenhofer、R.Weiss、V.Duburg、J.Vanderplas、A.Passos、D.Cournapeau、M.Brucher、M.Perrott和E.Duchernay。Scikit-Learning：Python中的机器学习。“机器学习研究杂志”，12：2825-2830,2011。

[17]R.A.Poldrack。功能磁共振成像的感兴趣区分析。社会认知与情感神经科学，2(1)：67-70,2007。

[18]M.Poustchi-Amin，S.A.Mirowitz，J.J.Brown，R.C.McKinstry，T.Li。回波平面成像的原理和应用：给普通放射科医生的回顾。“放射图形学”，21(3)：767-779,2001。

[19]R.P.Reddy，A.R.Mathulla，J.Rajeswaran。心理健康专业人员的观点采择和情绪传染的初步研究：移情的玻璃大脑观点。“印度心理医学杂志”，0253717620973380页，2021年。

[20]书名/作者声明：[font=宋体]S.M.Smith、K.L.Miller、G.Salimi-Khorshidi、M.Webster、C.F.Beckmann、T.E.Nichols、J.D.Ramsey和M.W.Woolrich。功能磁共振成像的网络建模方法。神经影像，54(2)：875-891,2011。

[21]K.Tanaka。颞下皮层和物体视觉。神经科学年评，19(1)：109-139,1996。

[22]多发性硬化症患者MVPA-LIGHT：一个用于多维数据的分类和回归工具箱。神经科学前沿，2020年14：289。

[23]M.P.Van Den Heuvel和H.E.H.Pol探索大脑网络：静息状态功能磁共振成像功能连接的综述。“欧洲神经精神药理学”，20(8)：519-534,2010。

[24]G.Varoquaux，A.Gramfort，J.B.Poline和B.Thirion。脑协方差选择：使用总体先验的更好的个体功能连通性模型。arxiv预印本arxiv：1008.5071,2010年。

[25]王勇，康军，P·B·凯默，郭勇。一种使用偏相关估计大规模脑网络功能连通性的有效和可靠的统计方法。神经科学前沿，2016年10：123。

[26]K.Esbensen，P.Geladi，S.Wold，K.Esbensen，P.Geladi。主成分分析。化学计量学与智能实验系统，2(1-3)：37-52,1987。

[27]K.Esbensen，P.Geladi，S.Wold，K.Esbensen，P.Geladi。主成分分析。化学计量学与智能实验系统，2(1-3)：37-52,1987。