多模态神经影像技术研究进展与实践

高 鹏,李海芳

(太原理工大学 信息与计算机学院,山西 晋中 030600)

摘 要:从脑电/脑磁、功能磁共振以及同步脑电-功能磁共振三种具有代表性的非侵入性神经影像典型技术出发,回顾了不同模态的发生发展,梳理了每个模态相关研究的主要研究进展,强调了多模态融合分析技术的重要性,结合多模态神经影像分析平台、脑影像大数据平台建设和辅助临床诊断治疗等方面的实践应用,探讨多模态神经功能成像新技术面临的技术挑战及其在促进脑科学发展中的意义,同时对神经影像技术发展做出总结和展望。

关键词:多模态;神经影像;多模态融合;信号处理;EEG-fMRI

随着脑科学研究的不断发展和深入,人类正在逐步揭开大脑的奥秘。脑科学研究已经成为21世纪最热点、最前沿的研究领域。近几十年来,神经影像技术的进步推动着脑科学研究、脑认知技术的不断更新。其中,由于具有无损无创、安全性高、设备普及范围较广等优点[1-3],功能磁共振成像(functional magnetic resonance imaging,fMRI)、脑电(electroencephalogram,EEG)和脑磁图(magnetoencephalography,MEG)为代表的神经影像技术已经广泛应用在科学研究与公共卫生等方面,在神经科学以及精神疾病学的研究中占据了重要地位[4]。由于脑科学研究具有重大的社会和实际意义,各个国家纷纷计划、制定、开展相应的脑计划。神经影像技术作为脑科学研究的基础,受到了研究者的高度关注。脑影像尖端技术快速发展,并与大数据、人工智能等其它领域的先进技术不断融合创新、相互渗透,极大地丰富和扩展了脑影像技术的应用,促进了新研究领域的诞生。

1 脑神经影像技术发展意义重大

21世纪是脑科学的时代,国际上层出不穷的脑科学研究结果也不断丰富和更新着我们对于大脑的认知。脑科学研究涉及到多学科的交叉融合,涉及到脑影像学、成像物理学、数学、化学、心理学、计算科学、医学等学科及其重点领域。世界各国都加大脑科学投入,推动技术创新,开展多学科交叉和多层次的脑科学研究。美国在2010年和2013年相继开启的人脑连接组计划(human connectome project,HCP)[5]和“通过创新型神经技术的人脑研究(BRAIN)”计划[6]均强调了通过神经影像技术探索人脑工作原理。同一时间开展的为期十年的欧盟脑计划——“人类脑计划(human brain project,HBP)”[7]中将基于神经影像的神经信息平台和高性能计算平台列入重点计划目标中。我国于“十三五”期间启动的中国脑计划和2021年发布的《科技创新2030——“脑科学与类脑研究”重大项目2021年度项目申报指南》围绕脑认知原理解析、认知障碍相关重大脑疾病发病机理与干预技术、类脑计算与脑机智能技术及应用、儿童青少年脑智发育、技术平台建设5个方面开展研究。脑影像技术作为奠基,其发展对推动我国脑科学事业意义深远。

脑影像技术的快速发展,可以让人类更加全面的了解自身。以磁共振(magnetic resonance imaging,MRI)技术为例,使用高分辨率的结构MRI图像可以提取全脑体积、灰/白质体积、皮层下核团体积以及各个脑区的厚度及表面积;基于静息态的fMRI可以对脑区的自发活动、脑区之间的功能连接进行探究并挖掘脑功能网络的拓扑属性;基于认知任务的fMRI可以对不同任务下引起的脑激活及激活区之间的连接进行检测;基于扩散张量成像可以更加精细地刻画脑白质的完整性。不同的影像技术为研究脑认知机制提供了基础,同时应用于评估精神疾病患者的脑结构及功能异常。

2 神经影像技术研究现状

伴随着人类对大脑探索的不断前进和脑影像分析技术的不断成熟,越来越多的脑影像数据处理、特征提取和分类等方法不断涌现,为脑科学研究及临床应用提供了新的依据。同时,神经影像技术结合人工智能和类脑计算技术,推动了新兴技术的诞生和进步。基于不同原理的脑结构或功能成像技术,可以在不同时空尺度上获取大脑信息,从而实现对脑机制的探索。由于信号采集技术的不同,多种模态之间含有的时频信息也不尽相同。主要神经成像方法的时间分辨率和空间分辨率如图1[8]所示。在成像技术方面,精准且快速的成像技术的出现起着至关重要的作用。现有的神经影像技术可分为两类:多模态磁共振成像与脑电磁成像。

图1 用于研究大脑连通性的主要神经成像方法 的空间和时间分辨率
Fig.1 Spatial and temporal resolution of the main neuroimaging methods used to study brain connectivity

2.1 多模态磁共振成像

第一类成像方式以神经活动产生的血流和代谢变化为基础,包括功能磁共振成像fMRI、近红外光谱(functional nearinfrared spectroscopy,fNIRS)、正电子发射断层成像(positron emission tomography,PET)、扩散张量成像(diffusion tensor imaging,DTI)等。其中应用最广的是功能磁共振成像。磁共振成像MRI通过成像设备产生的磁场环境中,受检者身体里的氢原子会发生共振而释放能量这一现象对特定部位进行“拍照”,其空间分辨率较高。在实际的MRI应用中,根据不同组织的对比度这一特性而设计出的特殊射频脉冲序列,能反映出人体组织结构、功能代谢(血氧水平变化)及神经纤维结构等信息。

1992年,KWONG et al[9]和OGAWA et al[10]率先使用血氧饱和度依赖的(blood oxygenation level dependent,BOLD)MRI技术对伴随大脑神经活动的血液动力学变化进行成像,可以间接地反映脑的神经活动[2],功能磁共振成像fMRI由此诞生。fMRI很快被广泛应用于认知科学和神经科学的研究中,并在探索脑与认知关系的“认知神经科学”中发挥着不可替代的作用,并逐步向社会科学、经济学、以及军事科学等广泛学科领域渗透。目前,fMRI已成为对人类认知、心理探索最重要的工具之一。同时,在临床应用方面,自闭症、精神分裂症、阿尔兹海默、抑郁症等脑疾病的神经机制正在借助fMRI这一无创手段逐步被揭示和诊疗。

MRI数据分析方法复杂多样,发展迅猛。常用计算方法包括独立成分分析(independent component analysis,ICA)、时间聚类分析(temporal clustering analysis,TCA)、低频振幅(amplitude of low-frequency fluctuation ALFF/fractional ALFF,fALFF)[11-12]、局部一致性(regional homogeneity,ReHo)[13]、度中心度(degree centrality,DC)[14]和功能连接(functional connectivity,FC)等。基于皮层的脑影像处理算法将大脑灰质重建成皮层表面,可以更好地展现出大脑的沟回结构。在大脑配准、信噪比和算法可重复性等方面优势明显。

MRI采集技术近年来取得了许多进展,如多频带平面回波成像(multiband echo planer imaging,MB-EPI)[15]技术可以实现多层同时扫描,大幅减少了扫描时间。2018年,7T MRI系统批准进入临床,高场强带来更高分辨率图像的同时,提高了信噪比和组织对比度,结合人工智能算法挖掘图像中的纹理特征[16],更好地反映大脑组织、细胞水平的信息,助力了影像组学等新学科的发展,在临床上显著提升了疾病的诊断率[17]。高精度脑成像技术的发展同时促进了发育神经影像学发展,为脑发育研究提供了宏观尺度的可能,为脑发育图表研究与应用奠定了基础[18-20]。关于fMRI的应用也相继展开:北京师范大学左西年教授团队使用高质量fMRI数据建立了人脑功能网络毕生发展轨线[21],揭示了脑功能网络分化与整合规律,推进了脑发育图表测量的信效度方法学。中国科学院自动化研究所蒋田仔教授团队利用高精度fMRI数据,以脑网络为基本单元,建立了不同尺度上神经元之间的脑网络和脑图谱。基于脑解剖和功能连接信息进行精细划分了246个精细脑区亚区,具有更客观精准的边界定位,更适合于脑疾病和脑网络研究,具有明确的生物学意义[22-23]

2.2 脑电/磁技术

另一类成像方法是以神经活动产生的电、磁信号变化为基础。包括EEG和MEG等。脑内大量神经元同步活动的突触后电位总和形成了脑细胞群的生物电活动。自Hans Berger于1929年第一次在人的头皮上记录到了脑电信号,EEG技术逐步成为探索大脑的重要工具[24]。EEG技术通过在大脑皮层或头皮表面对脑神经细胞的电生理活动进行收集和捕捉[25],从而实现对大脑功能的观测,具有毫秒级别的时间分辨率,主要应用在诱发/事件相关电位(event-related potential,ERP)、癫痫诊疗、自发脑电、睡眠等方面。MEG技术最早始于1969年美国麻省理工大学进行的脑磁场图像测量[26]。通过记录神经细胞相关的带电离子的迁移产生的局部微弱电流所形成的颅外磁场总和,完成对脑内神经电流发出的极其微弱的生物磁场信号的直接测量[27],具有较高的时间分辨率和空间分辨率,可以被应用于脑功能信号更精细的测定。脑电与脑磁技术是具有互补性的两项重要技术,二者已成为研究大脑功能和诊断脑疾病的重要工具。

脑电/磁信号中包含的信号多样,使用自适应滤波(adaptive filtering)、经验模式分解(empirical mode decomposition)、小波变换(wavelet transform)、回归分析(regression analysis)等方法可有效去除眼电、肌电、心电、工频干扰等噪声信号[28-31]。此外,共空间模式(common spatial pattern)[32]、奇异值谱分解(singular spectrum analysis)[33]、字典学习(dictionary learning)[34]、同步似然(synchronization likelihood)[35-36]、相位同步(phase synchronization)[37]以及贝叶斯机器学习(bayesian machine learning,BML)等方法已用于EEG/MEG的时频分析、特征提取和分类以及网络分析和构建等方面。

大脑在外界刺激输入下,会产生时间锁定的电生理活动,即ERP及磁场(event-related field,ERF)活动。通过多次重复实验,利用平均叠加技术可以从头皮表面记录ERP/ERF从而反映刺激或认知过程中大脑的神经电/磁生理变化。P300是目前研究最多的内源性ERP成分,可以反映被试的注意力、执行力、记忆力等多种心理活动,可以作为认知功能的评定指标[38],为研究人类认知过程的大脑神经系统活动机制提供了有效的理论依据。EEG/MEG信号包含有丰富的时间和频谱特征,对EEG/MEG数据进行时频分解,可以分离出典型的频段或节律,可以探讨与这些频段频谱能量共变的功能磁共振活动。不同节律均和不同生理特性如睡眠[39]、情绪[40]、注意[41]和记忆[42]等认知功能中发挥了重要作用。同时,脑电/磁信号作为载体,探索大脑功能活动区域、信息整合与分离、脑网络拓扑结构等方面的信息[43]。对任务条件下的时-空模式等[44-46]和静息条件下的大脑功能活动模式[47-48]的探究也是当下的热点话题。临床方面,EEG和MEG常被用来诊疗功能性疾病如癫痫、帕金森综合征、精神分裂症的诊断[49-50],同时对于术前评估、脑功能损害评估、预后判断[51-52]以及一些器质性的疾病如脑肿瘤、视觉疾病方面[53-54]起着重要的作用。

此外,由于EEG/MEG设备的不可便携性,且传统EEG数据设备需要在电极和头皮之间注入导电膏,延长了数据采集的时间。耳后电极脑电采集设备[55]、耳内干电极脑电采集设备[56]等干电极或半干电极设备正在逐步走向脑科学研究中。随着可穿戴的脑磁设备开始出现[57],使得被试在采集环境中可以自由活动而不再受限于机器范围内,神经影像采集技术正在不断革新。

2.3 多模态神经影像融合

在神经科学不断发展的今天,单一模态的神经成像已经不能满足研究者的需要,人们希望对大脑时间和空间两方面信息进行整合来实现多模态观测,神经功能成像已经趋向于从多个模态中获取信息并融合。将不同模态影像技术具有不同的优势利用起来,从而得到更加全面、丰富且准确可靠的大脑信息,也对认识神经动态过程的描述等提供了新的手段。其研究已经成为当今信息科学、神经科学、临床医学等学科的共同前沿,在很多领域发挥了不可替代的作用。已有研究结果表明,相比传统单模态分析,多模态(multimodal)分析通过融合不同模态的互补信息,往往可以获得更好的效果。通过在Web of Science数据库中以“multimodal neural imaging”对近十年的文献统计如图2所示。关于多模态神经影像技术及应用的研究逐年增长,越来越多的研究者开始借助不同模态的影像数据优势进行融合分析,结合时空分辨率,更加全面地对大脑进行探索。

由于不同模态有着不同的生物标志,fMRI可以与其他模态数据提供互补信息,使用如EEG-fMRI、EEG-MEG、fMRI-PET、fMRI-DTI等融合技术,可以将各种影像信息进行标准化后综合处理,协同应用。值得一提的是,不同于其他多模态融合技术,同步EEG-fMRI能同时采集到大脑活动中的电生理和血氧代谢信号,结合两者优势,互相取长补短,不但为两种模态的研究提供了融合的可行性[58-59],也对认识神经动态过程的描述等提供了新的手段,发挥了不可替代的作用。本文将着重介绍EEG-fMRI同步采集技术及融合分析。

图2 以“multimodal neural imaging”为关键词在Web of Science 数据库中搜索所得2013-2022年2月的年文献统计
Fig.2 Multimodal functional neural imaging related publications from 2013 to 2022, with search terms ‘multimodal neural imaging’ at Web of Science

同步EEG-fMRI采集设备如图3所示[60]。被试在磁共振环境中头戴电极帽,其电极通过带式电缆连接到通过直流电池供电的磁协放大器。一个连接到MRI总控的同步盒使得EEG信号和fMRI信号可以同步采集。EEG信号通过数字化后传到室外的计算机并存储,同时fMRI信号由磁共振设备输出并记录。

图3 同步EEG-fMRI系统结构
Fig.3 Synchronized EEG-fMRI system structure

由于磁共振成像外加梯度磁场的影响,在记录的EEG信号中会混入周期性的脉冲MRI梯度伪迹信号。梯度伪迹是同步脑电信号中幅度最大的噪声。对此,ALLEN et al[61]利用伪迹信号的周期性,通过把多个成像周期内的EEG信号进行迭加平均,获得对伪迹信号模板的近似估计,然后在记录信号的每个成像周期中把估计伪迹信号减去,得到去除磁场伪迹的EEG信号。在此方法的基础上,STEYRL et al[62]通过添加伪迹的参考层并实现自适应滤波。一些研究者使用独立成分分析法[63-65],将信号分解成不相关的或是相互独立的磁场伪迹成分和脑电信号成分,再将伪迹成分去除,得到干净的EEG信号。独立矢量分析(independent vector analysis,IVA)同样可以用来实现处理目标:每个成分有三维以上的矢量构成。这些信息被用于矢量分解,使得梯度伪迹从原始信号中分离出来[66]

目前,同步EEG-fMRI的融合分析方法可以分为:以基于fMRI约束的EEG成像[67]为代表的非对称融合;以基于正演生成同步EEG-fMRI的模型方法为主要手段的对称融合[68]、网络空间的EEG/fMRI融合[69]、EEG-fMRI的分层级可信度融合[70]等。利用EEG的功率谱[71]、全脑域同步[72]和微状态[73]三种信号指标与BOLD信号做相关分析。采用EEG特征作为预测变量,对fMRI时间过程进行建模,获得不同节律的动态变化[74]。通过将单个或多个频段EEG功率作为fMRI数据广义线性模型分析中的回归项,探讨这些频段对功能磁共振信号的贡献,以及信号之间的交互作用。通过不同方法,结合EEG的高时间分辨率和fMRI的高空间分辨率,可以对认知过程、癫痫的起源和传递、睡眠及睡眠中特殊脑电波进行讨论,应用广泛。例如,在脑认知解析方面,GOLDMAN et al[75]借助同步EEG-fMRI研究产生α节律的核心脑区,发现α节律的增强会伴随着枕叶、额下回、颞上回和扣带回脑区的负激活和脑岛、丘脑的正激活。通过将多个频段的EEG功率作为fMRI数据广义线性模型分析中的回归项,也可以探讨这些频段对功能磁共振信号的贡献,以及信号之间的交互作用[76-77]。除了特定频段的EEG功率外,频谱的其他特征也可以用于解释功能磁共振信号,比如总功率[78]、频段特定功率值的线性组合[79]、平均频率[80]、根均方频率[81-82]等。

无创的、高时空分辨率的多模态融合技术已广泛用于研究人类注意[83-85]、执行[86]、记忆[87-89]等高级认知功能与脑老化[90-91]机制,以及阿尔兹海默症[92-94]、精神分裂症[95-96]、癫痫[97-99]等神经临床疾病的病理机制。其中,多模态融合技术,特别是同步EEG-fMRI融合分析,在癫痫的起源、传播等机制的研究应用最为广泛。

3 多模态神经影像技术的实践应用

当代的脑科学已经进入大数据时代。神经影像技术的发展,离不开数据的积累技术的进步。一方面,在数据收集过程中,可以根据机器硬件升级、扫描参数设置的调整、影像分析技术的不断迭代更新来改进采集方案,以确保数据的质量,促成高场强、高精度神经影像的产生。另一方面,高质量数据的不断积累和数据共享有助于推动数据采集规范化和数据处理流程化的发展。大规模脑影像数据库的建设和脑影像处理方法流水线的形成,可以得到更稳健的、更可靠的分析结果。内容公开化、过程公开化和技术平台公开化的“开放式神经科学”将助力神经影像和我国脑科学的前进。

国际千人功能连接组计划(1 000 functional connectomes project,FCP)是包括中国在内的全球人脑大数据共享计划[100]。中国作为FCP最大的数据贡献站点所在国之一,在活体脑成像大数据共享领域具有重要国际影响力。此后,越来越多的脑影像数据库建立起来并产生了广泛的学术影响。中国科学院心理研究所成立了“国际信度与可重复性联盟(consortium for reliability and reproducibility,CoRR)”共享了来自1 600余人的不同年龄阶段的万余套活体脑成像重复测量数据[101];中国汉族人群影像遗传学队列(chinese imaging genetics,CHIMGEN)[102]收集了来自10 000名年龄在18~30岁之间的中国汉族健康人群的基因组、环境、行为数据和神经影像,是目前样本量最大的中国神经影像遗传学队列;中国人脑连接组计划(CHCP)完成1 000例中国人语言加工的脑结构与脑功能数据采集,建立中国人语言功能多模态脑影像数据库(结构态、静息态、神经纤维、语言任务态、MEG/EEG等脑影像数据),融合运用并开发多模态脑网络及脑图谱计算数学模型与方法,形成一套挖掘大脑加工语言的脑影像大数据的全脑层次功能图谱分析方法,绘制中国人全脑层次语言功能的精细动态脑图谱脑语言精细动态功能图谱[103]。这一系列数据库的建立,将推动神经影像领域大踏步前进。

此外,我国研究者在神经影像计算方法的研发与推广上,始终保持在国际前列,开发了多个具有国际影响力算法库和工具包,为神经影像的人脑研究提供了重要的计算方法和软件平台,得到了国际研究者的高度关注。其中包括中国科学院自动化研究所脑网络组研究中心开发的静息态磁共振数据分析软件REST[104]、BRANT[105]、扩散磁共振分析软件DiffusionKit[106],北京师范大学开发的脑网络分析软件GRETNA[107]及脑网络可视化软件BrainNet Viewer[108],中国科学院心理研究所开发的人脑连接组计算系统CCS[109]、磁共振数据分析软件DPARSF[110],以及和太原理工大学脑科学与智能计算研究中心一同开发的人脑多模态自适应分频软件DREAM[111]等。电子科技大学开发的参考电极标准化技术REST工具包[112]和基于EEG和fMRI信号融合分析的工具包Neuroscience information toolbox[113].

除了神经影像数据库和技术平台的建设,神经影像的发展还具有很多社会效应。在以青少年儿童为目标的研究中,中国科学院心理研究所启动了名为“彩巢计划(chinese color nest project,CCNP)”的儿童青少年队列研究[114-115]。通过2013-2022年的十年跨度探究学龄期这一心理障碍和精神疾病易感年龄段,这一项研究也直接推动了“中国脑计划”中儿童青少年脑智研究的发展[21]。在一项来自中国科学院、北京师范大学等合作单位的研究中,使用年龄范围为6~12岁的328例中国儿童的高质量脑影像磁共振数据,在不同年龄段绘制出“中国儿童标准脑结构发育图谱”,为研究我国儿童脑发育提供了重要的工具[116]。一些研究者通过神经影像数据分析,揭示了功能脑区关键期的成因和定位,为关键期的教学内容提供更加精确的指导。相关研究也表明,0~4岁是幼儿培养数理逻辑能力的重要时期,而语言学习的关键期则出现在0~3岁[117],音乐学习的关键期是0~5岁[118],这一系列有关“可塑性”的研究,为教育研究和实践提供了新的理论基础和方法指引。

神经影像技术同时还促进脑-机接口、人工智能、类脑计算等技术的进步。神经科学与计算科学的交叉融合,通过构建新的网络模型,促成类脑芯片、类脑智能机器人等技术和产品。2019年,清华大学结合了类脑计算和基于计算机科学的人工智能的新型芯片“天机芯(Tianjic)”.基于这一芯片,实现了自行车自动驾驶[119];同年,浙江大学发布了“达尔文”二代神经拟态类脑芯片,主要面向智慧物联网应用,单芯片支持的神经元规模达15万个[120];借助EEG的无创框架,研究者实现了使用人的意念控制机械臂的运动[121];中国科学院上海微系统与信息技术研究所和复旦大学附属华山医院合作开发出基于天然蚕丝蛋白的新型颅骨固定系统,在犬类临床试验中表现出良好的颅骨固定和再连接作用[122]。此外,利用EEG技术可以对用户意愿的解码,从而实现单项或闭环控制,在脑-机接口领域取得了广泛的应用。2014年,天津大学自主研发了全球首台人工神经康复机器人系统“神工一号”,通过EEG的异步脑-机接口技术模拟中枢神经通路,驱动多级神经肌肉电刺激技术,刺激瘫痪肢体产生对应动作。一些可以提供辅助交互及康复治疗,包括辅助行走、康复训练等,可穿戴无线脑血氧头带和无创脑血氧监护仪以及检测人体精神状态设备正在逐步走进大众视野。此外,多模态神经影像技术在设备控制、神经康复、状态监测、认知训练、航空航天、教学评估、游戏娱乐等方面[123-129]

与此同时,伴随着高精准脑功能成像技术、神经影像大数据、脑功能影像计算方法组学以及临床转化需求的不断进展,借助神经影像在医学上的优势,为构建各种精神性和神经性疾病的早期预防、监测、诊断模型提供了基础,在临床神经精神疾病和器质性疾病中也取得了系列重要进展。在疾病的诊断和分类判断应用中,对包括阿尔茨海默认知障碍疾病[130],精神分裂症[131]、孤独症[132]、多动症等的分类判断[133]、昏迷病人促醒概率的预测判断[134]以及基于脑影像的年龄和性别[135]的判断等方面取得了突破和进步。基于EEG/MEG等的研究发现,诸如精神分裂症、自闭症的多种神经精神疾病的神经节律振荡有着异常现象,为这疾病诊断的生物标记提供了可能。同时由于EEG简单舒适、成本低的特点还被大量用于睡眠疾病诊断和睡眠监测、麻醉深度监测、意识障碍、脑死亡评定等领域。总体来讲,基于多模态神经影像具备巨大科研价值和应用潜力,实现脑功能和结构在网络层面上的融合,将为重大脑疾病研究提供全新视角和手段。

4 神经影像技术面临的挑战

虽然近年来通过多模态神经影像采集分析和融合方面取得了一定的成果,但在多模态神经影像技术的发展与创新中,仍有很多不足,需要解决的关键科学问题如下:

1) 神经影像领域的各类实验所采用测量的信度水平不一。以MRI技术为例,基于结构的脑形态指标信度较高,达到可以划入临床实际应用所需的信度。而fMRI则由于数据采集实验范式的不同,数据扫描时间长度不同等因素,测量信度较低。同时,由于目前基于小样本的研究居多,低信度的测量加剧了假阳性率的产生。多模态影像数据采集、数据分析流程尚未有统一的领域规范,各个研究机构使用的方法不尽相同,导致各类研究之间可比性降低。这些原因造成了多模态神经影像可重复性问题与危机,在一定程度上限制和影响了其在教育和医疗领域的转化应用进程。

2) 神经影像技术信噪比(signal to-noise ratio,SNR)和成像速度还需进一步提升。由于神经影像自身较低的SNR以及噪声的复杂性,一般需要通过信号累加来提高SNR,这样就进一步降低了成像速度。一方面,通过信号采集系统升级如提高场强、采用超极化技术等,在信息采集时提高成像性能, 是提升神经影像信噪比的重要手段;另一方面,通过改进射频技术、调整采样方案和优化图形图像重建算法,可以在保证图像质量的前提下,加快成像速度,推进快速成像方法的普及应用。

3) 神经影像数据采集设备便携性受限。尤其是fMRI设备体积庞大,操作不便,应用场景有着很大的限制。EEG的研究大多集中在0.5~45 Hz这一传统频段内,忽略了高频和低频信号中所包含的信息。为此,发展更宽频段的脑电采集设备以及更加便携和灵活地采集fMRI信号,是目前多模态影像技术的重点和难点之一。无线的、小型的、集成的可穿戴式的神经信号采集设备,将是今后重点研究方向之一。

5 总结与展望

随着计算机科学、人工智能等领域的快速发展,促进了神经影像技术的不断进步。近年来,我国在神经影像的理论、算法、数据平台、分析平台及应用方面获得了重要的成果,走在了国际前列,推动了中国脑科学的发展。首先,整合各单模态成像优势的多模态神经影像技术已经受到研究者的重视,并在脑发育和神经疾病方面有着巨大的应用前景。使用不同模态成像手段对脑认知机制进一步分析和探讨,不断进行多模态信息融合验证,更加全面的“认识脑”。其次,具有自主知识产权的、个性化、智能化、高性价比脑影像采集设备的研发,研发更快速、更优化的脑影像分析技术并应用于临床,在脑疾病的机理和诊疗方面快速反应,为神经外科提供更完整和及时的反馈,提供更准确且更全面的人脑组织特性,最大程度地“保护脑”。第三,基于不同模态的脑影像数据融合分析,为脑-机接口等提供全方位的理论基础,将类脑智能赋予神经影像采集及分析,更加智能地获取和处理脑影像数据,从理论到实践完整结合,系统科学地“创造脑”。多模态神经功能成像技术有望成为神经功能认知和诊断最主要的关键检测技术,推动脑科学研究新进展。

参考文献:

[1] JOEL D,BERMAN Z,TAVOR I,et al.Sex beyond the genitalia:the human brain mosaic[J].Proceedings of the National Academy of Sciences,2015,112(50):15468-15473.

[2] LOGOTHETIS N K.What we can do and what we cannot do with fMRI[J].Nature,2008,453(7197):869-878.

[3] BANDETTINI P A.Twenty years of functional MRI:the science and the stories[J].Neuroimage,2012,62(2):575-588.

[4] FOX M D,RAICHLE M E.Spontaneous fluctuations in brain activity observed with functional magnetic resonance imaging[J].Nature Reviews Neuroscience,2007,8(9):700-711.

[5] VAN ESSEN D C,SMITH S M,BARCH D M,et al.The WU-Minn human connectome project:an overview[J].Neuroimage,2013,80:62-79.

[6] BARGMANN C I,NEWSOME W T.The brain research through advancing innovative neurotechnologies (BRAIN) initiative and neurology[J].JAMA Neurology,2014,71(6):675-676.

[7] ALFRED P.The Human brain project:mutiny on the flagship[J].Nature,2014,511:292.

[8] ESPOSITO R,BORTOLETTO M,MINIUSSI C.Integrating TMS,EEG,and MRI as an approach for studying brain connectivity[J].The Neuroscientist,2020,26(5/6):471-486.

[9] KWONG K K,BELLIVEAU J W,CHESLER D A,et al.Dynamic magnetic resonance imaging of human brain activity during primary sensory stimulation[J].Proceedings of the National Academy of Sciences,1992,89(12):5675-5679.

[10] OGAWA S,TANK D W,MENON R,et al.Intrinsic signal changes accompanying sensory stimulation:functional brain mapping with magnetic resonance imaging[J].Proceedings of the National Academy of Sciences,1992,89(13):5951-5955.

[11] ZANG Y F,HE Y,ZHU Z Z,et al.Altered baseline brain activity in children with ADHD revealed by resting-state functional MRI[J].Brain and Development,2007,29(2):83-91.

[12] ZOU Q H,ZHU C Z,YANG Y,et al.An improved approach to detection of amplitude of low-frequency fluctuation (ALFF) for resting-state fMRI:fractional ALFF[J].Journal of Neuroscience Methods,2008,172(1):137-141.

[13] ZANG Y,JIANG T,LU Y,et al.Regional homogeneity approach to fMRI data analysis[J].Neuroimage,2004,22(1):394-400.

[14] ZUO X N,XING X X.Test-retest reliabilities of resting-state FMRI measurements in human brain functional connectomics:a systems neuroscience perspective[J].Neuroscience & Biobehavioral Reviews,2014,45:100-118.

[15] XU J,MOELLER S,AUERBACH E J,et al.Evaluation of slice accelerations using multiband echo planar imaging at 3T[J].Neuroimage,2013,83:991-1001.

[16] HAZLETT H C,GU H,MUNSELL B C,et al.Early brain development in infants at high risk for autism spectrum disorder[J].Nature,2017,542(7641):348-351.

[17] 高家红,雷皓,陈群,等.磁共振成像发展综述[J].中国科学:生命科学,2020,50(11):1285-1295.

GAO J H,LEI H,CHEN Q,et al.Magnetic resonance imaging:progresses and perspective[J].Science in China(Series C),2020,50(11):1285-1295.

[18] CHEN C H,FIECAS M,GUTIÉRREZ E D,et al.Genetic topography of brain morphology[J].Proceedings of the National Academy of Sciences,2013,110(42):17089-17094.

[19] DOSENBACH N U F,NARDOS B,COHEN A L,et al.Prediction of individual brain maturity using fMRI[J].Science,2010,329(5997):1358-1361.

[20] GRASBY K L,JAHANSHAD N,PAINTER J N,et al.The genetic architecture of the human cerebral cortex[J].Science,2020,367(6484):6690.

[21] ZUO X N,HE Y,BETZEL R F,et al.Human connectomics across the life span[J].Trends in Cognitive Sciences,2017,21(1):32-45.

[22] FAN L,LI H,ZHUO J,et al.The human brainnetome atlas:a new brain atlas based on connectional architecture[J].Cerebral Cortex,2016,26(8):3508-3526.

[23] JIANG T,ZHOU Y,LIU B,et al.Brainnetome-wide association studies in schizophrenia:the advances and future[J].Neuroscience & Biobehavioral Reviews,2013,37(10):2818-2835.

[24] GLOOR P.Hans Berger on electroencephalography[J].American Journal of EEG Technology,1969,9(1):1-8.

[25] MOVAHEDI F,COYLE J L,SEJDIC E.Deep belief networks for electroencephalography:a review of recent contributions and future outlooks[J].IEEE Journal of Biomedical and Health Informatics,2017,22(3):642-652.

[26] COHEN D.Magnetoencephalography:evidence of magnetic fields produced by alpha-rhythm currents[J].Science,1968,161(3843):784-786.

[27] BAILLET S.Magnetoencephalography for brain electrophysiology and imaging[J].Nature neuroscience,2017,20(3):327-339.

[28] JIANG X,BIAN G B,TIAN Z.Removal of artifacts from EEG signals:a review[J].Sensors,2019,19(5):987.

[29] WANG G,TENG C,LI K,et al.The removal of EOG artifacts from EEG signals using independent component analysis and multivariate empirical mode decomposition[J].IEEE journal of biomedical and health informatics,2015,20(5):1301-1308.

[30] CHAN H L,TSAI Y T,MENG L F,et al.The removal of ocular artifacts from EEG signals using adaptive filters based on ocular source components[J].Annals of Biomedical Engineering,2010,38(11):3489-3499.

[31] CHEN X,XU X,LIU A,et al.Removal of muscle artifacts from the EEG:a review and recommendations[J].IEEE Sensors Journal,2019,19(14):5353-5368.

[32] HUANG X,LONG Z,LEI X.Electrophysiological signatures of the resting-state fMRI global signal:a simultaneous EEG-fMRI study[J].Journal of Neuroscience Methods,2019,311:351-359.

[33] MOHAMMADI S M,KOUCHAKI S,GHAVAMI M,et al.Improving time-frequency domain sleep EEG classification via singular spectrum analysis[J].Journal of neuroscience methods,2016,273:96-106.

[34] BARTHÉLEMY Q,GOUY-PAILLER C,ISAAC Y,et al.Multivariate temporal dictionary learning for EEG[J].Journal of neuroscience methods,2013,215(1):19-28.

[35] STAPLETON-KOTLOSKI J R,KOTLOSKI R J,POPLI G,et al.Magnetoencephalography:clinical and research practices[J].Brain Sciences,2018,8(8):157.

[36] PALVA S,PALVA J M.Discovering oscillatory interaction networks with M/EEG:challenges and breakthroughs[J].Trends in Cognitive Sciences,2012,16(4):219-230.

[37] BRUA R,MAESTU F,PEREDA E.Phase locking value revisited:teaching new tricks to an old dog[J].Journal of Neural Engineering,2018,15(5):056011.

[38] TOKIC K,TITLIC M,BEGANOVIC-PETROVIC A,et al.P300 wave changes in patients with Parkinson’s disease[J].Medical Archives,2016,70(6):453.

[39] LEI X,ZHAO W.Simultaneous EEG-fMRI studies of sleep-dependent memory consolidation[J].Advances in Psychological Science,2016,24(3):327.

[40] ALAZRAI R,HOMOUD R,ALWANNI H,et al.EEG-based emotion recognition using quadratic time-frequency distribution[J].Sensors,2018,18(8):2739.

[41] GARCA-MARTNEZ B,MARTINEZ-RODRIGO A,ALCARAZ R,et al.A review on nonlinear methods using electroencephalographic recordings for emotion recognition[J].IEEE Transactions on Affective Computing,2019,12(3):801-820.

[42] TEIPEL S,BAKARDJIAN H,GONZALEZ-ESCAMILLA G,et al.No association of cortical amyloid load and EEG connectivity in older people with subjective memory complaints[J].Neuroimage:Clinical,2018,17:435-443.

[43] PALVA S,PALVA J M.Discovering oscillatory interaction networks with M/EEG:challenges and breakthroughs[J].Trends in cognitive sciences,2012,16(4):219-230.

[44] ZAPPASODI F,PERRUCCI M G,SAGGINO A,et al.EEG microstates distinguish between cognitive components of fluid reasoning[J].Neuroimage,2019,189:560-573.

[45] ZHANG P,WANG X,ZHANG W,et al.Learning spatial-spectral-temporal EEG features with recurrent 3D convolutional neural networks for cross-task mental workload assessment[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2018,27(1):31-42.

[46] SPITZER B,BLANKENBURG F.Stimulus-dependent EEG activity reflects internal updating of tactile working memory in humans[J].Proceedings of the National Academy of Sciences,2011,108(20):8444-8449.

[47] VAN DE VILLE D,BRITZ J,MICHEL C M.EEG microstate sequences in healthy humans at rest reveal scale-free dynamics[J].Proceedings of the National Academy of Sciences,2010,107(42):18179-18184.

[48] DE PASQUALE F,DELLA PENNA S,SNYDER A Z,et al.Temporal dynamics of spontaneous MEG activity in brain networks[J].Proceedings of the National Academy of Sciences,2010,107(13):6040-6045.

[49] KINNEY-LANG E,YOONG M,HUNTER M,et al.Analysis of EEG networks and their correlation with cognitive impairment in preschool children with epilepsy[J].Epilepsy & Behavior,2019,90:45-56.

[50] MAESTU F,CUESTA P,HASAN O,et al.The importance of the validation of M/EEG with current biomarkers in Alzheimer's disease[J].Frontiers in Human Neuroscience,2019:17.

[51] BOON L I,GERAEDTS V J,HILLEBRAND A,et al.A systematic review of MEG-based studies in Parkinson's disease:The motor system and beyond[J].Human Brain Mapping,2019,40(9):2827-2848.

[52] LAU M,YAM D,BURNEO J G.A systematic review on MEG and its use in the presurgical evaluation of localization-related epilepsy[J].Epilepsy Research,2008,79(2/3):97-104.

[53] SABETI F,JAMES A C,CARLE C F,et al.Comparing multifocal pupillographic objective perimetry (mfPOP) and multifocal visual evoked potentials (mfVEP) in retinal diseases[J].Scientific Reports,2017,7(1):1-12.

[54] HOOD D C,GREENSTEIN V C,ODEL J G,et al.Visual field defects and multifocal visual evoked potentials:evidence of a linear relationship[J].Archives of Ophthalmology,2002,120(12):1672-1681.

[55] WEI C S,WANG Y T,LIN C T,et al.Toward drowsiness detection using non-hair-bearing EEG-based brain-computer interfaces[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2018,26(2):400-406.

[56] MIKKELSEN K B,KAPPEL S L,MANDIC D P,et al.EEG recorded from the ear:characterizing the ear-EEG method[J].Frontiers in Neuroscience,2015,9:438.

[57] BOTO E,HOLMES N,LEGGETT J,et al.Moving magnetoencephalography towards real-world applications with a wearable system[J].Nature,2018,555(7698):657-661.

[58] ZOU L,ZHANG Y,YUAN L,et al.Emotion cognitive reappraisal research based on simultaneous recording of EEG and BOLD responses[C]∥International Symposium on Neural Networks.Springer,Berlin,Heidelberg,2013:52-59.

[59] PURDON P L,PIERCE E T,BONMASSAR G,et al.Simultaneous electroencephalography and functional magnetic resonance imaging of general anesthesia[J].Annals of the New York Academy of Sciences,2009,1157(1):61-70.

[60] 周伊婕,宋西姊,何峰,等.基于脑电的多模态神经功能成像新技术研究进展[J].中国生物医学工程学报,2020,39(5):595-602.

ZHOU Y J,SONG X Z,HE F,et al.Research progress of multimodal functional neural imaging technology based on EEG[J].Chinese Journal of Biomedical Engineering,2020,39(5):595-602.

[61] ALLEN P J,JOSEPHS O,TURNER R.A method for removing imaging artifact from continuous EEG recorded during functional MRI[J].Neuroimage,2000,12(2):230-239.

[62] STEYRL D,KRAUSZ G,KOSCHUTNIG K,et al.Reference layer adaptive filtering (RLAF) for EEG artifact reduction in simultaneous EEG-fMRI[J].Journal of Neural Engineering,2017,14(2):026003.

[63] MANDELKOW H,BRANDEIS D,BOESIGER P.Good practices in EEG-MRI:the utility of retrospective synchronization and PCA for the removal of MRI gradient artefacts[J].Neuroimage,2010,49(3):2287-2303.

[64] GROUILLER F,VERCUEIL L,KRAINIK A,et al.A comparative study of different artefact removal algorithms for EEG signals acquired during functional MRI[J].Neuroimage,2007,38(1):124-137.

[65] SRIVASTAVA G,CROTTAZ-HERBETTE S,LAU K M,et al.ICA-based procedures for removing ballistocardiogram artifacts from EEG data acquired in the MRI scanner[J].Neuroimage,2005,24(1):50-60.

[66] ACHARJEE P P,PHLYPO R,WU L,et al.Independent vector analysis for gradient artifact removal in concurrent EEG-fMRI data[J].IEEE Transactions on Biomedical Engineering,2015,62(7):1750-1758.

[67] LEI X,XU P,LUO C,et al.fMRI functional networks for EEG source imaging[J].Human Brain Mapping,2011,32(7):1141-1160.

[68] LEI X,QIU C,XU P,et al.A parallel framework for simultaneous EEG/fMRI analysis:methodology and simulation[J].Neuroimage,2010,52(3):1123-1134.

[69] LEI X,OSTWALD D,HU J,et al.Multimodal functional network connectivity:an EEG-fMRI fusion in network space[J].PloS One,2011,6(9):e24642.

[70] DONG L,GONG D,VALDES-SOSA P A,et al.Simultaneous EEG-fMRI:trial level spatio-temporal fusion for hierarchically reliable information discovery[J].Neuroimage,2014,99:28-41.

[71] KAUFMANN C,WEHRLE R,WETTER T C,et al.Brain activation and hypothalamic functional connectivity during human non-rapid eye movement sleep:an EEG/fMRI study[J].Brain,2006,129(3):655-667.

[72] GOTMAN J,KOBAYASHI E,BAGSHAW A P,et al.Combining EEG and fMRI:a multimodal tool for epilepsy research[J].Journal of Magnetic Resonance Imaging,2006,23(6):906-920.

[73] NGUYEN V T,CUNNINGTON R.The superior temporal sulcus and the N170 during face processing:single trial analysis of concurrent EEG-fMRI[J].Neuroimage,2014,86:492-502.

[74] LANGE N,ZEGER S L.Non-linear fourier time series analysis for human brain mapping by functional magnetic resonance imaging[J].Journal of the Royal Statistical Society:Series C (Applied Statistics),1997,46(1):1-29.

[75] GOLDMAN R I,STERN J M,ENGEL JR J,et al.Simultaneous EEG and fMRI of the alpha rhythm[J].Neuroreport,2002,13(18):2487.

[76] MANTINI D,PERRUCCI M G,DEL GRATTA C,et al.Electrophysiological signatures of resting state networks in the human brain[J].Proceedings of the National Academy of Sciences,2007,104(32):13170-13175.

[77] DE MUNCK J C,GONÇALVES S I,MAMMOLITI R,et al.Interactions between different EEG frequency bands and their effect on alpha-fMRI correlations[J].Neuroimage,2009,47(1):69-76.

[78] WAN X,RIERA J,IWATA K,et al.The neural basis of the hemodynamic response nonlinearity in human primary visual cortex:Implications for neurovascular coupling mechanism[J].Neuroimage,2006,32(2):616-625.

[79] GOENSE J B M,LOGOTHETIS N K.Neurophysiology of the BOLD fMRI signal in awake monkeys[J].Current Biology,2008,18(9):631-640.

[80] ROSA M J,KILNER J,BLANKENBURG F,et al.Estimating the transfer function from neuronal activity to BOLD using simultaneous EEG-fMRI[J].Neuroimage,2010,49(2):1496-1509.

[81] KILNER J M,MATTOUT J,HENSON R,et al.Hemodynamic correlates of EEG:a heuristic[J].Neuroimage,2005,28(1):280-286.

[82] JANN K,DIERKS T,BOESCH C,et al.BOLD correlates of EEG alpha phase-locking and the fMRI default mode network[J].Neuroimage,2009,45(3):903-916.

[83] EICHELE T,DEBENER S,CALHOUN V D,et al.Prediction of human errors by maladaptive changes in event-related brain networks[J].Proceedings of the National Academy of Sciences,2008,105(16):6173-6178.

[84] EICHELE T,SPECHT K,MOOSMANN M,et al.Assessing the spatiotemporal evolution of neuronal activation with single-trial event-related potentials and functional MRI[J].Proceedings of the National Academy of Sciences,2005,102(49):17798-17803.

[85] STROBEL A,DEBENER S,SORGER B,et al.Novelty and target processing during an auditory novelty oddball:a simultaneous event-related potential and functional magnetic resonance imaging study[J].Neuroimage,2008,40(2):869-883.

[86] FAN J,KOLSTER R,GHAJAR J,et al.Response anticipation and response conflict:an event-related potential and functional magnetic resonance imaging study[J].Journal of Neuroscience,2007,27(9):2272-2282.

[87] IIDAKA T,MATSUMOTO A,NOGAWA J,et al.Frontoparietal network involved in successful retrieval from episodic memory.Spatial and temporal analyses using fMRI and ERP[J].Cerebral Cortex,2006,16(9):1349-1360.

[88] HABIB R,NYBERG L.Neural correlates of availability and accessibility in memory[J].Cerebral Cortex,2008,18(7):1720-1726.

[89] AHMAD R F,MALIK A S,KAMEL N,et al.Simultaneous EEG-fMRI for working memory of the human brain[J].Australasian Physical & Engineering Sciences in Medicine,2016,39(2):363-378.

[90] TSVETANOV K A,HENSON R N A,TYLER L K,et al.The effect of ageing on fMRI:Correction for the confounding effects of vascular reactivity evaluated by joint fMRI and MEG in 335 adults[J].Human Brain Mapping,2015,36(6):2248-2269.

[91] HIRSIGER S,KOPPELMANS V,MÉRILLAT S,et al.Structural and functional connectivity in healthy aging:associations for cognition and motor behavior[J].Human Brain Mapping,2016,37(3):855-867.

[92] VAN DER HIELE K,VEIN A A,VAN DER WELLE A,et al.EEG and MRI correlates of mild cognitive impairment and Alzheimer’s disease[J].Neurobiology of Aging,2007,28(9):1322-1329.

[93] POLIKAR R,TILLEY C,HILLIS B,et al.Multimodal EEG,MRI and PET data fusion for Alzheimer's disease diagnosis[C]∥2010 Annual International Conference of the IEEE Engineering in Medicine and Biology.IEEE,2010:6058-6061.

[94] BABILONI C,FRISONI G B,PIEVANI M,et al.Hippocampal volume and cortical sources of EEG alpha rhythms in mild cognitive impairment and Alzheimer disease[J].Neuroimage,2009,44(1):123-135.

[95] YAO Y,PALANIYAPPAN L,LIDDLE P,et al.Variability of structurally constrained and unconstrained functional connectivity in schizophrenia[J].Human Brain Mapping,2015,36(11):4529-4538.

[96] SKUDLARSKI P,JAGANNATHAN K,ANDERSON K,et al.Brain connectivity is not only lower but different in schizophrenia:a combined anatomical and functional approach[J].Biological Psychiatry,2010,68(1):61-69.

[97] VITALI P,DI PERRI C,VAUDANO A E,et al.Integration of multimodal neuroimaging methods:a rationale for clinical applications of simultaneous EEG-fMRI[J].Functional Neurology,2015,30(1):9.

[98] GOTMAN J,PITTAU F.Combining EEG and fMRI in the study of epileptic discharges[J].Epilepsia,2011,52:38-42.

[99] VULLIEMOZ S,LEMIEUX L,DAUNIZEAU J,et al.The combination of EEG Source Imaging and EEG-correlated functional MRI to map epileptic networks[J].Epilepsia,2010,51(4):491-505.

[100] BISWAL B B,MENNES M,ZUO X N,et al.Toward discovery science of human brain function[J].Proceedings of the National Academy of Sciences,2010,107(10):4734-4739.

[101] ZUO X N,ANDERSON J S,BELLEC P,et al.An open science resource for establishing reliability and reproducibility in functional connectomics[J].Scientific Data,2014,1(1):1-13.

[102] XU Q,GUO L,CHENG J,et al.CHIMGEN:a Chinese imaging genetics cohort to enhance cross-ethnic and cross-geographic brain research[J].Molecular Psychiatry,2020,25(3):517-529.

[103] 左西年,臧玉峰,高家红.推进神经影像数据共享与开放式脑科学[J].中国科学:生命科学,2021,51(6):600-618.

ZUO X N,ZANG Y F,GAO J H.Toward neuroinformatics of neuroimaging data sharing and open brain science[J].Science in China(Series C),2021,51(6):600-618.

[104] SONG X W,DONG Z Y,LONG X Y,et al.REST:a toolkit for resting-state functional magnetic resonance imaging data processing[J].PloS One,2011,6(9):e25031.

[105] XU K,LIU Y,ZHAN Y,et al.BRANT:a versatile and extendable resting-state fMRI toolkit[J].Frontiers in Neuroinformatics,2018,12:52.

[106] XIE S,CHEN L,ZUO N,et al.DiffusionKit:a light one-stop solution for diffusion MRI data analysis[J].Journal of Neuroscience Methods,2016,273:107-119.

[107] WANG J,WANG X,XIA M,et al.GRETNA:a graph theoretical network analysis toolbox for imaging connectomics[J].Frontiers in Human Neuroscience,2015,9:386.

[108] XIA M,WANG J,HE Y.BrainNet Viewer:a network visualization tool for human brain connectomics[J].PloS One,2013,8(7):e68910.

[109] XU T,YANG Z,JIANG L,et al.A connectome computation system for discovery science of brain[J].Science Bulletin,2015,60(1):86-95.

[110] YAN C,ZANG Y.DPARSF:a MATLAB toolbox for “pipeline” data analysis of resting-state fMRI[J].Frontiers in Systems Neuroscience,2010,4:13.

[111] GONG Z Q,GAO P,JIANG C,et al.DREAM[J].Neuroinformatics,2021,19(3):529-545.

[112] DONG L,LI F,LIU Q,et al.MATLAB toolboxes for reference electrode standardization technique (REST) of scalp EEG[J].Frontiers in Neuroscience,2017,11:601.

[113] DONG L,LUO C,LIU X,et al.Neuroscience information toolbox:an open source toolbox for EEG-fMRI multimodal fusion analysis[J].Frontiers in Neuroinformatics,2018,12:56.

[114] LIU S,WANG Y S,ZHANG Q,et al.Chinese color nest project:an accelerated longitudinal brain-mind cohort[J].Developmental Cognitive Neuroscience,2021,52:101020.

[115] DONG H M,CASTELLANOS F X,YANG N,et al.Charting brain growth in tandem with brain templates at school age[J].Science Bulletin,2020,65(22):1924-1934.

[116] ZHAO T,LIAO X,FONOV V S,et al.Unbiased age-specific structural brain atlases for Chinese pediatric population[J].Neuroimage,2019,189:55-70.

[117] CHEETHAM C E,BELLUSCIO L.An olfactory critical period[J].Science,2014,344(6180):157-158.

[118] SU L I,YUFANG Y.Why are there critical periods for language learning?[J].Chinese Science Bulletin,2016,61(25):2786-2792.

[119] PEI J,DENG L,SONG S,et al.Towards artificial general intelligence with hybrid Tianjic chip architecture[J].Nature,2019,572(7767):106-111.

[120] MA D,SHEN J,GU Z,et al.Darwin:a neuromorphic hardware co-processor based on spiking neural networks[J].Journal of Systems Architecture,2017,77:43-51.

[121] EDELMAN B J,MENG J,SUMA D,et al.Noninvasive neuroimaging enhances continuous neural tracking for robotic device control[J].Science Robotics,2019,4(31):eaaw6844.

[122] LIU K,SHI Z,ZHANG S,et al.A silk cranial fixation system for neurosurgery[J].Advanced Healthcare Materials,2018,7(6):1701359.

[123] MCFARLAND D J,WOLPAW J R.Brain-computer interfaces for communication and control[J].Communications of the ACM,2011,54(5):60-66.

[124] MAK J N,WOLPAW J R.Clinical applications of brain-computer interfaces:current state and future prospects[J].IEEE Reviews in Biomedical Engineering,2009,2:187-199.

[125] DALY J J,WOLPAW J R.Brain-computer interfaces in neurological rehabilitation[J].The Lancet Neurology,2008,7(11):1032-1043.

[126] MOXON K A,FOFFANI G.Brain-machine interfaces beyond neuroprosthetics[J].Neuron,2015,86(1):55-67.

[127] ARICP,BORGHINI G,DI FLUMERI G,et al.Passive BCI beyond the lab:current trends and future directions[J].Physiological Measurement,2018,39(8):08TR02.

[128] LEBEDEV M A,NICOLELIS M A L.Brain-machine interfaces:past,present and future[J].TRENDS in Neurosciences,2006,29(9):536-546.

[129] SITARAM R,ROS T,STOECKEL L,et al.Closed-loop brain training:the science of neurofeedback[J].Nature Reviews Neuroscience,2017,18(2):86-100.

[130] FENG F,WANG P,ZHAO K,et al.Radiomic features of hippocampal subregions in Alzheimer's disease and amnestic mild cognitive impairment[J].Frontiers in Aging Neuroscience,2018:290.

[131] SUI J,QI S,VAN ERP T G M,et al.Multimodal neuromarkers in schizophrenia via cognition-guided MRI fusion[J].Nature Communications,2018,9(1):1-14.

[132] NIELSEN J A,ZIELINSKI B A,FLETCHER P T,et al.Multisite functional connectivity MRI classification of autism:ABIDE results[J].Frontiers in Human Neuroscience,2013,7:599.

[133] PENG X,LIN P,ZHANG T,et al.Extreme learning machine-based classification of ADHD using brain structural MRI data[J].PloS one,2013,8(11):e79476.

[134] SONG M,YANG Y,HE J,et al.Prognostication of chronic disorders of consciousness using brain functional networks and clinical characteristics[J].Elife,2018,7:e36173.

[135] LUO Z,HOU C,WANG L,et al.Gender identification of human cortical 3-D morphology using hierarchical sparsity[J].Frontiers in Human Neuroscience,2019,13:29.

Research Progress and Practical Application of Multimodal Neuroimaging Technology

GAO Peng, LI Haifang

(CollegeofInformationandComputer,TaiyuanUniversityofTechnology,Jinzhong030600,China)

Abstract:In this paper reviewed are the development and progress of three different typical non-invasive neuroimaging representative technologies, i.e., Electroencephalogram (EEG), functional Magnetic Resonance Imaging (fMRI), and synchronous EEG-fMRI. The importance of multimodal fusion analysis technology is emphasized at the same time. The three different modalities combined with their practical application such as use in analytical platform, data construction platform, auxiliary clinical diagnosis and treatment based on the multimodal neurological function are discussed. The technical challenges facing the new multimodal neuroimaging technology and its significance in the development in the brain science is also dealt with for better exploring and enhancing the multimodal neuroimaging techniques.

Keywords:multimodal; neuroimaging; multimodal data fusion; signal processing; EEG-fMRI

引文格式:高鹏,李海芳.多模态神经影像技术研究进展与实践[J].太原理工大学学报,2022,53(3):420-431.

GAO Peng,LI Haifang.Research progress and practical application of multimodal neuroimaging technology[J].Journal of Taiyuan University of Technology,2022,53(3):420-431.

收稿日期:2022-02-25

基金项目:国家自然科学基金面上资助项目(61976150);中央引导地方科技发展资金(YDZJSX2021C005)

第一作者:高鹏(1992-),博士研究生,(E-mail)smooo1973@gmail.com

通信作者:李海芳(1963-),教授,博士生导师,主要从事大数据智能分析、计算机视觉、情感计算脑科学的研究,(E-mail)lihaifang@tyut.edu.cn

中图分类号:TN911.7R445.2

文献标识码:A

DOI:10.16355/j.cnki.issn1007-9432tyut.2022.03.007

文章编号:1007-9432(2022)03-0420-12

(编辑:贾丽红)

Baidu
map