基于多模态融合的脑卒中后认知障碍早期诊断模型构建与验证

脑卒中属于急性脑血管循环障碍性疾病，有着很高的发病率、死亡率和致残率，对全世界的公众健康造成严重的威胁。在诸多并发症当中，脑卒中后认知障碍是比较常见的一种后遗症，它会对人的记忆、执行功能、注意力以及语言等各个方面的认知域造成损害。不但会大大减慢患者神经功能的恢复速度，而且会加大临床治疗的复杂程度和难度，给患者家庭和社会医疗保障体系造成巨大的经济损失。因此，在疾病早期准确地识别出PSCI并做出诊断，对及时制定出有针对性的治疗方案、改善患者的预后、提高患者的生活质量有着非常重要的临床意义。目前临床对PSCI的常规诊断主要是用神经心理学量表来进行评估。虽然该类量表在临床使用中比较成熟，但是容易受到患者主观配合度、教育程度、检测者经验等人为因素的影响，造成评价结果带有主观性和波动性。伴随着医学影像技术的迅速发展，多模态磁共振成像技术给研究脑卒中后脑网络病理生理机制赋予了强大的客观手段。结构磁共振成像可以清楚地显示脑萎缩或者微结构改变的形态学特点，功能磁共振成像可以敏感地发现脑区间低频振荡同步性以及功能连接的异常，从不同的角度来反映大脑的结构和功能状况。但是单一模态的影像分析很难全面地反映疾病的全貌，存在着信息维度单一的不足。近些年来，以多模态融合为基础的数据分析手段渐渐成为研究的热点。该技术用统计学或者机器学习算法，把不同的模态影像特征进行有效的整合和互补，可以得到更加丰富的病理信息特征集，从而大大提高诊断模型的敏感度和特异度[1]。本文主要利用多模态融合的方法来建立早期诊断模型，从多源数据中挖掘出深层次的联系，给PSCI早期精准识别提供客观、量化的影像学依据。

脑卒中后认知障碍是指脑卒中这一临床事件之后出现的，从轻度认知障碍到痴呆的一系列综合征，其定义严格按照国内外权威神经病学指南以及最新的循证医学证据来确定。根据认知损害的严重程度，该综合征可以分为脑卒中后非痴呆型认知障碍和脑卒中后痴呆两种。脑卒中后非痴呆型认知障碍的诊断阈值一般设为认知功能评分低于同龄、同教育程度正常人群均值1.5个标准差，日常活动能力基本保持完好；脑卒中后痴呆除了要满足认知受损程度达到痴呆标准外，还要强调日常生活能力的明显丧失。发病时间窗一般指脑卒中事件发生后的前六个月到一年，有些病例可以延续到数年后。认知损伤的核心累及域不只是记忆功能，而且还涉及到执行功能、注意力、视空间能力和语言功能等各个方面的综合损伤。但是目前临床实践中对于早期诊断还存在着很大的困难，根据国内三家三甲医院神经内科近两年来脑卒中随访门诊的临床统计数据显示，主要的痛点为时间节点滞后、检出精度低和干预适配性差这三个方面。基层医疗机构神经心理评估人员资质良莠不齐，造成评估结果有较大偏差，不能在发病初期就发现细微的认知衰退；单一依靠脑结构影像检查很难发现亚临床早期的微小损伤或者白质病变，造成漏诊率高；单一血清学生物标志物检测特异度低，容易出现假阳性结果，干扰临床判断。这些实际操作中存在的不足，亟需更加精确、高效的早期诊断方法来提高临床干预的靶向性和有效性。

多模态融合技术把各种医学信息源结合起来，形成一个比单一模态更全面、更鲁棒的诊断模型，它的主要理论框架有像素级、特征级和决策级这三个经典层次。像素级融合属于数据底层，直接对原始图像或者信号展开配准并合成，可以最大限度地保存原始数据的细节信息，适合于对影像分辨率有极高要求的场景，不过对数据采集的一致性要求较高，在临床操作过程中很容易受到噪声的影响。特征级融合属于中间层，先从各种数据中提取出抽象的特征，然后用串行或者并行的方式将它们融合起来，这个层次既保留了重要的病理信息，又有效地降低了数据维度，是平衡计算效率和诊断准确性的一种常用方法，特别适合于处理高维复杂的临床数据。决策级融合属于最高层，各个模态各自完成初步诊断或者预测之后，利用加权投票或者贝叶斯推理等方式将结果进行整合，具有较高的灵活性以及容错性，经常被用来集成不同的医疗设备或者专家系统给出的诊断结果。神经疾病辅助诊断领域目前的技术基线是通过阿尔茨海默病、帕金森病认知障碍等相关研究来确定的。以影像学特征和神经心理学量表相结合的融合模型，以及影像特征联合血清学指标的混合模型，在上述疾病分类任务中已经表现出比单一模态更好的诊断效果，其准确率、敏感性和特异性等基本性能指标都达到了临床辅助筛查的实用标准。但是目前关于脑卒中后认知障碍的多模态研究还比较分散，缺少针对脑卒中特有的病理改变（白质损伤、皮层功能连接中断）而设计的深度特征融合方案，在小样本、多中心数据上泛化性差，这就为本文的模型构建指明了技术基准和创新方向。

多模态数据精确对齐是创建高鲁棒性早期诊断模型的基础，直接影响到特征融合是否有效以及模型预测是否准确。就临床神经心理评估、脑影像和血清生物标志物这三种异质性数据而言，本文制定了严格的对齐规则，以解决多源数据在时间和空间上以及归属关系上存在的主要问题。首先，对所有的入组受试者的各项数据采集时间间隔不超过72小时。神经心理评估反映的是患者当下的认知状况，脑影像和血清指标有动态演变的生物学特性，压缩采集窗口可以最大程度地消除由于时间跨度大造成的认知状态波动或者生理指标自然变化所引起的噪声，保证数据在时间轴上具有一致性和同步性。其次就是进行空间维度的特征映射和对齐。由于三种模态的原始特征维度存在较大差别，本文把神经心理量表评分项、脑影像学特征（特定脑区灰质体积或者白质纤维束完整性）、血清生物标志物浓度统一映射到脑卒中后认知障碍的核心损伤域维度上，即执行功能、记忆功能、注意力和语言功能等。既规范了特征语义，又使不同的指标可以在同一个认知功能框架内相互作用、相互比较。最后设计出严格的唯一受试者标识匹配规则。系统给每一个受试者分配一个唯一的ID，在数据采集、录入、处理的各个环节中都使用这个ID来索引三种模态的数据。该机制完全消除了多源数据可能出现的匹配错配或者信息丢失的风险，构建出一个完整的、可信的多模态特征数据集，为之后模型特征融合以及深度学习算法的训练打下了坚实可靠的基矗。

多模态特征数据集创建时，数据缺失以及噪声干扰属于影响模型诊断效果的重要要素，需要依照各个模态数据的特性来执行不同的预处理手段。对于神经心理评估数据里经常出现的受试者条目漏填情况，用K近邻个性化补全的方法，即计算出样本之间的欧氏距离，找到相似的个体，用邻近样本的数值信息来填充，从而保持局部数据结构的完整性，同时有效地还原出缺失的项。对由于禁忌症或者设备故障造成影像序列缺失的部分受试者，用生成对抗网络做跨模态生成补全，依靠已有的模态数据去学习潜在的分布规律，合成出逼真的影像特征，防止单模态插值引发的结构性偏差。对于血清样本检测值小于仪器检测下限的情况，用最低检测限赋值法，按照统计学规范合理定值，保证数据分布的物理真实性、逻辑一致性。

对于脑影像数据采集时由于受试者头部微动引起的运动伪影，用独立成分分析的方法，将空间分解出的噪声成分剔除，得到有生理意义的信号特征。对血清生化指标检测中由于试剂批次、操作时间不同而产生的批次间系统误差，进行批次归一化校正，用对照样本计算偏移因子来校准数据分布，消除非生物学变异对特征的影响。对于神经心理评估量表中出现的随机作答或者极端异常值造成的应答偏差，采用极端值分位数截断算法，确定合理的分布边界，剔除统计学上的离群点。经过上述有针对性的、逻辑严密的缺失值补全和特征降噪处理之后，可以有效地去除原始数据里的杂质干扰，得到信效度符合要求、没有异常值干扰的高质量标准化特征集，为之后模型的训练提供良好的数据基础。

为了解决脑卒中后认知障碍异质性大的问题，本文提出了一种基于跨模态注意力机制的多模态融合诊断模型。该模型的核心就是用深度学习技术把神经心理学、脑影像和血清学指标结合起来，从而达到对高危患者的准确筛查。在特征编码阶段，根据三种不同的异构数据分别设计了不同的编码器结构，首先对年龄、教育程度以及标准化量表评分等结构化神经心理评估特征使用多层全连接层进行非线性映射，将其转变成高维向量表示形式，其次针对高维复杂的脑影像特征采用3D卷积神经网络来提取皮层厚度、脑回体积这些形态学改变的高维隐特征，从而捕捉到大脑微观结构的病理变化，再次对于血清生物标志物数据则是通过浅层嵌入层来完成编码工作，保持了生化指标的数值特性。

模型的技术创新之处在于跨模态注意力模块的设计思路。本模块用计算不同模态特征间的相关权重矩阵来模拟临床诊断中的综合判断过程。模型会自动学习并捕捉到三种模态里和脑卒中后认知障碍早期发生密切相关的重要特征子集，比如同时注意某个脑区的萎缩影像改变和异常升高的血清标志物水平，同时忽略那些对诊断没有什么帮助的无关特征，从而给关键病理特征赋予更高的注意力权重。接着把融合特征送入全连接分类头，用Dropout层防止过拟合，再用Softmax激活函数处理，得到认知障碍发生的概率。在模型优化上使用交叉熵损失函数和Adam优化器来加快收敛速度并提高模型的稳定性。该架构用端到端的训练方式很好地解决了多源信息融合时出现的特征对齐和噪声干扰问题。

本文依靠已经建立起来的包含3家不同层级医院的多中心临床队列，对模型进行系统的验证以及性能对标分析，从而确定模型的临床适用性。首先确定严格的数据集划分规则，把中心1的数据集按照7：3的比例随机分成训练集和内部测试集，把中心2和中心3的全部样本作为外部独立验证集，从而对模型的泛化能力进行全方位的评价。模型性能的评价主要依靠准确率、灵敏度、特异度和F1得分等主要指标，F1得分的计算过程如下所示：

$$F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}$$

除此之外，用计算受试者工作特征曲线下面积，也就是 $AUC$ 值来衡量模型的总体诊断效果。实验结果表明，本文所建立的多模态融合模型在内部测试集和外部验证集上都取得了很好的效果，各项关键指标都保持在较高的水平上，明显优于只用临床特征、影像学特征或者神经心理学特征建立起来的三种单模态诊断模型，而且也比传统的特征级融合模型要好。通过混淆矩阵和ROC曲线的对比可以看出，模型对于真阳性率和假阳性率的控制较好，注意力权重热力图也显示出模型在决策过程中对于关键脑区特征的关注，说明模型的特征提取是有效的。进一步的亚组分析显示，在不同的年龄段以及不同的脑卒中亚型人群中，该模型都具有稳定的诊断效果，并没有出现明显的性能波动，充分证明了该多模态融合模型对于脑卒中后认知障碍早期诊断具有很高的精度、很强的鲁棒性以及较好的临床应用价值。

本文利用建立的多模态融合脑卒中后认知障碍早期诊断模型，对它的临床辅助诊断可行性及优越性做了系统的验证。研究首先对脑卒中后认知障碍的临床定义进行了严格的界定，明确了它是脑卒中后常见的并发症，早期识别对患者的预后有决定性的作用。核心原理就是用深度学习算法把患者神经影像学数据（MRI结构像）、神经心理学量表评分和人口学基线数据融合起来。该种技术路径冲破了单模态数据在信息表达方面的限制，依靠互补信息的互动，明显加强了模型对于潜在认知损伤模式的捕捉能力。研究按照标准化的数据预处理流程，即图像配准、归一化、数据清洗，然后用卷积神经网络和注意力机制分别提取高维特征和关键权重，最后用分类器完成风险等级的自动判断。实际使用中可以发现，该模型准确率、敏感度、特异度都比传统的单一模态方法要好很多，可以较好地筛选出高危病人。该成果的临床价值在于，给临床医生提供了一个客观、量化、高效的辅助诊断工具，可以弥补传统诊断中主观经验的不足，改善医疗资源的分配状况，给个性化的康复治疗方案的制订赋予了有力的数据支撑，对于提升患者生活质量、削减社会医疗负担有着十分重要的意义。

\[1\]王鑫, 高原, 王彬. 多模态网络融合在轻度认知障碍分类中的应用[J]. 计算机应用, 2019, 39(12): 6.

\[2\]王鑫, 高原, 王彬. 多模态网络融合在轻度认知障碍分类中的应用[J]. 计算机应用, 2019, 39(12): 3703-3708.