音乐情感识别的多模态融合模型优化研究

伴随着数字音乐产业的迅速发展，音频数据量呈爆炸式增长，怎样从大量的音乐中自动提取并理解情感信息，已经成为音乐信息检索领域的重要研究课题。音乐情感识别就是用计算机技术来分析音乐信号，自动判断出音乐所表达的情感类别，本质就是模仿人对音乐的主观感受过程。技术实现过程一般包括数据预处理、特征提取和分类器训练这三个主要环节。具体来说，首先要对音频进行分帧、加窗处理，然后提取出频谱质心、色度、梅尔频率倒谱系数等声学特征，这些特征就是描述音乐情感属性的数学基础；接着，用分类模型建立特征空间和情感标签之间的映射关系，从而达到对音乐情感的有效识别。在实际使用中，提高该技术的识别精度有很高的价值，它可以明显改善音乐推荐系统个性化服务的水平，也可以帮助作曲家进行创作分析，还可以给音乐治疗提供客观的数据支撑[1]。目前，虽然单一模态的音频分析已经取得了一些进展，但是由于音乐情感的复杂性和抽象性，单纯依靠声学特征很难达到理想的识别效果，因此，寻找更加准确、高效的模型优化方案就显得十分迫切和必要。

在进行音乐情感识别多模态融合模型优化研究之前，首先要完成高质量基准数据集和特征体系的建立工作。现有的公开数据集虽然在某些领域中得到了应用，但是样本分布的均衡性、情感标注的精细度以及音频和歌词模态的完整性方面存在着不足，不能满足本研究对于多模态深度融合实验的要求，因此自行构建适合的专属数据集是十分必要的。数据集的创建过程包含音乐样本的标准化采集，挑选出有代表性的音频片段并统一时长，再做细致的情感标注。本文使用Valence-Arousal二维情感模型和离散情感标签相结合的方式进行双重标注，聘请有专业背景的人进行标注，用严格的信度检验来保证数据的一致性。在此基础上，分别搭建音频与文本模态的特征提取体系：音频模态主要计算梅尔频谱图，明确设置帧长、帧移及梅尔滤波器组数量等核心参数以捕捉时频细节；歌词模态则利用预训练语言模型提取高维语义向量，规定具体的提取步长、向量维度以及针对变长歌词的时序截断与补全规则。最后确定数据集的训练、验证、测试划分比例，对所有的提取出的特征进行归一化处理，给后面模型优化实验提供标准、可复现的数据基础和特征支持。

音乐情感识别的多模态融合中，音频梅尔频谱图和歌词语义向量之间存在着天然的时序粒度差别，这是造成跨模态特征错位的主要技术难题。梅尔频谱图一般用百毫秒级的细粒度切片来对音频信号进行采样，可以捕捉到微小的声学变化，歌词语义向量大多用整句或者单词为单位进行编码，属于粗粒度时序表征。由于粒度不匹配造成情感语义信息的损失，所以设计基于音乐乐句韵律特征的时序匹配机制十分重要。该机制先用歌词对齐技术或者VAD（语音活动检测）来确定音符切分边界，然后以这个边界为基准，对歌词语义向量做时序插值，把歌词语义向量拉伸到和音频帧一样的时间分辨率上；同时，对音频梅尔频谱图，根据乐句的起止时间对高频时序帧做边界聚类，得到有音乐语义意义的帧级聚合特征。双向匹配流程很好地实现了细粒度声学特征和粗粒度语义特征的精确对应。从实现角度出发，用时序匹配算法伪代码规范计算逻辑，用时序对齐误差率做为主要的量化评价指标来对匹配精度进行严格的计算。可视化对比结果表明，经过优化之后的模型在匹配前后两种模态的时序重合度明显提高，该机制从底层很好地解决了跨模态数据非同步性造成的信息丢失问题，为后面情感特征融合打下了良好的基础。

在完成多模态特征的时序对齐之后，原来的跨模态注意力模块存在着参数量过多、推理时间长的问题，不能满足模型在实际应用中快速部署的要求。因此设计出一种情感权重先验机制来实现参数的轻量化调整。首先利用预标注的音乐情感关键词字典，得到各个模态特征对应的情感重要性权重掩码，然后用它来指导跨模态注意力全连接层的结构化剪枝。剪枝时用梯度方差和权重绝对值相结合的方式来确定阈值，把情感表达作用不大的非核心连接去掉，只留下指向重要情感语义特征的参数。然后利用低秩分解技术把注意力模块内部的交互矩阵降维，用两个低维矩阵相乘的方式来减少模型的计算量。实验对比测算结果表明，经过轻量化调整之后，注意力模块的参数量减少了大约38%，单样本推理时间减少了大约40%，但是情感识别精度只出现了微小的变化。结果表明，采用剪枝和低秩分解相结合的方法可以达到模型性能和部署效率的平衡，在低算力环境中是一种可行的技术途径。

为了保证实验结果的科学性、可重复性，本文先建立了一个标准的测试环境。所有的对照实验都在性能好的GPU硬件上进行，使用相同深度学习框架和依赖库版本。模型训练时严格设置了超参数，即初始学习率、批次大小和最大迭代轮次，采用早停法防止出现过拟合现象，在相同的条件下对各个模型进行性能测试。在此基础上，本文选择音频单模态模型、文本歌词单模态模型和传统的早期融合多模态模型作为对照组，同优化后的完整模型做横向比较。评价维度包含分类准确率、F1值、Valence-Arousal二维情感误差、模型参数量和单样本推理耗时这五个主要指标，用量化的数据表格来直观地表现各个模型在识别精度和计算效率方面存在的差别，再借助柱状图和折线图来可视化性能的波动情况。另外为了检验优化设计的效果，设计了消融实验，分别测出时序匹配机制和轻量化注意力模块对模型性能的影响程度。最终，用显著性检验分析可知，优化后的模型在提高情感识别精度的同时，也有效地减小了参数规模和推理延迟，证明了它在实际应用部署中具有更好的性能。

本文通过对音乐情感识别中多模态融合模型进行系统的优化，证明了深度学习技术对于复杂的音频数据是有效的[3]。研究结果表明，用音频特征和歌词文本特征相结合的方式可以有效地克服单一模态在情感表达捕捉上的不足。在模型建立的过程中，用标准化的数据预处理流程，即频谱特征提取和文本向量化操作，保证输入的数据是规范的、一致的，为后面特征融合打下了良好的基础。核心实验证明，用注意力机制的加权融合方法可以很好地集中模型对关键情感信息的关注，有效地减少背景噪音和冗余信息的影响，进而提高情感分类的准确率和鲁棒性。该种优化途径不但从理论上解决了多模态数据异构性造成的匹配问题，在实际使用中也有着广阔的应用前景。不管是个性化的服务，还是辅助心理治疗的情感监测，该优化模型都可以给出更加准确的情感分析结果，有较好的应用价值。综上所述，本文提出的多模态融合优化方案，可以为高精度的音乐情感计算提供可行的技术途径，也可以给相关的工程化实践提供重要的参考。

\[1\]韩东红, 孔彦茹, 展艺萌. 音乐多模态数据情感识别方法的研究[J]. 东北大学学报（自然科学版）, 2024, 45(6): 776-785+792.

\[2\]尹岚清. 基于深度学习的多模态音乐情感识别的研究[D]. 东华大学, 2023.

\[3\]张晨光. 基于多模态特征融合的音乐情感识别及其应用研究[D]. 东华大学, 2022.