第一章 引言
伴随着电子商务的快速发展，网络购物成了主要的消费方式，大量的在线评论数据也随之产生。多模态评论不只是用户文本评语，还常常会有商品图片、视频等，是消费者做出决策时的重要参照。电商多模态评论情感分类算法，就是用深度学习技术来对复合型的数据进行自动化的情感倾向分析的技术手段[1]。其主要原理就是建立融合模型，用文本卷积神经网络提取语义特征，用视觉网络提取图像特征，在特征层上将两者融合映射，从而实现对评论“正面”、“负面”或者“中性”的准确判断。实现路径上该技术主要是数据预处理、多模态特征提取、特征融合策略设计、分类器训练这四个步骤，最后得到情感分类结果。在实际使用中，对该算法进行改进对电商平台来说十分重要。一方面可以实时、大规模地了解用户的满意度以及产品的痛点，帮助商家准确地改善服务质量；另一方面可以给其他的消费者提供可视化的购买参考，有效地降低由于信息不对称所造成的决策风险。因此，对电商多模态评论情感分类算法进行深入研究，对提高电商平台智能化服务水平、促进商业生态良性发展有着十分重要的现实意义和应用价值。
第二章 电商多模态评论情感分类算法优化研究
2.1 电商多模态评论情感分类核心概念与现有算法短板分析
电商多模态评论是文本评论文本和商品图片或者视频复合的数据形式，多模态情感特征就是从不同的模态中提取出的反映用户态度的属性信息，跨模态语义对齐就是解决不同类型数据之间表达差异的问题，保证文本和图像内容在语义上一致的过程。电商场景比通用多模态任务更重视商品属性的关联，要处理具体的行话和视觉细节。目前主流的技术主要有单模态分类算法和常规多模态融合分类算法，前者一般只用文本进行情感极性判断，后者用简单的特征拼接或者注意力机制来结合图像和文本信息。但是现有的算法在实际使用中存在着明显的不足，第一，对于文本语义细粒度的识别能力差，不能准确地从复杂的口语化表达中找到评价的对象；第二，图文模态特征匹配错位，简单的特征融合不能很好地建立起“好评文本配差评图片”这样的虚假评论的逻辑联系；第三，歧义场景情感判断偏差，即文本描述不清楚的时候，算法不能合理地利用视觉辅助信息来纠正。这些缺陷造成处理真实电商评论的时候，模型经常会出现误判的情况，从而影响到分类的准确性以及商家对用户反馈的准确获取。
表1 电商多模态评论情感分类核心概念内涵与主流算法短板梳理
2.2 融合跨模态注意力机制的优化分类算法设计
2.2.1 文本模态语义特征细化提取模块构建
文本模态语义特征细化提取模块，是对现有的电商短文本处理算法中语义关联差、情感捕捉不准的问题进行解决的模块。根据电商评论领域的特点，本模块首先使用了基于大规模电商语料库预训练的BERT模型进行微调，用词性掩码注意力机制加强了商品属性词和情感极性词之间的绑定关系。就具体的实现而言，该机制对非情感核心词汇实施掩码操作，促使模型把注意力权重聚集到评价对象同情感词的组合上，进而有效地提取出细粒度的情感特征。接着模块就用三层结构来逐层拆解特征，字符层把输入的文本转变成768维的向量表示，获取字词的基本形态，词汇层依靠词性标注挑选出高权重的词汇，得到1024维的局部语义特征，语义层融合上下文信息，产生512维的全局深层语义向量。通过电商实评样例分析可知，本模块可以准确地找出续航虽然短但是充电快的不同属性的极性差别，这样的细粒度的情感信息捕捉能力，很好地体现了它所输出的文本特征具有很强的领域适应性以及实用性。
2.2.2 图文跨模态特征交互注意力权重分配机制搭建
为了克服常规多模态算法在特征交互的时候出现的权重分配无差别、无关图像噪声干扰的问题，建立图文跨模态特征交互注意力权重分配机制就显得十分重要。该机制把上一模块输出的细化文本语义特征同经ResNet50提取的电商商品晒图视觉特征当作双输入，借助维度映射来达成特征空间的初步对齐。在此基础上，引入跨模态注意力权重动态计算公式，用点积运算度量文本向量和图像特征图之间的相似度，再用Softmax归一化函数生成各个图像区域的注意力权重分布。其主要思想就是自动识别出和文本情感描述密切相关的图像区域，比如对于“颜色正”的正面评价，模型就会给商品主体区域赋予较高的权重，而对背景或者水印这些无效晒图噪声则会加以抑制。给不同的模态情感贡献度赋予不同的权重，可以有效地解决模态之间存在的语义鸿沟。根据正负情感评论的图文匹配样例分析可知，权重分配可视化结果表明，高权重焦点可以准确地聚焦到体现情感倾向的关键视觉细节上，从而证明了该机制在实现图文模态语义精准对齐方面是有效的，大大提高了情感分类的鲁棒性。
2.2.3 情感特征融合与最终分类输出层优化调整
电商评论情感分类算法中情感特征融合以及最终分类输出层的优化，都是提高模型性能的重要部分。首先用加权残差融合的方法将经过跨模态注意力机制精确分配权重后的文本特征和视觉特征进行深度拼接。该策略不但可以很好地整合不同的模态语义信息，而且还利用残差连接来解决深层网络训练中梯度消失的问题，保证原始特征信息的完整传递。接着把融合特征送入多层全连接网络做非线性变换，并用Dropout正则化操作，将丢弃率参数设为0.5，即随机失活部分神经元来过滤融合特征里的冗余噪声，防止模型过拟合。为了解决电商场景下正负样本分布不均的问题，在原有的Softmax输出层基础上，用加权Softmax结构代替，对不同的情感类别设置不同的损失权重，加大了少数样本类别的惩罚力度，使模型更加关注难分类的样本。最后根据计算出的概率值以及设定的判定阈值来确定输出正向、负向和中性三种情感分类结果。该套从特征融合到结果输出的运算规则，在减少信息冗余的同时，也大大提高了情感分类的准确性、鲁棒性。
2.3 优化算法的对比实验与性能验证
2.3.1 电商公开多模态评论数据集预处理
本次实验所用到的电商公开多模态评论数据集包含有丰富的用户评价信息，主要是由评论文本和用户晒图两部分组成，涉及到了电子产品、家居生活等高频电商品类。为了保证模型输入的质量，数据预处理过程要严格按照标准化的操作流程来执行。在文本侧首先要对电商评论的特殊性制定清洗规则，用正则表达式过滤掉无效乱码和特殊符号，保留有语义价值的表情符号，同时识别并规范网络热词。然后使用适合电商领域的分词工具进行切分，并加载专业领域的词典来提高分词的准确性，准确地获取用户的意图。由于晒图来源复杂、质量高低不一，所以要实行严格的操作标准。对图像进行尺寸归一化处理，使其符合网络输入的要求，用滤波算法去除背景噪声，设置白底图检测阈值，剔除亮度过高或者内容单一的无效图片，保留有明显视觉特征的样本。对于电商数据里存在的情感类别样本不平衡的情况，实验用了过采样和欠采样结合起来的方法来调节。利用SMOTE算法对少数情感类别进行过采样，随机剔除冗余的多数类样本，使各类别数据达到平衡。经过以上处理之后，得到标准化的训练集、验证集和测试集，样本数量分布均匀，情感类别占比合理，给后续的对比实验提供高质量、一致的数据基础。
2.3.2 与传统单模态、常规多模态分类算法的精度对比实验
为了全面检验本文提出的优化算法的有效性，本实验设计了一个严格的对比方案，用传统的单模态文本情感分类算法和常规的多模态分类算法作为基准。对照组为基于TF-IDF特征的SVM分类算法、纯BERT文本分类算法，这两种方法是传统和深度学习在文本处理上的一般水平；另外选取早期特征直接拼接融合的多模态分类算法、基于通用跨模态注意力的多模态分类算法，来考察不同的融合策略效果。所有的实验都在相同的硬件环境中进行，并且使用了经过预处理的数据集进行多次重复测试来保证结果的稳定性。实验数据用柱状图和数据表直观地表现出来，从量化的结果可以看出，优化算法在准确率、F1值等主要指标上比各个对照组要好得多。经过对传统单模态算法和常规多模态算法的分析可知，传统单模态算法不能很好地捕捉到图像中的情感特征，常规多模态算法在特征融合逻辑上比较粗放，容易造成信息的重复或者丢失。本优化算法通过加强特征提取能力以及改善多模态交互机制，从而达到更深层次的情感语义对齐，用客观的数据证明了它在常规电商评论场景下分类精度的明显优势。
2.3.3 复杂歧义场景下优化算法的鲁棒性测试
为了进一步检验算法在非理想环境下的实际使用情况，本环节专门针对电商场景中常见的复杂歧义情况创建了一个测试集，包含文本语义和图像情感表达完全相反的矛盾模态评论、只带有无关晒图的短文本评论、有多个语义歧义的网络热词类评论。鲁棒性测试时，把优化算法和常规对照组算法放在上述极端场景下，分别统计并比较它们在各个子测试集上分类正确率。实验结果表明，常规算法对于矛盾模态的处理常常因为单一特征的主导而导致误判，但是本优化算法由于采用了跨模态注意力机制，可以很好地捕捉到不同模态之间的细粒度联系，有效地抑制了无关噪声的干扰，从逻辑上讲具有明显的优势。对极端复杂的场景下分类性能波动幅度进行监测，发现优化算法并没有因为输入数据的复杂而出现大幅度的准确率下降，而是保持了比较平稳的分类表现。该结果很好地证明了该算法对于复杂的歧义干扰具有很强的鲁棒性，可以满足电商评论分析中对高准确性、高稳定性的要求。
2.4 优化算法在电商评论分析场景中的落地应用路径
优化算法在电商评论分析场景中落地应用，就是把实验室环境下模型技术变成稳定的、高效的商用工具，从而提高平台的运营效率和决策质量。根据电商平台海量数据并发写入的特点，应该使用容器化技术来创建多模态评论情感实时流式处理架构。利用消息队列对文本和图像模态的数据流进行缓冲和解耦，结合GPU算力集群的动态弹性伸缩策略，可以很好地应对促销大促期间流量波峰的情况，保证算法服务高可用、低延迟地响应。
就具体的业务功能实现而言，算法在商家侧主要是做商品差评预警和用户反馈聚合的工作。系统对评论的情感极性进行实时监测，一旦发现负面情感强度大于设定的阈值，就立即发出预警信息，提醒商家及时介入售后处理；同时把分散的评论内容按照情感维度进行聚合，提炼出产品的痛点。平台侧算法主要是用来做舆情风险的前置控制以及虚假好评的识别。通过对多模态特征逻辑一致性的分析，准确找到异常情感表达模式，进而剔除刷单炒信的行为，保证市场的诚信，也能提前发现公关危机。对消费者端来说，系统会把同品类商品真实的情感倾向以聚合的方式展现出来，把复杂的评论数据转化成直观的情感分布图谱，从而帮助用户做出正确的购买决定。另外，在落地的时候还要遵照用户隐私数据合规的要求，对敏感的信息加以脱敏，并且要不断推进算力成本的改善，从而保证方案在商业上能够持续发展。
第三章 结论
本文对电商多模态评论情感分类算法优化研究进行了总结，目的是检验所提模型提高电商评价分析准确率的效果。利用卷积神经网络（CNN）和长短期记忆网络（LSTM）或者Transformer结构，从评论图片的视觉特征和评论文本的语义信息两个方面入手，实现了模态间信息的相互补充。实验结果表明，该优化算法对于包含多种模态信息的复杂评论来说，比单一模态分析方法要好得多，可以很好地解决传统方法对于反讽或者图文不匹配的情况的不足之处，情感分类的准确率和鲁棒性都有所提高。从实际应用的角度来说，该算法可以使得电商平台自动识别出用户的感情倾向，帮助商家准确地了解消费者的需求，从而及时对产品和服务做出改进，提高用户的满意度以及经营效益。本文所提出的特征融合方法给之后电商领域多模态计算的应用提供了一条标准化的技术路线，有重大的实践意义。
参考文献
\[1\]张佳惠. 基于深度学习的多模态情感分类算法研究[D]. 河北经贸大学, 2024.