多模态融合的敬业度评价机制研究

伴随着数字化办公模式的普及，远程协作、混合式用工成为企业的常态，传统的只依靠单一的问卷调查或者静态的绩效数据来评价敬业度的方式已经不能适应新的情况。由于缺少对工作场景的实时感知，传统的单模态评价很难反映员工真实的心理状态，造成结果有较大的偏差，不能满足现代企业精细化管理的要求。因此，对多模态融合的敬业度评价机制进行研究，对客观反映员工的工作状况、提高人岗匹配的准确性有着十分重要的现实意义和应用价值。目前国内外学界虽然在敬业度理论模型的建立上已经取得了丰硕的成果[1]，但是对于多模态数据的量化融合以及动态评价的研究还处在起步阶段，缺少系统的技术实现途径。本文主要弥补了以往研究中缺少的多源数据融合的敬业度评价体系，主要原理就是通过收集生理信号、行为交互、文本反馈等各方面的信息，用算法模型来达到数据特征的互补。论文整体上按照理论建构、模型设计、实证分析的逻辑框架展开，对数据预处理到融合评价的全过程进行了详细的说明。本研究的创新之处在于冲破了单个角度的限制，达成敬业度评价的客观化和动态化，给后面章节的深入探究打下了良好的根基。

敬业度在组织行为学研究中一般被定义为员工对于工作角色的认知、情感和行为投入程度，主要用来衡量个体把自我精力投入到工作任务中的状态。本文把敬业度评价范围确定为主观自评模态和行为生理模态。主观自评模态主要是利用心理量表来获得员工内心的感受原始数据，行为生理模态包括面部表情、体态姿态等外显行为特征和心率变异、皮电反应等内生生理指标，两者一起构成了客观反映员工真实敬业状态的量化维度。但是传统的单一模态评价方法在实践中存在着明显的不足。首先，主观自评模式很容易受到社会赞许性效应的影响，员工为了达到考核的目的会故意表现出一些不真实的行为，从而造成自评结果不能真实地反映出自己的内心世界。其次，线下人工行为观测方式耗时费力，覆盖范围小，不能对长时间连续工作的场景进行瞬间状态的捕捉，并且存在着明显的观察者主观误差。另外，传统的生理感知设备一般都要佩戴很多传感器，这样就会对员工的工作造成干扰，同时也会引起员工的心理不适，从而产生霍桑效应，使得到的数据失真。由此可见，单一维度的评价方式已经不能满足现代企业精细化管理的要求了，必须建立一个多模态融合的评价体系来对敬业度进行准确的描述。

主观自评模态属于评价机制的基本数据源，它的维度创建要依照传统敬业度量表的科学架构来开展场景化改良。根据心理学测量规范选择核心题项，剔除容易引起受访者反感的敏感性问题，将其变成适合线上异步填写和表情反馈同步收集的轻量化自评题组，从而减少社会期许效应偏差，提高数据采集的便利性。在此基础上，利用自然语言处理技术设计出情感语义特征提取规则，该规则主要是依靠情感词典匹配和深度学习模型，对自评文本进行情感极性识别以及语义关键词精准匹配，来量化表达员工的敬业状态。同时系统把作答时长当作重要的校验指标，创建起作答时长同文本语义复杂度之间的联系模型，设定具体的异常阈值标准。经过以上规则可以过滤掉由于随意勾选造成的无效作答，也可以发现伪装的自评数据，保证主观模态数据的真实性、有效性，给后面多模态融合分析提供可靠的质量依据。

非接触式应用场合下，行为生理模态的维度匹配是保证评价机制有效的前提。首先要确定可以采集的行为维度具体范围，主要包括人脸微表情、头部姿态、键鼠操作行为和眼部注视轨迹等外显特征，生理维度包括无接触式心率波动、皮肤微动变化和呼吸频率特征等内隐指标。这些指标是用计算机视觉和传感器技术得到的，是敬业度评价的基本数据层。其次，确定科学的筛选标准是提高模型准确性、效率的重要环节。该过程要结合三个主要方面来严格控制，第一是计算特征同敬业度评价维度的皮尔逊相关系数，设定阈值来保留高相关性的指标，第二是评价特征采集过程中环境干扰的程度，剔除容易受到光照、遮挡或者背景噪声影响的无效特征，第三是考虑特征计算的实时性需求，优先选择计算复杂度低、响应速度快的特征。经过三个维度的综合评价和分级筛选之后，可以有效地去掉冗余信息，最后得到一个精简高效的行为生理模态特征集。该特征集不但大大提高了后面多模态融合模型的运算速度，而且给输入数据的可靠性以及评价结果的准确性打下了基础。

多模态融合的敬业度动态评价模型搭建，就是将各种异构数据源结合起来，从而达到对员工敬业状态准确捕捉、及时评价的目的。本文是在前面多模态特征集的基础上，提出了一种特征层融合和决策层融合相结合的双层融合结构。该架构把主观自评语义特征同客观的行为生理感知特征做归一化映射，消除掉各个模态数据的量纲和尺度差别之后，再送入多注意力机制模型。利用该机制来自动学习各个模态特征在不同情境下所具有的重要性，从而达到动态权重分配的目的，进而保证模型可以很好地捕捉到敬业度的细微变化。为了检验模型的科学性、实用性，本文用公开敬业度数据集和线下企业实地采集的员工多模态数据来建立验证数据集。效果检验环节主要是从评价准确率、动态响应延迟和伪装数据识别率这三个主要指标方面来对模型进行综合测评。将本研究建立起来的多模态评价模型同传统的单模态评价方法展开对比分析，结果显示，该模型不但可以明显改善评价的准确性和及时性，而且能够有效地削减由于伪装敬业行为而产生的误判风险，很好地证明了所构建的多模态融合敬业度评价机制在实际的人力资源管理中具有怎样的应用价值。

本文主要针对多模态融合的敬业度评价机制进行研究，完成了从理论框架的建立到模型的验证全部工作。研究先给出了一个包含面部表情、语音语调、肢体动作的多模态特征体系，并且给出了数据采集、预处理、特征融合的标准化操作流程，从而可以对员工敬业度进行动态的监测[3]。从核心结论可以看出，用基于深度学习的特征融合算法可以很好地捕捉到单一模态无法发现的隐性情感信息，从而大大提高评价结果的准确性以及鲁棒性。相比传统的依靠问卷调查的方式，本文所提出的多模态评价方法在数据客观性、实时反馈、抗干扰等各方面都有了质的飞跃，很好地解决了由于人为填写造成的滞后性以及主观偏差的问题，给企业的管理者提供更加科学的决策依据。就实践应用而言，可以使得企业对员工的心理状况有即时的了解，进而改变管理方式以提高组织效率。但是本研究还存在一些不足，样本数据的覆盖面还比较小，对于嘈杂的办公环境或者复杂的光照条件下多目标特征干扰的情况，系统还没有很好的处理办法。未来的研究会继续扩大样本的种类，寻找更加有效的抗干扰算法，并且会把更多的生理模态数据加入进来，从而创建起更加完备、适用范围更广的敬业度评价体系，促使相关领域的研究不断深入。

\[1\]张剑, 李精精, 郭思彤. 员工敬业度评价的理论演进与维度重构:基于组织行为学视角[J]. 心理科学进展, 2020, 28(7): 1121-1130.

\[2\]王宏, 刘清堂, 吴林静. 基于面部表情与语音特征多模态融合的课堂学习者敬业度识别方法[J]. 中国电化教育, 2022, 41(3): 36-44.

\[3\]陈默, 刘德鹏. 多模态行为数据驱动的企业一线员工敬业度动态评价体系构建与实证检验[J]. 管理工程学报, 2023, 37(5): 123-132.