基于KAN的思维链驱动强化对齐用于游客评论的多模态情感分析
发布时间:2026-09-15 | 来源:Nature Scientific Reports | 作者:Teng Wang
多模态方面级情感分析融合文本、图像和表情符号以捕捉细粒度情感倾向,使其在社交媒体舆情分析和用户体验评估中尤为实用。然而,传统的特征级融合网络容易受到视觉噪声的干扰,且缺乏对其情感逻辑的显式解释。与此同时,生成式大语言模型虽具备逻辑推理能力,却容易产生幻觉。此外,其自回归生成的离散符号流在数学上不可微,使得将高精度判别网
多模态方面级情感分析融合文本、图像和表情符号以捕捉细粒度情感倾向,使其在社交媒体舆情分析和用户体验评估中尤为实用。然而,传统的特征级融合网络容易受到视觉噪声的干扰,且缺乏对其情感逻辑的显式解释。与此同时,生成式大语言模型虽具备逻辑推理能力,却容易产生幻觉。此外,其自回归生成的离散符号流在数学上不可微,使得将高精度判别网络与可解释生成网络相结合变得异常困难。为应对这些挑战,我们提出CoT-KRA,一种由思维链强化学习与多层Kolmogorov-Arnold网络(KAN)联合驱动的可解释旅游评论情感分析模型。我们的框架摒弃了传统的强制图文对齐方式,将大语言模型定位为先验推理生成器,并将最终决策交由下游分类器完成。具体而言,我们利用从开源DeepSeek-R1模型蒸馏出的文本构建监督微调数据集,以增强策略骨干网络Meta Llama 3 8B-Instruct的基础表达能力。该骨干网络解析方面感知的动态表情符号属性三元组,随后通过可学习的极性调制投影矩阵将其映射为高维连续特征向量。接着,我们构建基于条件层归一化的特征协同编码模块,以无损方式注入高阶先验知识。为处理视觉通道中的畸变噪声,我们设计了一种无导数视觉质量评估算子,实现自适应门控截断。我们还用KAN预测网络替代传统的多层感知机,利用其边缘可学习的1D样条曲线激活来实现高精度的非线性决策边界。在策略优化过程中,我们设计了组相对策略优化(GRPO)算法和多维复合奖励函数,将KAN网络的分类准确率作为优势信号反馈,以指导语言模型策略的LoRA更新。在双NVIDIA RTX 3090硬件配置上进行评估,CoT-KRA在Twitter-2015、Twitter-2017和SemEval-2017等社交媒体数据集,以及Yelp和TripAdvisor评论集合上均取得了先进的分类性能。
返回资讯频道