句子级时序卷积网络的多模态抑郁症识别方法

分享到

【作者】王烽飞，卓广平，周金保，刘国强，张光华
【刊名】中北大学学报(自然科学版)
【作者单位】¹太原师范学院计算机科学与技术学院；²太原学院智能与自动化系
【年份】2024
【卷号】第3期
【页码】274-285
【ISSN】1673-3193
【关键词】抑郁症时序卷积网络门控循环单元自注意力机制交叉注意力机制
【摘要】针对多模态抑郁症模型在特征提取时，语句间关联性较弱，不同模态间的特征融合较为随意，在中文数据集上模型的泛化能力缺乏验证等问题，本文通过分析与抑郁症相关的音频、文本和视觉特征，提出了基于改进TCN模型的多模态抑郁症识别模型STCMN，并将该模型应用于临床抑郁症辅助诊断当中。该模型首先使用残差块、 GRU和Self-Attention的融合模块来提取不同模态下的句子级特征，增强了上下文联系，然后使用TCN模型来提取不同模态的全局特征，并使用Cross Attention对不同模态的全局特征以多模态融...
【基金】山西省自然科学基金
【文献类型】期刊