句子级时序卷积网络的多模态抑郁症识别方法

分享到

【获取途径】超星期刊网
【作者】王烽飞，卓广平，周金保，刘国强，张光华
【刊名】中北大学学报(自然科学版)
【作者单位】太原师范学院计算机科学与技术学院；太原学院智能与自动化系
【年份】2024
【卷号】第3期
【ISSN】1673-3193
【关键词】抑郁症时序卷积网络门控循环单元自注意力机制交叉注意力机制
【摘要】针对多模态抑郁症模型在特征提取时，语句间关联性较弱，不同模态间的特征融合较为随意，在中文数据集上模型的泛化能力缺乏验证等问题，本文通过分析与抑郁症相关的音频、文本和视觉特征，提出了基于改进TCN 模型的多模态抑郁症识别模型STCMN，并将该模型应用于临床抑郁症辅助诊断当中。该模型首先使用残差块、GRU 和Self-Attention 的融合模块来提取不同模态下的句子级特征，增强了上下文联系，然后使用TCN 模型来提取不同模态的全局特征，并使用Cross Attention 对不同模态的全局特征以...
【基金】山西省自然科学基金
【文献类型】期刊