动量余弦相似度梯度优化图卷积神经网络

分享到

【获取途径】超星期刊网
【作者】闫建红，段运会
【刊名】计算机工程与应用
【作者单位】太原师范学院计算机科学与技术学院；太原师范学院数学与统计学院
【年份】2024
【卷号】第14期
【ISSN】1002-8331
【关键词】梯度下降类算法余弦相似度图卷积神经网络遗憾界全局收敛性
【摘要】传统梯度下降算法仅对历史梯度进行指数加权累加，没有利用梯度的局部变化，造成优化过程越过全局最优解，即使收敛到最优解也会在最优解附近震荡，其训练图卷积神经网络会造成收敛速度慢、测试准确度低。利用相邻两次梯度的余弦相似度，动态调整学习率，提出余弦相似度梯度下降算法。为进一步提升图卷积神经网络训练的收敛速度和测试准确度，减少震荡，结合动量思想提出动量余弦相似度梯度下降算法。通过收敛性分析，证明SimGrad算法、NSimGrad算法都具有O的遗憾界。在构建的三个非凸函数进行测试，并结合图卷积神经网络在...
【文献类型】期刊