动量余弦相似度梯度优化图卷积神经网络

分享到

【作者】闫建红，段运会
【刊名】计算机工程与应用
【作者单位】¹太原师范学院计算机科学与技术学院；²太原师范学院数学与统计学院
【ISSN】1002-8331
【关键词】梯度下降类算法余弦相似度图卷积神经网络遗憾界全局收敛性
【摘要】传统梯度下降算法仅对历史梯度进行指数加权累加，没有利用梯度的局部变化，造成优化过程越过全局最优解，即使收敛到最优解也会在最优解附近震荡，其训练图卷积神经网络会造成收敛速度慢、测试准确度低。本文利用相邻梯度的余弦相似度，动态调整学习率，提出余弦相似度梯度下降算法。为进一步提升图卷积神经网络训练的收敛速度和测试准确度，减少震荡，结合动量思想提出动量余弦相似度梯度下降算法。通过收敛性分析，证明SimGrad算法、NSimGrad算法都具有■的遗憾界。在构建的三个非凸函数进行测试，然后结合图卷积神经网络...
【文献类型】期刊