基于卷积网络的Adam算法的改进

分享到

【获取途径】超星期刊网
【作者】董文静，赵月爱
【刊名】太原师范学院学报(自然科学版)
【作者单位】太原师范学院数学与统计学院
【年份】2023
【卷号】第22卷
【期号】第3期
【页码】5-12
【ISSN】1672-2027
【关键词】激活函数 Adam算法指数加权平均收敛性分析
【摘要】 Adam算法作为卷积神经网络常用的优化算法，虽具备收敛快的优点，但该算法往往在网络训练后期存在极端学习率，甚至存在不收敛现象.为此提出了Yadamod算法，在Adam算法的二阶动量项中加入激活函数，并采用对学习率进行指数加权平均和增加动态边界的方法，解决了极端学习率问题.使用随机一阶复杂度框架对Yadamod算法在随机非凸情况下进行了收敛性分析.基于ResNet-34和ResNet-50卷积神经网络分别在CIFAR-10数据集和CIFAR-100数据集上验证Yadamod算法中的有效性，实验结果...
【基金】国家社会科学基金
【文献类型】期刊