R-线性收敛的重要样本抽样随机梯度下降算法

分享到

【获取途径】超星期刊网
【作者】王福胜，甄娜，李晓桐
【刊名】工程数学学报
【作者单位】太原师范学院数学与统计学院
【年份】2023
【卷号】第40卷
【期号】第5期
【页码】833-842
【ISSN】1005-3085
【关键词】机器学习随机梯度下降重要样本抽样线性收敛 BB步长
【摘要】针对机器学习中一类有限光滑凸函数和的最小化问题，提出一种新的随机方差约简梯度下降算法。新算法的特点是将随机方差约简梯度算法和一种谱梯度BB步长方法有机结合，从而可以充分发挥两种方法的优势。另外，初始步长可以任意选取，且步长在算法运行中可以自适应地计算更新。此外，新算法使用了重要样本抽样方法，可以大大减少计算工作量。最后，在通常的假设条件下证明了新算法具有R-线性收敛速度，并给出了复杂度分析。数值实验验证了新算法是可行有效的。
【文献类型】期刊