期刊文献+
任意字段
题名或关键词
题名
关键词
摘要
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到3篇文章
< 1 >
每页显示 20 50 100
已选0条
引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于自适应动量的SGDM在机器学习中的应用 认领 引用
1
作者 王贝宁 杨建奎 《工程数学学报》 北大核心 2026年第3期564-578,共15页
随机梯度下降动量法(Stochastic Gradient Descent with Momentum,SGDM)是一种广泛应用于求解机器学习问题的优化方法。该算法通过累积历史梯度来加速训练,但由于噪声的累积可能引发超调现象。基于非线性共轭梯度参数提出了一种自适应... 随机梯度下降动量法(Stochastic Gradient Descent with Momentum,SGDM)是一种广泛应用于求解机器学习问题的优化方法。该算法通过累积历史梯度来加速训练,但由于噪声的累积可能引发超调现象。基于非线性共轭梯度参数提出了一种自适应动量的SGDM算法—PRPSGDM,该算法通过自适应调整动量系数,合理控制高噪声梯度在加速下降过程中的影响。此外,还对该算法进行了偏差分析和非凸随机优化问题下的收敛性分析。数值实验验证了算法在求解非凸支持向量机问题下的有效性。 展开更多
关键词 机器学习 SGDM算法 自适应动量 共轭梯度算法 收敛性
暂未订购 下载PDF
基于差分修正的SGDM算法 认领 引用 被引量：2
2
作者 袁炜 胡飞 《计算机系统应用》 2021年第7期220-224,共5页
当前,应用广泛的一阶深度学习优化器包括学习率非自适应优化器和学习率自适应优化器,前者以SGDM为代表,后者以Adam为代表,这两类方法都使用指数滑动平均法来估计总体的梯度.然而使用指数滑动平均法来估计总体梯度是有偏差且具有滞后性的... 当前,应用广泛的一阶深度学习优化器包括学习率非自适应优化器和学习率自适应优化器,前者以SGDM为代表,后者以Adam为代表,这两类方法都使用指数滑动平均法来估计总体的梯度.然而使用指数滑动平均法来估计总体梯度是有偏差且具有滞后性的,本文提出基于差分修正的SGDM算法——RSGDM算法.我们的贡献主要有3点:1)分析SGDM算法里指数滑动平均法带来的偏差和滞后性.2)使用差分估计项来修正SGDM算法里的偏差和滞后性,提出RSGDM算法.3)在CIFAR-10和CIFAR-100数据集上实验证明了在收敛精度上我们的RSGDM算法比SGDM算法更优. 展开更多
关键词 深度学习 一阶优化器 SGDM算法 差分
暂未订购 下载PDF
DBAdam:一种具有动态边界的自适应梯度下降算法 认领 引用
3
作者 张帅 刘曜齐 姜志侠 《长春理工大学学报（自然科学版）》 2024年第5期105-111,共7页
在神经网络中,梯度下降算法是优化网络权值阈值参数的核心部分,它在很大程度上影响着神经网络的性能。对于许多自适应算法,如AdaGrad、RMPprop、Adam等,虽然在训练前期收敛速度快,但它们的泛化性通常不如SGDM算法。为结合自适应算法和S... 在神经网络中,梯度下降算法是优化网络权值阈值参数的核心部分,它在很大程度上影响着神经网络的性能。对于许多自适应算法,如AdaGrad、RMPprop、Adam等,虽然在训练前期收敛速度快,但它们的泛化性通常不如SGDM算法。为结合自适应算法和SGDM算法各自的优点,提出了DBAdam算法。通过利用梯度和学习率信息,构造了基于自适应学习率的动态上界函数和下界函数,将学习率约束在一个可控的范围内。这样使算法能够更好地适应不同参数的梯度变化,从而加快收敛速度。基于多种深度神经网络模型在三个基准数据集上对DBAdam算法进行实验,结果表明该算法的收敛性能较好。 展开更多
关键词 神经网络 自适应算法 SGDM算法 收敛性
暂未订购 下载PDF
已选0条
引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
在线咨询 使用帮助 返回顶部 意见反馈