V8.0 版权所有© 2001-2026 渝B2-20050021-1
渝公网安备 50019002500403号违法和不良信息举报中心举报邮箱：jubao@cqvip.com
互联网出版许可证 新出网证(渝)字10号机构客服热线 023-67882612
- 非光滑凸情形Adam 型算法的最优个体收敛速率 认领 引用 被引量：6
- 1
- 《智能系统学报》 CSCD 北大核心 2020年第6期1140-1146,共7页
- Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得... 展开更多
- 关键词 机器学习 AdaGrad算法 RMSProp算法 动量方法 Adam算法 AMSGrad算法 个体收敛速率 稀疏性
- 自适应策略下Heavy-Ball型动量法的最优个体收敛速率 认领 引用 被引量：2
- 2
- 《模式识别与人工智能》 EI CSCD 北大核心 2021年第2期137-145,共9页
- 同时使用自适应步长和动量两种优化技巧的AMSGrad在收敛性分析方面存在比自适应步长算法增加一个对数因子的问题.为了解决该问题,文中在非光滑凸情形下,巧妙选取动量和步长参数,证明自适应策略下Heavy-Ball型动量法具有最优的个体收敛速... 展开更多
- 关键词 自适应步长算法 动量算法 AMSGrad 个体收敛速率
