优化问题历史悠久，跨越多个学科，备受人们关注。梯度下降法和牛顿法是最经典的优化方法。近年来，优化方法主要集中在经典方法的改进。目前广泛使用的随机梯度法、动量法、自适应学习率法等都是梯度下降法的变体。由于奇异海塞阵或不定海塞阵可能导致数值不稳定问题，人们还提出了正则化牛顿法、拟牛顿法等。本文尝试突破经典优化算法的框架，提出新的优化算法。
查看原图 163K
优化问题历史悠久，跨越多个学科，备受人们关注。梯度下降法和牛顿法是最经典的优化方法。近年来，优化方法主要集中在经典方法的改进。目前广泛使用的随机梯度法、动量法、自适应学习率法等都是梯度下降法的变体。由于奇异海塞阵或不定海塞阵可能导致数值不稳定问题，人们还提出了正则化牛顿法、拟牛顿法等。本文尝试突破经典优化算法的框架，提出新的优化算法。