JavaScript
学习率 标签描述

学习率是机器学习算法中的一个重要超参数,它控制了参数更新的步长。学习率设置得太大或太小都可能对训练过程产生负面影响。 1、学习率设置太大的影响 (1)不稳定的训练过程(震荡) 在机器学习中,震荡是指模型参数在训练过程中在最优解附近来回波动或摆动的行为。当学习率设置过大时,模型的参数更新步幅变大,可能导致模型在最优解附近来回振荡,无法稳定地收敛到最优解。 (2)错过最优解 学习率过大可能导致跳过局部最优解或全局最优解,使得模型无法取得最佳性能。 2、学习率设置太小的影响 (1)收敛速度慢 学习率过小可能导致参数更新步幅太小,使得模型收敛速度变慢,需要更多的迭代次数才能达到较好的性能。 (2)陷...