1.梯度下降是什么意思？ ①方向： 每步的方向是当前坐标点对应的梯度向量的反方向，每步的距离就是步长当前坐标 点所对应的梯度向量的大小（也就是梯度向量的模长） ②距离： 梯度向量指的是目标函数关于模型参数的偏导数向量。 梯度是一个向量，其中每个分量对应于目标函数在相应参数上的偏导数。 梯度向量的方向指向了函数在当前参数取值处的最大上升方向，也就是函数变化最快的方向。

1.梯度下降在什么情况运用？ ①在深度学习中，构建模型时，需要寻求全局最优解时运用。 ②但是由于梯度下降在出现鞍点的情况无法进行迭代，寻求最优解，故引入随机梯度。 ③随机梯度指的是在N个样本中随机挑选一个进行梯度下降计算。 ④在神经网络的过程中，需要考虑到性能和时间，因为梯度下降的性能低，但时间耗费页低，此时的随机梯度呈现相反的状态， 为了更好的综合二者的优缺点，引入batch批量随机梯度下降算法。 ⑤需要注意的是，梯度下降的f(x)与f(x+1)不存在依赖关系，而随机梯度下降g(x)与g(x+1)是存在依赖关系的. 2.随机梯度如何迭代权重(w)？ ①在一般情况的时候，进行前向反馈，一步一步...