考虑函数 f(x,y)=x2−y2f(x, y) = x^2 - y^2f(x,y)=x2−y2,在 (0,0)(0, 0)(0,0) 处有鞍点。
在 x-方向上,函数像抛物线 f(x)=x2,即 f(x,0)≥0,表示函数在这个方向上存在最小值。
xx
$$ f(x) = x^2 ,f(x, 0) \geq 0 $$
在 y-方向上,函数像倒抛物线 f(y)=−y2,即 f(0,y)≤0,表示函数在这个方向上存在最大值。
$$ f(y) = -y^2,f(0, y) \leq 0 $$
在鞍点 (0,0) 处,梯度在所有方向上为零,但该点既不是局部最小值也不是局部最大值。沿不同方向的函数行为不同,导致梯度下降法容易停滞。