全批量梯度下降与小批量梯度下降

1. 全批量梯度下降:

   • 在全批量梯度下降中，您会使用整个训练集来计算梯度。这样计算得到的梯度本身就代表了损失函数相对于参数的平均变化。
   • 因此，您在计算梯度时，直接使用整个数据集的损失来计算梯度，而不是从小批量中计算。

   # 全批量梯度下降示例
   for epoch in range(num_epochs):
       l = loss(net(features, w, b), labels)  # 使用全数据集计算损失
       l.backward()  # 计算梯度
       sgd([w, b], lr, 1)  # 更新参数，batch_size 设为 1（不使用）
   
   

   在这种情况下，梯度计算（backward）的结果已经是全数据集的平均值，因此在参数更新时不需要再除以批量大小。

2. 小批量梯度下降:

   • 在小批量梯度下降中，您是从数据集中随机抽取一部分样本来计算梯度。这里需要除以批量大小的原因是：您计算的是小批量的损失和梯度。
   • 在更新参数时，您希望使用平均梯度以确保参数更新的步长与批量大小无关。

   # 小批量梯度下降示例
   for epoch in range(num_epochs):
       for X, y in data_iter(batch_size, features, labels):  # 小批量
           l = loss(net(X, w, b), y)  # 计算小批量损失
           l.sum().backward()  # 计算梯度
           sgd([w, b], lr, batch_size)  # 更新参数
   
   

总结

• 全批量梯度下降：不需要在参数更新时除以批量大小，因为使用整个数据集计算的梯度已经是平均梯度。
• 小批量梯度下降：需要在参数更新时除以批量大小，以确保步长稳定，并反映出小批量的平均影响。

因此，在不同的梯度下降方法中，是否需要除以批量大小取决于您所采用的方法。如果使用全批量，您直接计算整体数据的平均梯度；如果使用小批量，则需要处理和标准化每个小批量的影响。