Мини-пакетный градиентный спуск

Шум градиента

Неизбежная вариативность оценок градиента, обусловленная стохастическим семплированием мини-батчей, которая может помочь выйти из локальных минимумов. Этот шум характеризуется дисперсией, обратно пропорциональной размеру батча, и уменьшается по мере сходимости.

← Назад