Методы снижения дисперсии

Gradient snapshot

Полное вычисление градиента, периодически сохраняемое в алгоритмах уменьшения дисперсии, таких как SVRG. Снимок служит эталоном для корректировки оценок стохастического градиента между полными обновлениями.

← Назад