Глубокая оптимизация

Shampoo

Оптимизатор второго порядка, который предобуславливает градиенты, используя блочные приближения матрицы Гессе, ускоряя сходимость для плохо обусловленных задач.

← Назад