Стохастические методы второго порядка

Оптимизатор Shampoo

Оптимизатор второго порядка, который предобуславливает градиенты, используя аппроксимации матриц Кронекера для тензоров весов, адаптируясь к структуре параметров модели.

← Назад