Adaptive Learning Rate Methods

AdaDelta

Extension d'AdaGrad qui résout le problème de la décroissance monotone du taux d'apprentissage en utilisant une fenêtre glissante de gradients passés plutôt que la somme cumulée.

← Retour