Vision Transformers

DeiT (Data-efficient Image Transformers)

Variante de Vision Transformer entraînée avec des stratégies de distillation de connaissances pour atteindre des performances compétitives avec moins de données d'entraînement. DeiT introduit un token de distillation supplémentaire qui apprend à partir des prédictions d'un enseignant CNN, réduisant ainsi l'écart de performance avec les approches basées sur des données massives.

← Terug