Atenção Esparsa

Performers

Modelos que utilizam a atenção FAVOR+ (FAst Attention Via Positive Orthogonal Random Features) para aproximar a atenção softmax com complexidade linear, preservando as propriedades matemáticas.

← Voltar