Mecanismo de Atención

Incrustación Posicional ALiBi

Método de codificación posicional que aplica sesgos lineales decrecientes en función de la distancia, permitiendo una mejor extrapolación a longitudes de secuencia más largas.

← Volver