Квантование и оптимизация

Адаптация низкого ранга (LoRA)

Эффективный метод адаптации, который замораживает веса предварительно обученной модели и внедряет небольшие разложимые матрицы низкого ранга, что резко снижает количество обучаемых параметентов для тонкой настройки при сохранении производительности.

← Назад