Глоссарий ИИ
Полный словарь искусственного интеллекта
Потеря следа Многозадачного LASSO
Расширение регуляризации LASSO на многозадачный контекст, которое штрафует L2,1-норму матрицы весов, способствуя тем самым отбору общих для всех задач признаков.
Блочная L2,1-норма
Норма регуляризации, которая вычисляет L2-норму для каждой строки матрицы весов (признака), а затем L1-норму для всех полученных результатов, что поощряет разреженность на уровне разделяемых признаков.
Многозадачная регуляризация ядром
Подход, который расширяет методы на основе ядер на многозадачную структуру, определяя ковариационные ядра между задачами, что позволяет одновременно изучать параметры модели и межзадачные отношения.
Множитель задачи
Параметр регуляризации, который контролирует относительное влияние каждой задачи в цели многозадачного обучения, позволяя сбалансировать вклад различных задач в общую функцию потерь.
Многозадачная ортогональность
Ограничение регуляризации, которое заставляет представления, специфичные для каждой задачи, быть ортогональными друг другу, минимизируя тем самым негативные помехи, сохраняя при этом общие знания.
Многозадачный штраф за группировку
Техника регуляризации, которая группирует параметры модели в соответствии с их релевантностью для задач, применяя разные уровни штрафования для поощрения выборочного обмена представлениями.
Регуляризация сингулярным разложением
Метод, который применяет ограничение низкого ранга к матрице весов, разделяемой между задачами, через сингулярное разложение (SVD), снижая сложность модели и одновременно улавливая существенные межзадачные отношения.
Многозадачный Dropout
Вариант Dropout, адаптированный к многозадачному контексту, где нейроны деактивируются скоординированно по ветвям, специфичным для задач, сохраняя при этом важные разделяемые соединения.
Регуляризация с использованием многозадачного соперника
Подход, использующий adversarial-сеть для регуляризации общих представлений, обеспечивающий, что они содержат достаточно информации для всех задач без смещения в сторону какой-либо конкретной задачи.
Потеря Мангана
Многозадачная функция потерь, которая нелинейно комбинирует индивидуальные потери с использованием динамически изучаемых весов, автоматически регулируя важность каждой задачи во время обучения.
Многозадачная контрастная регуляризация
Техника, которая максимизирует сходство между представлениями одной задачи, одновременно минимизируя сходство между представлениями разных задач, тем самым регулируя общее признаковое пространство.
Штраф за слияние задач
Механизм регуляризации, который штрафует расхождение между параметрами специфичных для задач моделей, поощряя постепенное слияние знаний, когда задачи похожи.
Многозадачная регуляризация градиентов
Метод, который регуляризирует градиенты потерь между задачами для минимизации конфликтов, обеспечивая, чтобы обновление общих параметров одновременно приносило пользу всем рассматриваемым задачам.
Многозадачная потеря Хьюбера
Надежное расширение функции потерь Хьюбера на многозадачный контекст, которое адаптивно комбинирует квадратичные и абсолютные потери для каждой задачи, тем самым регулируя влияние выбросов.
Многозадачная регуляризация с вниманием
Техника, использующая механизмы внимания для регуляризации обмена представлениями между задачами, динамически обучая, какие характеристики специализировать или разделять в зависимости от контекста.
Штраф за многозадачную согласованность
Ограничение регуляризации, которое налагает согласованность в предсказаниях модели на похожих входах, но по-разному отмеченных в зависимости от задач, улучшая обобщение между задачами.
Регуляризация с помощью многозадачной дистилляции
Метод, который регуляризирует многозадачную модель, заставляя её имитировать выходы набора экспертных одноцелевых моделей, сохраняя при этом специализированные знания и пользуясь преимуществами совместного использования.