Глоссарий ИИ
Полный словарь искусственного интеллекта
Оркестрация ML-пайплайнов
Координация и автоматизация последовательности взаимосвязанных шагов в рабочем процессе машинного обучения, от приёма данных до развёртывания модели, обеспечивая выполнение, мониторинг и управление зависимостями.
Ориентированный ациклический граф (DAG)
Структура ориентированного графа без циклов, используемая для представления зависимостей между задачами пайплайна, где каждый узел является задачей, а рёбра определяют порядок выполнения, гарантируя отсутствие бесконечных циклов.
Менеджер рабочих процессов
Система или программный инструмент, ответственный за планирование, выполнение, мониторинг и восстановление после ошибок сложных рабочих процессов, часто основанный на DAG для оркестрации распределённых задач.
Планирование задач
Механизм, определяющий, когда и как отдельные задачи пайплайна выполняются в зависимости от их зависимостей, доступности ресурсов и предопределённых триггеров (время, события).
Управление зависимостями пайплайна
Явное управление отношениями предшествования между шагами пайплайна, обеспечивая выполнение задачи только после успешного завершения всех её родительских задач.
Идемпотентность
Свойство задачи или операции пайплайна, гарантирующее, что её многократное выполнение с одинаковыми входными данными производит то же конечное состояние, что необходимо для восстановления после ошибок и надёжности.
Кэширование пайплайна
Техника хранения результатов выполнения задач или промежуточных шагов пайплайна для избежания их ненужного повторного выполнения при последующих запусках, ускоряя таким образом итерации.
Параметризация пайплайна
Практика разработки пайплайнов с настраиваемыми внешними переменными, позволяющая запускать выполнения с различными гиперпараметрами, наборами данных или конфигурациями без изменения кода пайплайна.
Версионирование конвейера
Отслеживание и управление различными итерациями и конфигурациями конвейера с течением времени, часто через систему контроля версий, для обеспечения воспроизводимости и прослеживаемости экспериментов.
Выделение ресурсов
Динамическое распределение вычислительных ресурсов (CPU, GPU, память), необходимых для выполнения каждой задачи конвейера, оптимизируя использование и стоимость инфраструктуры.
Цепочка конвейеров
Продвинутая техника оркестрации, где выход одного полного конвейера служит входом для другого конвейера, позволяя создавать еще более сложные и модульные рабочие процессы сквозной обработки.
Условное выполнение
Логика оркестрации, которая активирует или деактивирует выполнение определенных ветвей или задач конвейера в зависимости от результата предыдущих шагов или внешних условий.
Мониторинг конвейера
Непрерывное наблюдение за статусом выполнения, производительностью и ошибками работающих конвейеров через дашборды, оповещения и логи для обеспечения их корректной работы.
Рабочий процесс как код
Парадигма, где определения конвейеров и их логики оркестрации объявляются и управляются как исходный код (например, в Python или YAML), способствующая подходу инфраструктура как код и совместной работе.
Повторный запуск конвейера
Возможность оркестратора выборочно перезапускать часть или весь конвейер, будь то для исправления ошибки, тестирования изменений или обновления данных.
Мониторинг соглашений об уровне обслуживания (SLA)
Отслеживание производительности конвейера по отношению к заранее определенным целям (например, максимальное время выполнения, коэффициент успешности), с оповещениями в случае несоблюдения для гарантии качества обслуживания.