Искусственный интеллект
Разогрев скорости обучения
Разогрев постепенно увеличивает скорость обучения от малого значения до заданного максимума в начале тренировки. Он снижает резкость первых обновлений, когда параметры ещё не адаптировались к данным. Длительность разогрева задают шагами или долей общего расписания.
Пример на практике
В начале обучения языковой модели шаг растёт в течение нескольких сотен обновлений.
Когда пригодится
Используйте при нестабильных ранних шагах или чувствительной оптимизации.
Что важно учитывать
Чрезмерно долгий разогрев оставляет мало шагов для полноценного обучения.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам