Искусственный интеллект
Скорость обучения
Скорость обучения задаёт масштаб шага оптимизатора при обновлении параметров. Малое значение может замедлить освоение закономерностей, а чрезмерное — вызвать колебания или расходимость. Часто применяют разогрев и расписание, постепенно меняющее скорость в ходе тренировки.
Пример на практике
Для дообучения уменьшают шаг относительно предварительного этапа, чтобы не разрушить уже полезные веса.
Когда пригодится
Подбирайте её по кривым обучения и проверочной метрике.
Что важно учитывать
Слишком малая потеря на обучении не указывает на верно выбранный шаг.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам