Искусственный интеллект
Градиентный спуск
Градиентный спуск изменяет параметры в направлении, противоположном производной функции потерь, чтобы уменьшить её значение. На практике используют пакетные и стохастические оценки градиента, а длину шага задаёт скорость обучения. Слишком большой шаг может пропустить хорошую область или сделать обучение нестабильным.
Пример на практике
После каждого пакета изображений оптимизатор немного меняет веса классификатора согласно вычисленным градиентам.
Когда пригодится
Это базовый принцип оптимизации большинства нейросетей.
Что важно учитывать
Сходимость зависит от масштаба шага и формы целевой функции.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам