Искусственный интеллект
Оптимизатор
Оптимизатор преобразует градиенты в шаги изменения параметров и может учитывать историю прошлых шагов. SGD, Adam и его варианты отличаются правилами масштаба и сглаживания. Выбор оптимизатора влияет на скорость и динамику обучения, но не заменяет проверку на независимых данных.
Пример на практике
Adam обновляет веса классификатора с учётом сглаженных оценок градиента и его квадрата.
Когда пригодится
Сравнивайте настройки на валидационном наборе, сохраняя остальные условия.
Что важно учитывать
Одинаковая скорость обучения не означает одинаковый шаг разных оптимизаторов.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам