Искусственный интеллект
AdamW
AdamW отделяет затухание весов от адаптивного градиентного шага Adam. Такое разделение делает влияние коэффициента регуляризации более прямым, чем при включении L2-штрафа в градиент Adam. Этот оптимизатор часто используют при настройке трансформеров, но параметры остаются задачезависимыми.
Пример на практике
При дообучении текстовой модели AdamW ограничивает рост весов независимо от масштаба градиента.
Когда пригодится
Проверьте, какое именно правило регуляризации реализовано в библиотеке.
Что важно учитывать
Затухание весов не заменяет контроль переобучения на новых данных.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам