Искусственный интеллект
Adam
Adam сочетает экспоненциальное сглаживание градиента с оценкой его второго момента и адаптивно масштабирует обновление каждого параметра. Коррекция смещения применяется на ранних шагах. Метод популярен, однако его параметры и регуляризация всё равно требуют настройки под конкретные данные.
Пример на практике
В трансформере Adam обновляет параметры с малыми и большими по масштабу градиентами.
Когда пригодится
Частый исходный выбор для нейросетевого обучения.
Что важно учитывать
Adam не гарантирует лучшего обобщения или сходимости для каждой задачи.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам