Искусственный интеллект
Масштабирование потерь
При вычислении градиентов в низкой точности масштабирование временно умножает потерю на коэффициент, чтобы малые градиенты не округлялись в ноль. Перед обновлением коэффициент учитывается обратно. Динамический вариант меняет масштаб при обнаружении переполнения числового диапазона.
Пример на практике
Если градиенты становятся нулевыми в FP16, масштаб потери помогает сохранить их значимые разряды.
Когда пригодится
Связано с обучением в смешанной точности.
Что важно учитывать
Масштабирование не исправляет все ошибки численной нестабильности.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам