Искусственный интеллект
Накопление градиента
При накоплении градиента модель вычисляет производные на нескольких малых микропакетах и обновляет веса только после их объединения. Это позволяет имитировать больший эффективный пакет при ограниченной памяти. Для эквивалентности нужно корректно масштабировать потери и учитывать поведение нормализационных слоёв.
Пример на практике
Четыре микропакета по 8 примеров дают обновление, похожее на пакет из 32.
Когда пригодится
Применяйте, если большой пакет не помещается в память ускорителя.
Что важно учитывать
Некоторые операции между микропакетами нарушают полную эквивалентность.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам