Искусственный интеллект

Отсечение параметров

Илья Тарасов — Отсечение параметров
МатериалОтсечение параметровtarasovcode

Отсечение удаляет выбранные веса или структурные компоненты сети, например каналы или головы, по критерию значимости. Нулевые веса сами по себе не ускоряют обычный плотный расчёт: для выгоды требуются разреженные ядра или физическое уменьшение структуры модели.

Пример на практике

Удаление целых каналов свёртки уменьшает число вычислений на устройстве с поддержкой компактной сети.

Когда пригодится

Оценивайте отдельно сокращение размера, задержку и качество.

Что важно учитывать

Маска нулей без аппаратной поддержки может не дать ускорения.

Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов

Вернуться к 400 терминам