Искусственный интеллект
Неструктурное отсечение
Неструктурное отсечение зануляет отдельные параметры, не меняя размеры слоёв. Оно может достичь высокой доли нулей, но хранение маски и нерегулярный доступ к памяти усложняют ускорение. Поэтому разреженность полезна лишь при соответствующей библиотеке, формате хранения и аппаратном исполнении.
Пример на практике
В матрице полносвязного слоя зануляют веса с наименьшей абсолютной величиной.
Когда пригодится
Измеряйте реальную задержку, а не только долю нулевых весов.
Что важно учитывать
Высокая разреженность не равна меньшему времени выполнения.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам