Искусственный интеллект
Квантование модели
Квантование представляет веса или активации меньшим числом бит, чем исходный формат с плавающей точкой. Это сокращает объём параметров и может ускорить вычисления на подходящем оборудовании. Квантование после обучения проще, а обучение с его имитацией позволяет модели адаптироваться к приближённой арифметике.
Пример на практике
Веса классификатора переводят из 32-битного формата в 8-битный и измеряют падение точности.
Когда пригодится
Проверяйте модель на целевом устройстве и типичных входах.
Что важно учитывать
Снижение разрядности может ухудшить качество, особенно для чувствительных слоёв.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам