Искусственный интеллект
QLoRA
QLoRA сочетает квантованное хранение базовых весов с обучаемыми низкоранговыми адаптерами. Базовая модель остаётся замороженной, а градиенты обновляют адаптационные параметры. Такой подход снижает требования к памяти при настройке, однако вычислительная поддержка и точность зависят от формата и реализации.
Пример на практике
Ограниченная видеопамять позволяет дообучать адаптер поверх 4-битного представления модели.
Когда пригодится
Полезна для настройки крупных моделей на доступном ускорителе.
Что важно учитывать
Низкая точность весов не устраняет стоимость обработки длинного контекста.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам