Искусственный интеллект
LoRA, низкоранговая адаптация
LoRA замораживает исходную матрицу весов и обучает небольшое низкоранговое обновление, представленное произведением двух меньших матриц. Это снижает число настраиваемых параметров и объём сохраняемого адаптера. Ранг задаёт ёмкость изменения, а обновление можно отдельно применить к базовой модели.
Пример на практике
Для новой классификации текста обучают адаптер внимания, не обновляя все веса трансформера.
Когда пригодится
Подходит, когда нужно экономно хранить несколько настроек одной основы.
Что важно учитывать
Слишком низкий ранг может ограничить нужную адаптацию.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам