Искусственный интеллект
Параметрически эффективная настройка (PEFT)
PEFT — семейство способов адаптировать большую модель, обучая небольшую долю параметров либо добавленные компактные компоненты. Среди подходов есть низкоранговые обновления, адаптеры и обучаемые префиксы. Это уменьшает память оптимизатора и размер адаптации, сохраняя базовую модель неизменной.
Пример на практике
Команда хранит отдельный небольшой модуль для каждого тематического классификатора.
Когда пригодится
Рассмотрите при ограниченных ресурсах или множестве вариантов адаптации.
Что важно учитывать
Компактность не гарантирует качества полного дообучения.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам