Искусственный интеллект
DPO, прямая оптимизация предпочтений
DPO обучает языковую модель на парах предпочтений, повышая вероятность выбранного ответа относительно отвергнутого с учётом опорной политики. Метод сводит настройку предпочтений к оптимизации вероятностей и не требует отдельного цикла генерации вознаграждения и обучения политике.
Пример на практике
Для одного вопроса пара содержит краткий точный ответ и длинный ответ с неподтверждёнными деталями.
Когда пригодится
Подходит, если имеются согласованные пары предпочтительных ответов.
Что важно учитывать
Несбалансированные или шумные предпочтения могут сместить поведение модели.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам