Искусственный интеллект
Семплирование по ядру
Nucleus sampling сортирует токены по вероятности и сохраняет наименьший набор, чья суммарная вероятность достигает порога p. Размер множества меняется вслед за уверенностью распределения, в отличие от фиксированного top-k. Затем следующий токен случайно выбирается из оставшегося ядра.
Пример на практике
Когда модель уверена, ядро включает мало вариантов; при неопределённости оно расширяется.
Когда пригодится
Подходит для генерации с переменным уровнем неопределённости.
Что важно учитывать
Выбор p всё равно требует проверки разнообразия и ошибок.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам