Искусственный интеллект
Семплирование top-k
Top-k оставляет для следующего шага k токенов с наибольшими логитами, перенормирует их вероятности и выбирает один случайно. Так отсекается длинный хвост маловероятных вариантов. Результат зависит от выбранного k и формы распределения на каждом шаге.
Пример на практике
При k=3 генератор выбирает только среди трёх наиболее вероятных продолжений.
Когда пригодится
Используйте как ограничение случайного семплирования.
Что важно учитывать
Фиксированное k может быть слишком широким для одного шага и узким для другого.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам