Искусственный интеллект
Перплексия
Перплексия — экспонента средней отрицательной логарифмической вероятности правильных токенов на корпусе. Меньшее значение означает лучшее предсказание именно этого набора токенов при согласованных токенизаторе и процедуре. Она не измеряет напрямую полезность диалога или фактическую точность.
Пример на практике
Две языковые модели сравнивают на одном и том же тестовом корпусе и токенизаторе.
Когда пригодится
Используйте как метрику языкового моделирования на сопоставимых данных.
Что важно учитывать
Значения несопоставимы при разных токенизаторах или корпусах.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам