Искусственный интеллект
Логиты
Логиты — ненормированные оценки классов или следующих токенов, вычисленные последним слоем модели. Их порядок задаёт ранжирование кандидатов, а softmax преобразует их в вероятности. Добавление одной константы ко всем логитам не меняет распределение, но масштабирование меняет его уверенность.
Пример на практике
При выборе продолжения генератор получает логиты для каждого токена словаря и затем применяет фильтрацию.
Когда пригодится
Проверяйте логиты, если вероятности кажутся чрезмерно резкими.
Что важно учитывать
Логиты не являются вероятностями и могут иметь любой диапазон.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам