Искусственный интеллект
Перекрёстная энтропия
Перекрёстная энтропия измеряет несовпадение целевого распределения классов или токенов с предсказанным распределением. Для одной правильной метки потеря равна отрицательному логарифму вероятности, отданной этой метке. Поэтому уверенное ошибочное предсказание получает особенно большой штраф.
Пример на практике
Если верный класс получил вероятность 0,1, потеря выше, чем при вероятности 0,8.
Когда пригодится
Часто применяется при обучении классификаторов и языковых моделей.
Что важно учитывать
Нужны корректные метки и согласованное представление логитов.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам