Искусственный интеллект
Калибровка вероятностей
Калибровка проверяет, соответствует ли заявленная моделью вероятность частоте правильных исходов. Среди способов исправления есть масштабирование логитов на отдельной выборке. Калиброванность зависит от распределения и типа задачи и может измениться при переходе к новым данным.
Пример на практике
Среди ответов с уверенностью около 0,8 калиброванная система должна быть верной примерно в восьми случаях из десяти.
Когда пригодится
Оценивайте калибровку на данных, не использованных для подгонки модели.
Что важно учитывать
Общая калибровка не означает точность для каждой группы.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам