Искусственный интеллект
Дистилляция логитов
При дистилляции логитов ученик подгоняет распределение своих оценок под оценки учителя, часто после смягчения температурой. Вероятности альтернативных классов сообщают, какие категории учитель считает похожими. Одновременно можно учитывать обычную потерю по эталонным меткам.
Пример на практике
Учитель распределяет вероятность между двумя породами собак, а ученик перенимает это сходство.
Когда пригодится
Полезна, когда доступны выходы учителя по обучающим примерам.
Что важно учитывать
Ошибочные предпочтения учителя также передаются ученику.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам