Искусственный интеллект
Дистилляция знаний
Дистилляция обучает компактную модель-ученика воспроизводить выходы крупной модели-учителя. Цель может включать мягкое распределение вероятностей, скрытые признаки или отношения между примерами. Учитель передаёт больше информации, чем одна жёсткая метка, но ученик ограничен собственной ёмкостью.
Пример на практике
Маленькая модель учится имитировать вероятности большого классификатора для ускорения работы на телефоне.
Когда пригодится
Используйте для переноса поведения ансамбля или тяжёлой модели в компактную.
Что важно учитывать
Ученик обычно не сохраняет все способности учителя.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам