Искусственный интеллект
Контрастивная цель CLIP
Цель CLIP обучает кодировщики изображения и текста размещать соответствующие пары близко, а несоответствующие пары внутри пакета — дальше. На этой основе можно сравнивать изображение с текстовыми описаниями без отдельного классификатора для каждой категории. Результат зависит от состава пар и формулировок.
Пример на практике
Изображение собаки должно быть ближе к подписи «пёс на траве», чем к «самолёт в небе».
Когда пригодится
Используйте совместные эмбеддинги для поиска или классификации по текстовым меткам.
Что важно учитывать
Высокое сходство не гарантирует точное понимание деталей сцены.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам