Искусственный интеллект
Перекрёстное внимание
Перекрёстное внимание позволяет позициям одной последовательности обращаться к другой: запросы берутся из первой, ключи и значения — из второй. Так декодер связывает создаваемый текст с закодированным входом. Аналогичный механизм помогает согласовать текстовые и визуальные признаки.
Пример на практике
При создании подписи к фото текстовый декодер обращается к представлениям участков изображения.
Когда пригодится
Применяйте в моделях преобразования входа в выход и мультимодальном слиянии.
Что важно учитывать
Неверный или нерелевантный источник внимания передаёт шум в итоговую генерацию.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам