Искусственный интеллект
Самовнимание
Самовнимание сравнивает позиции одной последовательности друг с другом: из каждого входного представления строятся запрос, ключ и значение. Взвешенная сумма значений создаёт новое контекстное представление позиции. В каузальной языковой модели маска запрещает смотреть на будущие токены, чтобы обучение соответствовало генерации.
Пример на практике
В фразе «Анна положила книгу, потому что она…» позиция местоимения может учитывать имя и глагол.
Когда пригодится
Полезно для кодирования зависимостей между словами или патчами изображения.
Что важно учитывать
Полное самовнимание растёт квадратично по длине последовательности.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам