Искусственный интеллект
Трансформер
Трансформер обрабатывает последовательность блоками внимания и нелинейных преобразований. В отличие от рекуррентной сети, его основные вычисления могут учитывать позиции параллельно; сведения о порядке добавляются позиционным представлением или иной схемой. Архитектура применяется как для кодирования входа, так и для пошаговой генерации.
Пример на практике
В переводчике энкодер кодирует исходное предложение, а декодер по нему формирует целевой текст.
Когда пригодится
Подходит для языковых и мультимодальных последовательностей, когда важны дальние связи.
Что важно учитывать
Внимание к длинным последовательностям может требовать много памяти и вычислений.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам