Искусственный интеллект
Маскированная языковая модель
Маскированная модель учится восстанавливать скрытые токены, используя контекст до и после пропуска. Это создаёт двунаправленное представление текста, полезное для классификации и извлечения информации. Такой обучающий принцип обычно не означает, что модель предназначена для свободной последовательной генерации слева направо.
Пример на практике
В предложении «Париж — столица [MASK]» модель предсказывает слово «Франции».
Когда пригодится
Подходит для задач понимания и классификации текста.
Что важно учитывать
Не путайте восстановление пропуска с авторегрессионной генерацией.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам