Искусственный интеллект
BPE, кодирование пар байтов
BPE начинает с базовых символов или байтов и многократно объединяет наиболее частые соседние пары, формируя словарь субслов. Получившийся алгоритм даёт компактные последовательности для частых слов и разлагает редкие. Итоговый набор зависит от корпуса и числа объединений при обучении токенизатора.
Пример на практике
Частое слово получает единый токен, а редкое название региона — несколько частей.
Когда пригодится
Это один из распространённых способов построить словарь языковой модели.
Что важно учитывать
Разные BPE-словари дают несовместимые идентификаторы токенов.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам