Искусственный интеллект
Токенизатор
Токенизатор разбивает входной текст на элементы словаря, которые модель может обрабатывать, а выходные идентификаторы обратно преобразует в строку. Токеном может быть слово, часть слова, знак или байтовый фрагмент. Разбиение влияет на длину входа и стоимость обработки.
Пример на практике
Редкое фамильное имя может кодироваться несколькими подсловными токенами.
Когда пригодится
Используйте именно токенизатор совместимой версии модели.
Что важно учитывать
Число слов в тексте не равно числу токенов.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам