Искусственный интеллект
Окно контекста
Окно контекста — максимальное число токенов, доступных модели в одном запросе или шаге генерации. В него могут входить инструкция, история, документы и ответ. Увеличение окна позволяет подать больше материала, но не гарантирует, что модель одинаково хорошо использует каждую его часть.
Пример на практике
Суммаризатор принимает несколько глав, если их токены вместе помещаются в лимит модели.
Когда пригодится
Считайте токены до отправки длинного входа.
Что важно учитывать
Длинный контекст увеличивает стоимость и может скрыть важные сведения.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам