Искусственный интеллект
KV-кэш
KV-кэш хранит ключи и значения внимания, уже вычисленные для предыдущих токенов авторегрессионной генерации. Следующий шаг обрабатывает только новый токен, а не пересчитывает всю историю. Кэш ускоряет вывод, но занимает память пропорционально длине контекста, числу слоёв и размеру представлений.
Пример на практике
При генерации длинного ответа модель повторно использует состояния всех уже созданных токенов.
Когда пригодится
Учитывайте кэш при оценке параллельных длинных запросов.
Что важно учитывать
Кэш не уменьшает саму память параметров модели.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам