Искусственный интеллект
Смесь экспертов
Смесь экспертов содержит несколько подсетей и маршрутизатор, который выбирает, какие эксперты обработают конкретный токен или пример. При разреженной активации вычисляется только часть общей модели. Балансировка нагрузки важна, иначе часть экспертов простаивает или переполняется.
Пример на практике
Для разных токенов маршрутизатор направляет вычисления к разным блокам экспертов.
Когда пригодится
Рассматривайте архитектуру при необходимости увеличить общую ёмкость без плотного расчёта всех параметров.
Что важно учитывать
Общее число параметров не показывает активные вычисления или задержку.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам