Hermes Agent с локальной моделью: как подключить Ollama и не упереться в контекст

Подключить локальную модель к Hermes Agent можно в десктопном приложении через Settings → Providers → Local Models, это 4 нажатия, или вручную через Ollama. В обоих случаях ключ не нужен, за каждый запрос платить не нужно, переписка не уходит с вашей машины.

Платить за использование нейросети дорого: за вчерашний день я потратил 20 долларов на новый DeepSeek. Поэтому все свои рабочие агенты на Hermes я держу на подписках. А за локальную модель платить не нужно, и Hermes умеет с ней работать. Главное - взять модель, которая умеет работать с файлами и командами, и дать ей контекст минимум 64 000, иначе агент превращается в обычный чат.

Давайте разберём, где локальная модель сейчас годится, как её подключить и как проверить, что агент работает с файлами. Погнали.

Разборы своих агентов и настроек Hermes я выкладываю в канале:

Стоит ли сажать агента на локальную модель?

Я считаю, что всё, что локально, сейчас тупое. Это как нанять себе самого глупого сотрудника из очень далёкой страны, который ещё не говорит на вашем языке, но зато бесплатного. Кирпичи таскать ок. Но когда вы строите систему, локальная модель, как правило, не справляется.

У меня есть виндовая машина с хорошей видеокартой для локальных моделей. Она теперь валяется. Я не пользуюсь локальными моделями, потому что они тупые, а тупая модель будет рекомендовать тупые действия и тупые продажи. Денег она вам не принесёт. Мы свои локальные модели не разворачиваем: сейчас это бессмысленная трата денег.

Где локальная модель уже нужна:

• Расшифровка голоса. Для неё есть открытые бесплатные модели: весят немного и хорошо распознают звук. Ваш голос не утекает в облако, все ваши коварные планы остаются у вас. Как это поставить, я разбирал в отдельной статье.
• Рутина. Тупенькие модельки можно ставить уже сейчас: с рутиной они справляются.
• Данные, которые страшно отдавать наружу. Если совсем страх есть, можно поднять модель у себя. Но качество будет плохое.

В следующем году локальные модели, скорее всего, станут ещё меньше весить. Уже сейчас есть сильные механизмы ужатия, и можно использовать оперативную память вместо видеопамяти. Думаю, годик пройдёт, и у всех будет железка с тупенькой моделью, которая выполняет задачи на уровне Sonnet 5. Посмотрим.

Таблицу «какую модель под какую задачу» и PDF со всеми командами установки Hermes я отдаю бесплатно, пост от 24.09 в канале. Забрать можно здесь.

Самый простой путь: Local Models в десктопном Hermes

Если у вас десктопное приложение Hermes, ничего ставить руками не нужно. Hermes сам поставит локальный сервер llama.cpp, скачает модель и подберёт контекст:

1. Откройте Settings → Providers → Local Models или выберите Run models locally при первом запуске.
2. Нажмите Install runtime: Hermes скачает сборку llama.cpp под ваше железо, это несколько сотен мегабайт.
3. Выберите модель в каталоге и нажмите Download.
4. Нажмите Use: новые чаты пойдут через локальную модель.

У каждой модели в каталоге цветная метка: зелёная - целиком влезает в видеопамять, жёлтая - работает через оперативную память и медленнее, красная - для вашего компьютера слишком большая. Рекомендованным моделям приложение сразу ставит контекст от 64 000. Видеокарта на 8+ ГБ тянет маленькие модели каталога, на 16+ ГБ - модели 27-35B. Если моделью 15 минут не пользоваться, приложение выгрузит её из памяти, а со следующим сообщением загрузит снова.

Раздел включён в тестовых (canary) сборках приложения, в остальных его открывает флаг запуска --local. Не видите Local Models в настройках - причина скорее всего в этом. Из терминала тот же путь: hermes model → Local models.

После выбора модели проверьте её задачей с файлом, как в разделе ниже.

Если вы собираете свои проекты с ИИ-агентами, посмотрите программу практикума tarasovcode.

Через Ollama: какое железо нужно

Ollama нужна, если Hermes стоит на сервере или раздела Local Models у вас нет. Требования из гайда Hermes:

8 ГБ хватит только на маленькую модель, которая отвечает только текстом. Чтобы модель работала агентом, нужно от 24 ГБ, подробнее в шаге 2. Без видеокарты всё работает, но медленно: модель на 9B на процессоре с 8 ядрами выдаёт около 10 токенов в секунду, модель на 31B - 2-5, и на каждый ответ уходит 30-120 секунд.

Шаг 1. Ставим Ollama

Ollama запускает модели прямо у вас на компьютере. На Mac и Linux она ставится одной командой в терминале:

curl -fsSL https://ollama.com/install.sh | sh

На Windows команда для PowerShell:

irm https://ollama.com/install.ps1 | iex

Проверьте, что программа стоит и сервер отвечает:

ollama --version
curl http://localhost:11434/api/tags

Если моделей ещё нет, вторая команда вернёт пустой список. Порт 11434 запомните: по нему Hermes ходит к модели.

Шаг 2. Качаем модель, которая умеет действовать

Модель что делает? Она генерирует текст. А работу с файлами, команды в терминале, поиск делает обвязка вокруг неё, Hermes. Чтобы обвязка сработала, модель должна уметь вызывать инструменты. Без этого агент только отвечает и ничего не делает.

Агентом из этих 4 моделей работает только gemma4:31b. Если памяти меньше 24 ГБ, агента не получится: модели из таблицы будут только отвечать текстом. Новые модели в библиотеке Ollama появляются постоянно, у каждой сначала смотрите, умеет ли она вызывать инструменты.

ollama pull gemma4:31b

Моделей можно скачать несколько и переключаться между ними в Hermes командой /model.

Шаг 3. Поднимаем контекст до 64 000

Ollama по умолчанию даёт модели контекст 2 048 токенов, а Hermes для работы с инструментами нужно минимум 64 000. С контекстом по умолчанию задача не влезет, и агент будет падать с ошибками.

Сделайте вариант модели с большим контекстом. В терминале выполните:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Теперь у вас есть модель gemma4-64k. Дальше везде указывайте её, а не исходную.

Шаг 4. Подключаем к Hermes

Запустите мастер настройки:

hermes setup

На вопросе о провайдере выберите Custom Endpoint и введите:

• адрес: http://localhost:11434/v1;
• ключ: оставьте пустым или напишите no-key;
• модель: gemma4-64k.

То же самое можно прописать руками в ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Как проверить, что агент работает

Запустите hermes и дайте задачу, результат которой видно на диске. Например: «Перечисли все Python-файлы в этой папке и посчитай строки в каждом», а потом «Создай файл test.txt». Посмотрите командой ls или в папке, появился ли файл. Модель без инструментов спокойно напишет правдоподобный список, не открыв ни одного файла.

Чем дешевле нейросеть вы используете, тем более продвинутый кожаный редактор ей нужен. Это вы. Чем умнее ваша нейросеть, тем меньше приходится работать своей головой, но работать приходится всегда.

Кстати, я снял полную схему по Hermes Agent с нуля, обязательно посмотрите:

Там я ставлю Hermes с нуля, собираю первого ИИ-сотрудника и объясняю, почему платить за каждый запрос дорого, а подписка выгоднее.

Почему первый ответ идёт несколько минут

Hermes в каждом запросе отправляет постоянную часть: системные инструкции и описание всех включённых инструментов. Без видеокарты модель сначала долго её переваривает, а потом пишет с обычной скоростью. Это нормально.

Что помогает:

• hermes prompt-size покажет, сколько весит постоянная часть;
• hermes tools отключит ненужные наборы инструментов, hermes skills поможет удалить лишние навыки. Каждое подключённое MCP (внешний сервис) раздувает каждый запрос: если вы им не пользуетесь, выключите;
• ollama ps покажет, сколько слоёв модели ушло на видеокарту. Даже частичная выгрузка ускоряет: модель на 31B на видеокарте с 12 ГБ отдаёт на неё около 40 слоёв, остальное считает процессор;
• на медленной машине поставьте HERMES_API_TIMEOUT=1800 в ~/.hermes/.env, чтобы Hermes не обрывал запрос по таймауту.

Если агент живёт на сервере круглосуточно или отвечает в Телеграме, учтите: Ollama выгружает модель через 5 минут простоя, и следующий ответ снова начнётся с загрузки. Держит модель в памяти настройка Ollama OLLAMA_KEEP_ALIVE=24h. Как вынести агента на сервер, я разбирал в статье про Hermes Agent на сервере круглосуточно, а бота - в настройке Hermes в Телеграме.

Если что-то не так

Запасная облачная модель

Документация Hermes предлагает держать локальную модель основной, а облачную подключить запасной. Для этого в ~/.hermes/config.yaml рядом с разделом model добавляется блок из документации:

fallback_providers:
  - provider: openrouter
    model: anthropic/claude-sonnet-4

Если локальная модель не справилась 3 раза, Hermes отдаёт задачу облачной. Эти запросы уже платные и уходят в облако.

Я бы сделал наоборот: думает и принимает решения сильная модель по подписке, а локальная берёт рутину. Я сейчас буду этим постоянно заниматься: качество должно остаться таким же, а токенов уходить всё меньше и меньше. Для этого более дешёвые модели на отдельные шаги, а скоро и локальные. Во что обходятся агенты на подписках, я посчитал в статье «Сколько стоит ИИ-агент для бизнеса». Если Hermes у вас ещё не стоит, начните с разбора как установить Hermes Agent.

А вы уже пробовали ставить локалку? Что на ней гоняете? Напишите, интересно.