ZmNx Relay

Зачем

Бывает, что сервер моделей виден только с одного компьютера: он стоит в отдельном сегменте сети, доступен через VPN или открыт только для конкретного адреса. Relay запускается на этом компьютере и становится посредником: остальные компьютеры локальной сети обращаются к нему, а он пересылает всё на настоящий сервер моделей.

• Пересылает любой запрос как есть — путь, метод, заголовки, тело. Работает с Ollama, LM Studio, vLLM, llama.cpp и любым OpenAI-совместимым сервером.
• Потоковые ответы идут токен за токеном, как напрямую, а не одним куском в конце.
• Для станций Relay выглядит как обычный сервер моделей: в ZmNx·AI его адрес вписывается в «Подключения», дальше чат, документы и агент работают как обычно.

Relay рассчитан на локальную сеть. Выставлять его в интернет не нужно — и не стоит (см. «Безопасность»).

Как запустить

1. Скачай ZmNx-Relay-<версия>.exe кнопкой выше на компьютер, у которого есть доступ к серверу моделей. Установки нет, права администратора не нужны — просто запусти.
2. В первый раз сразу откроются настройки. Впиши адрес сервера моделей — например, http://10.0.0.5:11434 или просто 10.0.0.5:11434 — и нажми «Проверить»: Relay покажет, отвечает ли сервер, за сколько и какие на нём модели. Порт Relay по умолчанию — 8781, можно поменять. «Готово» или Enter.
3. Нажми большую круглую кнопку. Если Windows спросит про брандмауэр, разреши доступ для частных сетей — иначе другие компьютеры не достучатся.
4. Relay сам покажет, куда подключаться: адрес вроде http://192.168.1.40:8781 — в окне, в «Куда подключаться», на виджете и в сообщении у часов. Щёлкни «Копировать» и на других компьютерах впиши его как сервер моделей, в ZmNx·AI — «Подключения» → «Новое подключение».
5. Не хочешь пускать всю сеть — создай ключ доступа (ниже, «Что ещё умеет») и впиши его на станциях как API-ключ.

Хвост /v1 в адресе сервера писать не нужно: его добавляет сама станция. Если сервер моделей живёт на подпути (http://host/ollama), укажи его целиком.

Что видно в окне

• Сервер моделей на связи. Пока Relay включён и стоит «Не засыпать, пока включён» (по умолчанию стоит), раз в минуту он трогает сервер моделей и пишет под кнопкой: «на связи · 18 мс». Пропал — в журнале «не отвечает», вернулся — «снова на связи».
• Куда подключаться — все адреса компьютера и его имя в сети, у каждого «Копировать». Адаптеры виртуальных машин и VPN — в конце, первым стоит настоящий.
• Счётчики: запросы, сколько передано, сколько станций подключалось и ток/с — скорость последнего ответа модели, а в подсказке — какая это была модель.
• График за 15 минут: запросы столбиками, трафик линией. Наведи — покажет цифры за этот момент.
• Сегодня по станциям: кто сколько раз спросил модель за день, сколько токенов и трафика, когда был последний раз, сколько получил отказов по лимиту. Внизу заголовка — итог и сколько было вчера. С лимитом рядом с каждой станцией полоска «200 / 200».
• Журнал: кто обратился, какая модель, через сколько пришло первое слово и сколько токенов в секунду. Видно, тормозит модель или сеть.

Что ещё умеет

• Ключ доступа для станций. «Настройки» → «Создать ключ». Ключ появится в «Куда подключаться» рядом с адресом — на станциях его вписывают в «Подключениях», в поле «API-ключ». «Заменить ключ» срабатывает со второго щелчка: старый сразу перестаёт подходить. Ключ меняется на ходу — идущие ответы моделей не обрываются.
• Ключ сервера моделей. Если сервер просит свой ключ, а у станций поле занято ключом Relay, — впиши его в Relay: он подставит сам. Окну он не показывается, только «сохранён».
• Лимит на станцию. «Настройки» → «Лимит на станцию»: сколько запросов к модели в день и сколько одновременно. Чтобы одна станция с агентом на всю ночь не заняла сервер моделей, пока остальные ждут. Сверх лимита станция получает понятный отказ («лимит этой станции — 200 запросов в день, сброс в полночь» или «дождись ответа»), а до сервера моделей её запрос не доходит. Список моделей и прочие служебные запросы лимит не трогают, сам компьютер с Relay — без лимита. Пусто или 0 — лимита нет.
• «Проверить сервер моделей» — в меню под знаком и кнопкой у адреса: отвечает ли, за сколько и список моделей (щелчок по названию копирует). Просит ключ — так и скажет.
• «Не засыпать, пока включён» — включено сразу: компьютер не уходит в сон, а связь с сервером моделей не простаивает и не рвётся посреди долгого ответа. Не нужно — сними галочку.
• Сеть, в которой отвечать. Если у компьютера несколько сетей — например, рабочая и Wi-Fi, — выбери, в какой Relay будет отвечать. В остальных соединения рвутся сразу.
• Темы — как у ZmNx SSH: «Чёрная», «Прежняя» (фиолетовая, как до 1.3), «Светлая» и «Как в Windows». Меняются сразу, виджет — вместе с окном.
• Виджет поверх окон: статус, счётчик запросов, адрес для подключения, включение одним кликом. Крестик прячет его в трей.
• Трей: включить/выключить, «Скопировать адрес», настройки, страница статуса, «Автозапуск с Windows», выход.
• Страница статуса http://<этот-компьютер>:8781/ (с ключом доступа — без адреса сервера моделей) — куда пересылает, сколько запросов и байт прошло, сколько станций подключалось и с какой скоростью ответила модель.
• Помнит, был ли Relay включён, и после перезапуска включает его сам.

О программе и обновления

Кнопка ⓘ в шапке окна — версия, новости ZmNx в Telegram, вопрос ИнКе и проверка обновлений. Сама программа в интернет за обновлениями не ходит:

• «Проверить сейчас» — один запрос к zmnx.ru, только по кнопке. Сайт при этом видит твой IP-адрес и какую программу ты проверяешь — больше ничего не уходит.
• «Проверять раз в день» выключено, пока не включишь сам, — и перед включением программа предупредит, что будет ходить на zmnx.ru. Включённая настройка хранится в маленьком файле в %APPDATA%\ZmNx.
• Новую версию программа скачивает в «Загрузки», сверяет контрольную сумму и запускает — тоже только по кнопкам.
• Другие программы ZmNx — там же, списком: нашлась на компьютере — «открыть», нет — «на сайте» (сначала спросит).
• «Что делала программа» — журнал в меню под знаком и в «О программе»: открыла порт для локальной сети, проверила сервер моделей, включила «не засыпать», сохранила настройки и ключ, открыла страницу статуса. Без паролей и содержимого. Хранится в папке программы, последние 500 записей; «Очистить» стирает всё.

Безопасность

Relay открывает доступ к серверу моделей другим компьютерам, поэтому честно — от чего он защищает, а от чего нет.

• Отвечает только локальной сети. Адреса 10.x, 172.16–31.x, 192.168.x и сам компьютер. Всем остальным — отказ. Отключить этот фильтр можно галочкой «Отвечать не только локальной сети», но не надо.
• Ключ доступа — если создашь. Без него сервером моделей через Relay может пользоваться любой компьютер твоей локальной сети. С ключом — только те станции, где его вписали, остальным отказ, и до сервера моделей их запрос не доходит. Подобрать не выйдет: после 20 неверных ключей за 5 минут Relay перестаёт отвечать этому адресу. Ключ лежит в настройках программы на этом компьютере — в открытом виде, как и пароль Wi-Fi в роутере: кто сидит за этим компьютером, тот его видит. И ключ едет по сети вместе с каждым запросом без шифрования (см. ниже): от соседей, которым просто не положено, он закрывает, а от того, кто подслушивает трафик в твоей сети, — нет.
• Шифрования нет. Между станцией и Relay трафик идёт по HTTP. Участок от Relay до сервера моделей шифруется, если адрес сервера начинается с https://.
• API-ключ сервера не обходится. Если сервер моделей требует ключ, его вписывают либо на станциях (Relay передаёт как есть), либо один раз в Relay — в «Ключ сервера моделей». С ключом доступа — только второй способ: поле «API-ключ» на станциях занято ключом Relay.
• Только выбранная сеть. Если сетей несколько и ты выбрал одну — в остальных Relay не отвечает вовсе.
• Не подглядывает. Содержимое запросов и ответов не сохраняет. В журнал пишет только, кто обратился, путь запроса, название модели, сколько байт прошло и с какой скоростью — сами вопросы и ответы туда не попадают. Для «Сегодня по станциям» и лимита — только числа по адресам станций за 14 дней (daystats.json в папке программы).

Короче: это удобная труба внутри доверенной сети, а не шлюз в интернет. Пробросить его порт на роутере — значит открыть свой сервер моделей всему миру.