Нейросеть на собственном сервере: локальные модели для бизнеса
Открытые языковые модели и распознавание речи работают на выделенном сервере с видеокартой. Тексты, записи и документы компании не покидают ваш контур.
- Цена запуска до 31 декабряот 49 900 ₽
- Срокиот 2 недель
- Оформлениедоговор, оплата по счёту
Нейросеть на собственном сервере нужна, когда данные нельзя или не хочется отдавать во внешние сервисы. Договоры с клиентами, записи звонков, персональные данные, закупочные цены, внутренняя переписка: всё это при работе с облачной моделью уходит провайдеру, часто за границу. Для персональных данных это вопрос соблюдения 152-ФЗ, для остального вопрос коммерческой тайны и доверия клиентов. Локальная модель работает на сервере, который контролируете вы или мы по договору, и запросы никуда не передаются.
У нас свои серверы с видеокартами, на которых работают открытые языковые модели, модели для поиска по смыслу и Whisper для распознавания речи. На этом оборудовании крутятся база знаний, расшифровка звонков и проверка документов в нашей CRM, поэтому мы знаем реальную нагрузку и реальные ограничения, а не цифры из презентаций. Модели запускаем через Ollama или vLLM с API, совместимым с OpenAI: программы, написанные под облачную модель, переключаются на локальную сменой адреса.
Есть два варианта размещения. Первый: модель работает на наших мощностях, вы получаете закрытый API или готовое приложение. Это дешевле на старте, не нужно покупать оборудование. Второй: разворачиваем всё на вашем сервере, в вашей серверной или у вашего хостинг-провайдера. Тогда помогаем подобрать железо: сколько видеопамяти нужно под ваши задачи, хватит ли одной карты на 24 ГБ или нужна карта на 48 ГБ, сколько оперативной памяти и дисков. Считаем, при каком объёме запросов своё оборудование окупается по сравнению с арендой.
Честно о компромиссах. Открытые модели, которые помещаются на одну-две видеокарты, уступают крупнейшим облачным моделям в сложных рассуждениях и длинных текстах. Для типовых задач бизнеса, вроде ответа по документам, саммари звонка, извлечения полей из платёжки или черновика письма, их хватает с запасом. Для сложной аналитики иногда разумно комбинировать: чувствительные данные обрабатывает локальная модель, а обезличенные задачи уходят в облако. Такую схему мы тоже настраиваем.
Состав работ
Что входит
Анализ задач и данных
Определяем, какие задачи будет решать модель, какой объём запросов, какие данные чувствительные. От этого зависит выбор модели и железа.
Подбор модели
Сравниваем несколько открытых моделей на ваших реальных примерах: качество ответов, скорость, расход памяти. Выбираем по результату, а не по рейтингам.
Подбор оборудования
Видеокарта, объём видеопамяти, процессор, ОЗУ, диски. Даём спецификацию для закупки или для аренды у хостинг-провайдера.
Развёртывание
Установка драйверов, Docker, Ollama или vLLM, модели для поиска по смыслу, Whisper при необходимости. API, совместимый с OpenAI, для ваших программ.
Защита доступа
Закрытый API с ключами, доступ только из вашей сети или по VPN, журнал запросов. Сервер не торчит в интернет открытым портом.
Подключение прикладных задач
База знаний, анализ звонков, распознавание документов, ассистент для продаж на одном сервере. Распределяем нагрузку, чтобы задачи не мешали друг другу.
Мониторинг
Загрузка видеокарты, очередь запросов, время ответа, ошибки. Уведомления в Telegram, если сервер перегружен или модель перестала отвечать.
Обновление моделей
Новые открытые модели выходят часто. Проверяем их на ваших примерах и обновляем, только если качество действительно выросло.
Процесс
Как работаем
- 1
Требования
Обсуждаем задачи, объём данных, требования службы безопасности и где должен стоять сервер.
- 2
Тест на наших мощностях
Запускаем несколько моделей на ваших обезличенных примерах и показываем качество и скорость. По итогам выбираем модель и считаем железо.
- 3
Подготовка сервера
Выделяем мощности у себя или помогаем закупить и установить оборудование у вас. Настраиваем систему, драйверы, сеть.
- 4
Развёртывание и интеграция
Ставим модели, поднимаем API, подключаем прикладные задачи и ваши программы.
- 5
Нагрузочная проверка и передача
Проверяем работу при реальном числе одновременных запросов, передаём документацию, доступы и инструкцию по обслуживанию.
Пакеты
Стоимость и пакеты
Это цены запуска, они действуют до 31 декабря: мы новая студия и набираем первых клиентов. Цены указаны «от», точную сумму называем после того, как посмотрим проект, и фиксируем в договоре.
Выделенный API
от 49 900 ₽
Нужна локальная модель для ваших программ без покупки оборудования.
- Одна языковая модель на наших GPU-серверах
- Закрытый API, совместимый с OpenAI
- Доступ по ключам и из разрешённых адресов
- Тест нескольких моделей на ваших примерах
- Мониторинг и уведомления о сбоях
Рабочий контур
от 99 000 ₽
Несколько ИИ-задач в компании на одной локальной платформе.
- Языковая модель, поиск по смыслу и Whisper
- Развёртывание у нас или на вашем сервере
- Подбор оборудования и спецификация для закупки
- Подключение одной прикладной задачи из раздела
- Доступ только из вашей сети или по VPN
- Журнал запросов
Корпоративный
от 179 000 ₽
Строгие требования к данным, большой поток запросов, несколько задач сразу.
- Развёртывание на вашем оборудовании в вашем контуре
- Несколько моделей с распределением нагрузки
- Подключение до трёх прикладных задач
- Гибридная схема: чувствительное локально, обезличенное в облако
- Документация для службы безопасности
- Месяц сопровождения после запуска
Результат
Что будет у вас на руках
- Работающая локальная модель с закрытым API
- Отчёт о сравнении моделей на ваших примерах
- Спецификация оборудования и расчёт окупаемости
- Описание схемы обработки данных для службы безопасности
- Инструкция по обслуживанию и обновлению
Частые вопросы
Локальная модель хуже ChatGPT?
В сложных рассуждениях и очень длинных текстах крупные облачные модели сильнее. Для задач вроде ответа по документам, саммари звонков, разбора платёжек и черновиков писем открытых моделей хватает. Мы сравниваем варианты на ваших примерах до запуска, и вы сами видите разницу.
Это решает вопрос с 152-ФЗ?
Локальная обработка снимает главный риск: передачу персональных данных третьим лицам и за границу. Но 152-ФЗ требует и другого: согласий, политики обработки, мер защиты, уведомления Роскомнадзора. Эти вопросы решает ваш юрист, а мы даём ему описание, где и как обрабатываются данные.
Обязательно покупать свой сервер?
Нет. Можно арендовать мощности у нас и пользоваться моделью через закрытый API. Своё оборудование имеет смысл, когда запросов много или служба безопасности требует, чтобы данные физически не покидали вашу серверную. Окупаемость считаем на этапе подбора.
Сколько стоит содержание в месяц?
Если модель работает у нас, стоимость зависит от выделенных мощностей и обсуждается отдельно, ориентир от 5 000 ₽ в месяц для небольшой нагрузки. Если сервер ваш, платите только за электричество и наше сопровождение, если оно нужно.
Что если модель выдаст неверный ответ?
Это возможно с любой моделью, локальной или облачной. Поэтому в прикладных задачах мы заставляем модель опираться на ваши документы и данные, показывать источник и передавать человеку то, в чём она не уверена.
Сколько времени занимает развёртывание?
Выделенный API на наших мощностях запускаем за 1-2 недели. Развёртывание на вашем сервере занимает 3-6 недель, срок во многом зависит от поставки оборудования и согласований со службой безопасности.
Можно ли потом перенести модель с вашего сервера к себе?
Да. Мы используем открытые модели и стандартные инструменты, поэтому перенос сводится к установке того же набора на ваше оборудование и смене адреса API в ваших программах. Базы знаний, словари и настройки передаём вместе с проектом. Обычно на переезд уходит несколько дней, если сервер уже закуплен и подключён к сети.
Что ещё может пригодиться
База знаний на ИИ
Сотрудник задаёт вопрос своими словами и получает ответ по вашим инструкциям, прайсам и регламентам вместе со ссылкой на документ, откуда он взят.
Анализ звонков с ИИ
Каждый звонок превращается в текст, короткое саммари и оценку по вашему скрипту. Руководитель видит, о чём говорили менеджеры, не прослушивая часы записей.
Аудит безопасности сайта
Находим то, через что взламывают обычные сайты компаний: забытые файлы, старые плагины, слабые пароли, открытые бэкапы. И объясняем, как это закрыть.
Заявка
Нейросеть на своём сервере: обсудим задачу
Опишите, что нужно, и пришлите адрес сайта, если он есть. Посмотрим, предложим решение и назовём цену и срок. Консультация бесплатная.
- Ответим в течение рабочего дня
- Работаем по договору, оплата по счёту
- Сначала план и смета, потом работа
Или напишите: hello@sitekod.ru