Локальная нейросеть для бизнеса: как запустить ИИ на своём сервере
Локальная нейросеть для бизнеса это языковая модель (или модель распознавания речи, текста, изображений), которая работает на вашем сервере, а не в облаке OpenAI, Яндекса или Сбера. Запросы, документы и записи звонков никуда не уходят, оплата не зависит от числа запросов, и сервис не отключат из-за санкций или смены тарифа. Для типовых задач бизнеса (разбор писем и документов, резюме звонков, ответы по базе знаний, черновики текстов) открытые модели среднего размера справляются хорошо и запускаются на одной видеокарте с 24-48 ГБ памяти. Ниже разбираем, какие задачи стоит переносить на свой сервер, какие локальные модели выбрать, какое железо нужно и где локальная нейросеть пока уступает облачной.
Зачем бизнесу локальная нейросеть
Данные не покидают компанию
Главная причина. Когда сотрудник отправляет договор в облачный чат, текст договора оказывается на серверах провайдера. Для записей звонков с клиентами, сканов паспортов, бухгалтерских документов и коммерческой переписки это риск: персональные данные регулируются 152-ФЗ, а коммерческая тайна просто не должна уходить на сторону. Локальная модель работает без передачи данных за пределы вашего контура, и вопрос «куда уходят наши документы» снимается.
Предсказуемая стоимость
Облачные модели берут плату за объём текста. Пока запросов мало, это дёшево. Когда вы обрабатываете каждый звонок, каждое письмо и каждый документ, счёт растёт вместе с бизнесом. У своего сервера расходы фиксированные: железо или аренда, электричество, обслуживание. При большом и стабильном объёме это обычно выгоднее.
Независимость
Зарубежные сервисы могут заблокировать доступ из России, отказать в оплате, поменять условия или снять модель с поддержки. Локальная модель работает, пока работает сервер. Версию модели вы обновляете сами, когда сочтёте нужным, и поведение системы не меняется неожиданно.
Работа без интернета
Для производства, удалённых площадок и закрытых сетей это бывает единственным вариантом.
Какие задачи подходят для локальной нейросети
Открытые модели заметно выросли за последние два года. Для задач с понятной постановкой модели на 8-30 миллиардов параметров работают на уровне, достаточном для бизнеса:
| Задача | Что делает модель | Требования |
|---|---|---|
| Резюме звонков | читает расшифровку, выделяет суть и договорённости | средняя модель, длинный контекст |
| Разбор входящих писем | определяет тип, извлекает реквизиты и суть | небольшая модель |
| Извлечение данных из документов | поля счёта, УПД, договора в JSON | средняя модель + OCR |
| Ответы по базе знаний (RAG) | ответ по найденным фрагментам документов | средняя модель + эмбеддинги |
| Черновики ответов клиентам | ответ в заданном тоне по шаблону | средняя модель |
| Классификация и теги | отнести обращение к категории | небольшая модель |
| Распознавание речи | запись звонка в текст | Whisper и аналоги |
Кроме языковых моделей, на своём сервере работают и вспомогательные: распознавание речи (Whisper), распознавание текста на сканах (Tesseract, PaddleOCR и другие), модели эмбеддингов для поиска по документам. Обычно именно связка из нескольких моделей решает задачу целиком. Например, система анализа звонков с помощью ИИ использует модель распознавания речи и языковую модель, а RAG-система модель эмбеддингов и языковую модель.
Где локальные модели уступают облачным
Честно о пределах:
- Сложные рассуждения. Многошаговый анализ, сложный код, юридический разбор с тонкостями. Самые сильные облачные модели здесь заметно лучше.
- Очень длинные документы. Локальная модель технически может поддерживать длинный контекст, но для этого нужна дополнительная видеопамять, и качество на длинном тексте падает быстрее.
- Широкие знания. Модель на 14 миллиардов параметров знает о мире меньше, чем облачный гигант. Для задач «по вашим документам» это не важно, для задач «расскажи о чём угодно» важно.
- Русский язык. Большинство открытых моделей обучены в основном на английском и китайском. Русский у сильных семейств хороший, но у маленьких моделей бывают ошибки в согласовании и странные обороты.
Разумная схема для многих компаний: чувствительные и массовые задачи на своём сервере, редкие сложные задачи с обезличенными данными в облаке.
Лучшие локальные модели: из чего выбирать
Список открытых моделей обновляется каждые несколько месяцев, поэтому называем семейства, а не конкретные версии. Перед запуском всегда проверяйте свежие релизы и тестируйте на своих задачах.
| Семейство | Разработчик | Чем интересно |
|---|---|---|
| Qwen | Alibaba | широкая линейка размеров, хороший русский, сильны в извлечении данных и коде |
| Gemma | компактные модели с хорошим качеством текста | |
| Llama | Meta | распространённое семейство, много дообученных вариантов |
| Mistral | Mistral AI | модели среднего размера, хорошие для рабочих задач |
| gpt-oss | OpenAI | открытые модели с рассуждениями, младшая помещается на одну видеокарту |
| DeepSeek | DeepSeek | сильные модели, но полные версии огромны, локально чаще берут уменьшенные варианты |
| Российские открытые модели | Т-Банк, Яндекс, Сбер | дообучены на русском, удобны там, где важен язык |
Как выбирать на практике:
- Определите задачу и соберите 20-50 реальных примеров с правильными ответами.
- Возьмите 2-3 модели подходящего размера.
- Прогоните примеры, сравните результаты и скорость.
- Берите самую маленькую модель, которая даёт приемлемое качество. Она быстрее и дешевле в работе.
Часто оказывается, что для извлечения полей из писем хватает небольшой модели, а для резюме сложных звонков нужна модель покрупнее. Ничто не мешает держать на сервере две разные.
Какое железо нужно для локальной нейросети
Главный ресурс это видеопамять. Модель должна целиком поместиться в память видеокарты, иначе работает в разы медленнее.
Как прикинуть объём
Модели обычно запускают в сжатом виде (квантизация до 4-8 бит на параметр). При 4-битном сжатии грубая оценка: около 0,6 ГБ видеопамяти на миллиард параметров плюс запас на контекст.
| Размер модели | Видеопамять при 4-битном сжатии | Какая видеокарта |
|---|---|---|
| 7-9 млрд | 6-8 ГБ | любая с 12 ГБ и больше |
| 12-14 млрд | 10-12 ГБ | 16 ГБ |
| 24-32 млрд | 18-22 ГБ | 24 ГБ (RTX 3090, 4090) или 32 ГБ |
| 70 млрд | 40-45 ГБ | 48 ГБ или две по 24 ГБ |
Запас на контекст важен: если вы подаёте в модель расшифровку часового звонка или длинный договор, памяти нужно заметно больше, чем на короткие запросы. Если одновременно работают несколько пользователей, тоже.
Свой сервер или аренда
| Свой сервер | Аренда GPU в облаке | |
|---|---|---|
| Старт | покупка железа | без вложений |
| Ежемесячно | электричество, обслуживание | аренда, дорого при работе 24/7 |
| Данные | физически у вас | у провайдера, но под вашим управлением |
| Гибкость | ограничена железом | можно поменять конфигурацию |
Российские облачные провайдеры сдают серверы с GPU в аренду. Для пилота это удобно: можно проверить задачу без покупки железа. Если нагрузка постоянная, свой сервер обычно окупается.
Программное обеспечение
- Ollama. Простой запуск моделей одной командой, совместимый с OpenAI API. Хороший вариант для старта и для небольшой нагрузки.
- llama.cpp. Основа многих инструментов, работает даже на процессоре и видеокартах с малым объёмом памяти.
- vLLM. Сервер для продакшена с высокой нагрузкой: эффективно обслуживает много параллельных запросов.
- Open WebUI, LM Studio. Интерфейсы в стиле чата для сотрудников.
Совместимость с OpenAI API важна на практике: большинство инструментов (n8n, библиотеки для RAG, готовые боты) умеют работать с таким API, и локальная модель подключается к ним как облачная, сменой адреса. Как встраивать модели в рабочие процессы, мы разбирали в статье n8n: что это и как автоматизировать бизнес.
Как внедрить локальную нейросеть без лишних затрат
- Выберите одну задачу. Массовую, повторяющуюся, с понятным результатом. Например, извлечение реквизитов из входящих счетов.
- Проверьте на облачной модели с обезличенными данными. Если даже сильная облачная модель не справляется, локальная тем более не справится, и это повод пересмотреть постановку.
- Подберите локальную модель по тестовому набору, как описано выше.
- Запустите пилот на арендованном сервере или на имеющемся железе.
- Встройте в процесс с проверкой человеком: результат модели идёт в CRM или 1С как черновик, а не как готовый документ.
- Посчитайте нагрузку и решите, покупать ли сервер.
Не забывайте про обслуживание: обновления системы и драйверов, мониторинг, резервные копии настроек, обновление моделей. Локальная нейросеть не «поставил и забыл», за ней нужно присматривать, как за любым сервером.
Типичные ошибки при запуске
Выбор модели по рейтингу. Модель, которая лидирует в общих тестах, не обязательно лучше всех извлекает реквизиты из ваших счетов. Решает только проверка на своих примерах.
Слишком большая модель «на вырост». Модель на 70 миллиардов параметров требует дорогого железа и отвечает медленнее. Если задачу решает модель на 14 миллиардов, лишние параметры только тратят деньги и время сотрудников, которые ждут ответа.
Нет запаса памяти на контекст. На коротких тестах всё работает, а на реальных документах и длинных звонках модель падает с нехваткой памяти или режет текст. Тестируйте на самых длинных реальных данных, а не на средних.
Свободный текст вместо структуры. Если результат нужен программе (CRM, 1С, таблице), просите модель отвечать в JSON по заданной схеме и проверяйте ответ кодом. Многие серверы для локальных моделей умеют принудительно ограничивать ответ схемой, это заметно снижает число сбоев.
Открытый наружу сервер. Ollama и похожие инструменты по умолчанию не требуют пароля. Если порт открыт в интернет, вашей моделью и вашими ресурсами может пользоваться кто угодно. Доступ только из внутренней сети или через VPN.
Частые вопросы
Можно ли запустить нейросеть на обычном компьютере?
Небольшие модели на 3-8 миллиардов параметров запускаются на игровом компьютере с видеокартой на 8-12 ГБ или даже на процессоре, но медленно. Для личных экспериментов этого хватает. Для работы нескольких сотрудников или обработки потока документов нужен сервер с хорошей видеокартой.
Какая локальная нейросеть лучшая?
Универсально лучшей нет. Для каждой задачи лидер свой, а рейтинги меняются каждые несколько месяцев. Надёжный способ выбора: тест на ваших примерах.
Насколько локальная модель хуже облачной?
На узких задачах с понятной постановкой (извлечь поля, сделать резюме, ответить по найденным документам) разница часто небольшая. На сложных рассуждениях и широких знаниях облачные модели заметно сильнее.
Безопасно ли это с точки зрения данных?
Данные не покидают ваш сервер, это главный плюс. Но сервер нужно защищать как любой другой: доступ только из внутренней сети или через VPN, обновления, разграничение прав.
У нас свои серверы с GPU, и ИИ-решения мы запускаем без передачи данных в чужие облака: на своём железе или на вашем. Подробнее на странице ИИ на своём сервере. Если нужна база знаний по вашим документам, посмотрите базу знаний на ИИ.