Чат-бот с искусственным интеллектом по вашей базе знаний

Чат-бот с искусственным интеллектом понимает вопросы, заданные своими словами, и в этом его главное отличие от бота на кнопках. Клиент пишет «а есть такой же, только подешевле и с доставкой в Казань», и бот находит ответ в прайсе и условиях доставки, а не предлагает выбрать пункт меню. Внутри компании такой бот снимает с опытных сотрудников вопросы новичков: где лежит шаблон договора, какая скидка положена дилеру, как оформить возврат. Мы подключаем его к Telegram, к виджету на сайте и к внутренним системам.

Технически это RAG, поиск с генерацией ответа. Ваши документы разбиваются на фрагменты, для каждого считается числовое представление смысла, и всё это хранится в векторной базе. Когда приходит вопрос, система находит несколько самых близких по смыслу фрагментов и отдаёт их языковой модели с инструкцией отвечать только по ним. Поэтому бот берёт цены из вашего прайса, а не из интернета, и в ответе можно показать документ, откуда взята информация.

Качество ответов сильнее всего зависит от документов, а не от выбора модели. Сканы без текстового слоя приходится распознавать, таблицы прайсов часто нужно переводить в понятный для поиска вид, устаревшие версии инструкций убирать, иначе бот будет цитировать прошлогодние условия. Эту подготовку мы берём на себя. До запуска прогоняем бота по списку из 50-100 контрольных вопросов, составленных вместе с вами, и видим, где он отвечает уверенно, а где базу нужно дополнить.

Модель можно запустить на наших серверах с GPU: это открытые модели, которые работают без обращения к внешним сервисам, и ваши договоры, переписка с клиентами и регламенты не уходят в зарубежные облака. Если данные не чувствительные и важнее цена, подключаем облачные модели через API, при небольшом потоке вопросов это обходится в сотни рублей в месяц. Скажем прямо и об ограничениях: языковая модель может ошибиться даже на хорошей базе. Поэтому сложные и денежные вопросы бот передаёт менеджеру, а не отвечает наугад.