ИИ-платформа Svaya
На ваших данных, в вашем контуре, по правилам вашей отрасли.
Презентация на 30 страницах, PDF, 4,9 МБ. Технические приложения с помодульным разбором есть только в ней.
Svaya - это ИИ-платформа, на которой мы в БизнесМатике собираем прикладные LLM-решения для компаний среднего и крупного бизнеса. Платформа ставится в контуре клиента (в той сети и на тех серверах, которые клиент контролирует), в том числе в закрытом контуре без доступа в интернет, и приносит с собой то, что вокруг языковой модели обычно строят месяцами. Это конвейер обработки запроса с проверкой прав доступа, маскированием персональных данных и журналом действий, поиск по документам компании, подключение к учетным системам, а также готовые шаблоны прикладных задач под отрасль. Поэтому проект клиента начинается сразу с его прикладной задачи, а не с подготовки инфраструктуры.
Что языковые модели закрывают в повседневной работе с документами и обращениями
Повторяющуюся работу с документами можно передать ИИ
Во многих компаниях квалифицированные сотрудники изо дня в день делают одну и ту же работу:
- Переносят данные из входящих счетов, накладных и заявлений в учетную систему компании,
- Отвечают на однотипные вопросы клиентов о заказе, оплате и сроках,
- Ищут в регламентах и инструкциях, как оформить конкретную операцию,
- Готовят типовые справки, акты и сопроводительные письма.
Этой работы обычно тем больше, чем больше у компании клиентов, документов и операций. У юристов, бухгалтеров и операционистов на нее уходит заметная часть рабочего дня, хотя в основном это разбор и перенос информации, не требующий их квалификации.
Раньше такая работа плохо поддавалась автоматизации. Жесткие правила ломаются на живом языке, опечатках и исключениях, а в реальном потоке таких случаев много.
LLM понимают смысл текста, поэтому берут на себя эту рутинную часть и справляются там, где жесткие правила не работали.
ИИ-ассистенты
ИИ-ассистенты отвечают на вопросы сотрудника и подсказывают, работают с задачами:
- Обработка обращений клиентов в чате и в переписке,
- Подсказки оператору во время диалога,
- Контроль качества диалогов с клиентами.
например, в банках ИИ-модель подсказывает человеку-оператору во время диалога с клиентом, в ритейле отвечает на вопросы о заказе в чате
- Извлечение данных из входящих документов,
- Проверка договоров и отчетности,
- Отслеживание изменений в требованиях регуляторов.
например, в юридических компаниях ИИ-модель сверяет договор с шаблоном и находит рискованные условия, в логистике разбирает транспортные накладные
- Ответы сотрудникам по внутренним регламентам со ссылкой на документ.
например, в банках ИИ-модель отвечает на кадровый вопрос по регламенту, в оффлайн-ритейле подсказывает продавцу в зале по товару и остаткам
- Создание описаний товаров,
- Поиск по каталогу по смыслу запроса,
- Разметка потока отзывов,
- Ответы на вопросы к данным компании.
например, в ритейле ИИ-модель пишет карточки товаров и размечает отзывы по темам, в банках отвечает руководителю на вопрос к данным на естественном языке
ИИ-агенты
ИИ-агенты самостоятельно выполняют действие в системах компании.
Как устроена платформа и что происходит с каждым обращением к ИИ-модели
Что такое ИИ-платформа?
Это ПО, из которого собирают прикладные решения на базе LLM. В платформе реализованы конвейер обработки запроса и шаблоны задач под отрасль (например, умный поиск по каталогу, описания товаров, ассистент продавца в зале).
Конвейер обработки запроса - это фиксированная цепочка шагов, которую проходит каждое обращение к ИИ-модели, от проверки прав доступа и поиска по документам компании до маскирования персональных данных, проверки ответа и записи в журнал действий.
Под клиента к этому добавляются данные, регламенты и подключение внешних систем. Делается это на этапе внедрения: документы компании загружаются в поиск платформы, регламенты и отраслевые требования записываются в файлы настроек прикладной задачи без программирования, а коннекторы к системам клиента (1С, CRM, хранилище документов) пишет команда внедрения.
Каждое обращение к ИИ-модели происходит с проверкой прав, защитой перс. данных и журналированием
Сотрудник спрашивает ИИ-ассистента, какие штрафы предусмотрены в договоре с поставщиком. Платформа проверяет права сотрудника, поиск выдает только те документы, к которым у него есть доступ. Найденный пункт договора уходит в LLM, она отвечает своими словами. Платформа возвращает в ответ реальные значения, проверяет, что ответ опирается на найденные пункты договора, и отдает его сотруднику со ссылкой на исходный документ.
Если в запросе или в найденных документах есть перс. данные, платформа перед отправкой текста за пределы контура заменяет их на условные обозначения (токены). Она распознает 21 категорию таких данных, среди них ФИО, телефоны, паспорта, СНИЛС, номера счетов и карт, а в спорных случаях действует правило «сомнение означает маскирование». ИИ-модель за пределами контура клиента получает только обезличенный текст и перс. данных не видит.
Каждый шаг обработки оставляет след в трассе (подробной технической записи прохода запроса), а ключевые события (кто спросил, какие документы взяла система, что ушло в модель, какое решение принято) попадают в журнал действий. Записи журнала сцеплены контрольными суммами, правку или удаление задним числом обнаруживает проверка целостности. Служба безопасности или аудитор в любой момент открывают журнал и видят, на чем основан конкретный ответ и кто к каким данным обращался.
ИИ-модель сменяемая
ИИ-модель в платформе сменная. Прикладное решение клиента может работать на GigaChat, YandexGPT, на иностранных фронтирных моделях (Anthropic, OpenAI и др.) или на открытой модели, развернутой на серверах клиента, например Qwen. Сменить одну модель на другую можно без переделки прикладного решения, приложение, которым пользуются сотрудники, при этом не меняется. Разные задачи могут работать на разных моделях одновременно, а при сбое поставщика запрос автоматически уходит на резервную модель в рамках разрешенных маршрутов данных.
Платформа работает внутри контура и встраивается в существующие системы
Платформа подключается к системам, где уже лежат данные (1С, CRM, к хранилищу документов). Подключение идет через API коннекторами по стандарту MCP. Весь исходящий трафик установки проходит через единственный выходной узел (прокси) со списком разрешенных адресов, остальные сети закрыты.
Как сотрудник видит ИИ, зависит от задачи:
- Фоновые задачи нового UI не требуют, платформа сама разбирает входящий поток и через коннекторы записывает результат в существующую ИС, сотрудник видит в 1С или CRM уже заполненные поля.
- ИИ можно встроить и в любой интерфейс по API платформы, например умный поиск вызывается прямо с витрины сайта.
- Веб-интерфейс платформы остается для задач, у которых своей системы нет. Это чат с корпоративным ИИ-ассистентом по регламентам и базе знаний (открывается с компьютера и телефона, например у продавца в зале) и экран контролера, где сотрудник подтверждает или возвращает решения, видя рядом проект решения, объяснение и документы-основания. Подтверждение решений намеренно живет только здесь, обойти его прямым вызовом API нельзя, и каждый исход остается в журнале действий.
Корпоративный мессенджер, если он привычнее сотрудникам, также можно подключить.
Как платформа ставится в вашем контуре, из чего состоит и как обновляется
Установка платформы
Одна команда установки в консоли разворачивает набор контейнеров Docker на сервере из файла-описания. Доступ в интернет для установки не нужен, платформа ставится и в закрытом контуре.
Дистрибутив передается на старте внедрения, перед установкой пилота. Это подписанный установочный комплект, внутри образы контейнеров Docker, файл-описание, полный список состава и подписи для проверки подлинности. В закрытый контур комплект переносится на носителе, контрольные суммы проверяются до распаковки.
- Сервер Linux, 32 vCPU, 48 ГБ ОЗУ. Демо-контуру достаточно 12 vCPU и 32 ГБ ОЗУ.
- SSD 150 ГБ на старте. Для своих моделей в закрытом контуре нужно место под веса ИИ-моделей и установочный комплект, еще несколько сотен ГБ.
- Без GPU (видеокарт), когда языковая модель работает по API (GigaChat, YandexGPT) или развернута на отдельных GPU-серверах в облаке клиента.
- 1 GPU 24-48 ГБ, когда в закрытом контуре работает одна компактная модель, например GigaChat 3.1 Lightning (открытая версия), T-Lite или Qwen3-8B (задачи с разбором изображений недоступны).
- 2-3 GPU 48-80 ГБ, когда рядом с компактной моделью нужна сильная текстовая модель (T-Pro, Qwen3-32B) или модель для разбора изображений (Qwen2.5-VL).
- 4-6 GPU 48-80 ГБ под несколько задач в закрытом контуре, когда одновременно работают компактная и сильная текстовые модели и модель для разбора изображений, например GigaChat 3.1 Lightning, T-Pro и Qwen2.5-VL.
Обновления ставятся без остановки работы платформы
Полный список компонентов поставки (спецификация состава ПО, SBOM) служба безопасности клиента проверяет своим сканером уязвимостей еще до установки.
Обновление идет без остановки работы, когда сервисы работают в двух и более копиях, в минимальной установке возможна короткая пауза. Перед каждым обновлением автоматически создается резервная копия, рабочей она считается только после проверочного восстановления. Откат на предыдущую версию предусмотрен, а после завершающей фазы обновления возврат выполняется восстановлением из этой копии.
Состав платформы
Хранение, журнал, доступ и запуск моделей в платформе построены на open source компонентах. Это PostgreSQL, ClickHouse, MinIO, Redis, Keycloak и vLLM, они работают в контейнерах Docker внутри контура клиента и хорошо знакомы разработчикам. СБ может проверить исходный код любого из них, а разработчики при желании сопровождают установку сами. Ядро платформы и сервисы обработки - это собственный код на TypeScript и Python, его исходники клиент получает по условиям поставки. Архитектурно платформа - это модульный монолит с несколькими выделенными сервисами, а не парк микросервисов, поэтому установка сопровождается небольшой командой.
Отсутствие vendor lock-in
Правила соответствия требованиям законодательства - это файлы настроек в формате YAML в пакете каждой прикладной задачи, в которых задается:
- Что маскировать в перс. данных.
- Какие события писать в журнал для проверяющего.
- У какой роли к каким данным и действиям доступ.
- Каким классам данных куда можно, например персональные данные во внешнюю модель только маскированными.
- Сколько что хранить и когда удалять.
- Какие согласия субъекта персональных данных проверять и на каком шаге.
- Где решение обязан подтвердить человек, какие проверки накладываются на ответ модели (например запрет обещаний в тексте) и какие классы данных блокируются на выходе.
Каждое правило умещается в несколько строк. Правила хранения несут ссылку на основание, например «152-ФЗ, ст. 5 ч. 7», а сводная таблица «требование, правило, проверка» входит в пакет отдельным документом для проверяющего. Требование, общее для всех отраслей, это 152-ФЗ о персональных данных. Нормы отрасли клиента добавляются в пакете отраслевой задачи, например в банковском кредитном конвейере это 218-ФЗ о кредитных историях и требования ЦБ к защите информации.
Платформа не привязывает клиента к вендору:
- Работает в контуре клиента (в закрытом варианте и вовсе без доступа в интернет),
- Поставка идет в открытой форме, без технических замков.
- Мы передаем полный список состава (SBOM), обучение команды и исходный код с комплектом сборки (сразу или через депонирование у независимого хранителя, в зависимости от условий договора).
Чем платформа отличается от коробочного продукта и от разработки с нуля
Запуск и доработки
Платформа запускается со скоростью коробочного продукта, а дорабатывается со свободой заказной разработки.
| Вопрос выбора | Готовый продукт под одну задачу (SaaS или коробка) | Разработка с нуля | Svaya |
|---|---|---|---|
| Где работают данные клиента | Часто в облаке поставщика | В контуре клиента | В контуре клиента или российском облаке |
| Доработка под регламенты и системы клиента | В пределах настроек поставщика | Без ограничений, но все своими руками | Через документированные точки доработки, командой клиента или любым подрядчиком |
| Маскирование, журнал, доступ по требованиям регулятора | Как спроектировал поставщик | Строите и обосновываете сами | Встроены, правила лежат в редактируемых файлах настроек |
| Срок до первой работающей задачи | Быстро, если процесс клиента совпал с коробкой | Сначала инфраструктура, потом задача | Пилот начинается сразу с прикладной задачи |
| Что будет, если поставщик уйдет с рынка | Облачный сервис отключается, локальная коробка остается без обновлений | Клиент сам себе поставщик | Установка продолжает работать, исходный код у клиента сразу или из депонирования |
Кружок показывает, насколько вариант закрывает вопрос. Зеленый означает, что закрывает, желтый - что закрывает с оговорками, красный - что не закрывает.
Как происходит внедрение
- вместе с бизнес-заказчиком
- разбираем процессы и узкие горлышки (повторяющиеся рутинные задачи)
- проверяем готовность данных (в каком виде документы, какие системы дают к ним доступ)
- выбираем одну задачу с измеримой метрикой
- разворачиваем платформу в контуре клиента и запускаем выбранную прикладную задачу на данных клиента
- метрику согласуем до старта (например время обработки одного документа или долю запросов, закрытых без ручного разбора)
- ответы проверяет специалист клиента, пока качество не подтверждено измерением
- если метрика подтвердилась, следующие задачи подключаются на уже работающей установке
- инфраструктура и доступы уже согласованы, оборудование докупается, только если новой задаче нужна своя модель в контуре
- если метрика не подтвердилась, пилот заканчивается без обязательств продолжать
Как платформа устроена изнутри, с разбором конвейера обработки запроса, маскирования персональных данных и работы в закрытом контуре банка, мы описали в статье о том, как построили Svaya.
Прикладные задачи, которые мы запускаем на платформе, собраны в разделе LLM-услуги, а разбор по отраслям лежит на страницах восьми отраслей.
Посмотреть платформу на своей задаче
Начинаем с бесплатной диагностики. По ее итогам говорим, какая задача окупится первой и как будет выглядеть пилот, в том числе когда ответ отрицательный.
Презентация на 30 страницах, PDF, 4,9 МБ.