Допустим, с 22 октября розничная сеть меняет внутренний порядок согласования нестандартного возврата. Раньше такой возврат согласовывал руководитель магазина, теперь согласование передали руководителю клиентского сервиса. Инструкцию в общей папке заменили. Но утром 22 октября сотрудник поддержки спрашивает ИИ-ассистента, к кому направить обращение, и получает прежний ответ.
Корпоративный ассистент помогает сотруднику найти нужное правило без чтения всей базы документов. В рассматриваемом сценарии перед ответом он ищет подходящие фрагменты в подготовленной поисковой базе и использует их при составлении ответа. Такой подход называют RAG. В документации Yandex AI Studio о поисковых индексах отдельно описаны загрузка файлов, их разбиение на фрагменты и использование найденной информации в ответе ИИ.
Между исходной инструкцией и ответом сотруднику есть несколько этапов. После замены файла нужно проверить, что новая редакция дошла до поиска и используется в нужных ответах. Я рекомендую включать эту проверку в приёмку обновления базы знаний. Ниже разберём, кто за неё отвечает и как проверить смену инструкции на условном примере.
Кто отвечает за документы и обновление базы знаний ИИ-ассистента
У инструкции должен быть сотрудник, который вправе подтвердить её содержание и дату действия. Для порядка согласования возвратов это может быть руководитель клиентского сервиса. Специалист по ИИ-системе не должен самостоятельно решать, какое из двух противоречащих правил компания считает действующим.
В стандарте Yandex Cloud для ИИ-систем, в разделе о данных и выпусках, предусмотрены регистрация источника, владельца и версии данных, а также контроль изменений с проверками и решением о публикации. Для повседневной работы с корпоративной базой знаний я предлагаю распределить обязанности так:
- владелец процесса утверждает содержание документа, область применения и даты его действия;
- технический ответственный обновляет поисковую базу и проверяет, какие документы доступны ассистенту;
- сотрудник клиентского сервиса проверяет ответы на рабочие вопросы и подтверждает результат обновления.
В небольшой команде обязанности могут совмещаться. Существенно, чтобы для каждого изменения было известно, кто подтвердил правило и кто проверил его применение в ответах.
Для изменения полезно сохранять ссылку на исходник, номер редакции, дату вступления в силу, сведения о том, какую редакцию она заменяет, и результат проверки. Дата загрузки файла в систему сама по себе не определяет, с какого дня действует правило.
Как выбирать редакцию документа для ответа ИИ-ассистента
Продолжим условный пример розничной сети. До 22 октября нестандартный возврат согласует руководитель магазина. С 22 октября действует новый внутренний маршрут с руководителем клиентского сервиса. Ещё одну редакцию компания уже утвердила, но она вступит в силу только 26 октября. Все даты и правила в этом примере вымышлены; речь идёт о внутреннем согласовании обращения.
На вопрос о порядке действий 22 октября ассистент должен использовать редакцию, действующую в этот день. Документ с датой вступления 26 октября можно использовать для ответа о будущих изменениях, явно назвав эту дату. Его более поздняя загрузка не делает его действующим сегодня.
Архивная инструкция тоже может понадобиться. Например, сотрудник разбирает обращение, которое обрабатывалось 21 октября, и спрашивает, какой порядок действовал тогда. Для такого вопроса нужна соответствующая историческая редакция. Если дата события или область применения правила неясны, стоит сначала уточнить вопрос.
Для текущих вопросов прежнюю редакцию нужно исключить из набора действующих источников. Историю документов при этом сохраняют по правилам компании. Способ разделения зависит от системы. Стоит выяснить, поддерживает ли она отдельные наборы документов или отбор по признакам редакции и срокам действия. Одной пометки в названии файла недостаточно без проверки того, как поиск её использует.
Что обновить в поиске ИИ-ассистента после смены инструкции
Техническому ответственному нужно проследить изменение от исходного документа до фрагментов, которые поиск передаёт ИИ. Новая инструкция должна попасть в используемый поисковый индекс, то есть в подготовленную базу для поиска. Фрагменты прежней редакции должны перестать участвовать в ответах о текущем порядке.
У разных систем это устроено по-разному. Например, в документации Azure AI Search об изменённых и удалённых данных Azure Storage описано отдельное обнаружение удаления. Без соответствующего механизма удаление объекта из источника не очищает поисковый индекс автоматически. Этот пример показывает, зачем проверять исключение старого документа в конкретной системе.
Если приложение сохраняет готовые ответы для повторных вопросов, нужно определить, какие из них больше нельзя использовать после изменения инструкции. Наличие такого хранения стоит выяснить у разработчика или поставщика. Проверка новой редакции должна включать повтор вопроса, на который ассистент раньше отвечал по старому документу.
Отдельно стоит проверить продолжение прежнего диалога. В нём может остаться ответ со старым согласующим, даже когда поиск уже обновлён. Для нового вопроса о действующем порядке ассистент должен заново опереться на подходящий источник и не повторить прежнюю инструкцию только потому, что она есть в истории разговора.
Проверку полезно проводить до подключения подготовленной редакции к рабочим ответам, а затем повторять после переключения на неё. Если две инструкции по-разному определяют порядок согласования возврата, применимое правило выбирает владелец процесса. До уточнения ассистенту стоит сообщать о противоречии документов и направлять сотрудника к владельцу процесса.
Если действующая инструкция однозначна, но ассистент назвал прежнего согласующего, технический ответственный проверяет, какие фрагменты получил ИИ и откуда взялось устаревшее указание. После исправления сотрудник клиентского сервиса повторяет проверку ответа.
Как проверить ответы ИИ-ассистента после смены документа
Для проверки нужен небольшой набор вопросов по изменённому правилу и по связанным положениям, которые должны остаться прежними. Для каждого вопроса заранее записывают дату ситуации, ожидаемый ответ и подходящий источник. Сверять нужно содержание ответа и документ по ссылке, включая его редакцию и дату действия.
Ниже авторский образец проверки для условной розничной сети. Все записи в таблице составлены для этого вымышленного примера.
| Что изменилось или какой вопрос задан | Что должно быть в ответе | Кто подтверждает |
|---|---|---|
| С 22 октября заменён согласующий нестандартный возврат. | Для ситуации 22 октября назван руководитель клиентского сервиса и дана ссылка на действующую редакцию. | Владелец процесса и сотрудник клиентского сервиса. |
| Загружена редакция, которая вступит в силу 26 октября. | В ответе о 22 октября сохраняется действующий порядок. В ответе о будущих изменениях названа дата 26 октября. | Владелец процесса. |
| Задан вопрос о порядке, действовавшем 21 октября. | Используется историческая редакция, согласующим назван руководитель магазина. | Владелец процесса. |
| Действующую инструкцию отозвали без замены или в действующих документах найдено противоречие. | Для текущего вопроса нет категоричной инструкции. Указано, что правило нужно уточнить у владельца процесса. | Владелец процесса. |
| Повторён прежний вопрос в новом и в старом диалоге. | Ответ о текущем порядке основан на действующей редакции; прежний согласующий не возвращается из сохранённого ответа или истории. | Технический ответственный и сотрудник клиентского сервиса. |
Правильная фамилия или должность в одном ответе ещё не подтверждает обновление всей базы. Нужно проверить связанные вопросы, сохранность неизменившихся правил и доступность документов по ссылкам. В записи о проверке стоит оставить вопросы, ответы, использованные редакции и найденные расхождения.
Если новый документ уже действует, а обновлённый поиск не прошёл проверку, автоматический возврат к прежней инструкции может дать сотрудникам устаревший порядок. Для затронутого вопроса лучше временно направлять сотрудника к владельцу процесса. Возвращать прежнюю редакцию в текущие ответы можно только после подтверждения, что она остаётся применимой.
Как определить срок обновления базы знаний
Допустимую задержку между утверждением документа и его применением в ответах определяет компания. Она зависит от последствий устаревшего ответа. Для инструкции, меняющей маршрут обработки обращения с определённой даты, обновление и проверку стоит подготовить к этой дате. Для справочного материала может подойти плановая обработка изменений.
В кейсе ИТ-Телеком о поиске по проектной документации разобран запуск корпоративной базы знаний. После запуска команде нужен порядок сопровождения источников, поскольку документы продолжают меняться.
Начать я рекомендую с одного изменяемого регламента. Назначить владельца, записать даты действия редакций, проследить замену в поиске и проверить ответы до и после обновления. Результатом такой работы станет согласованный порядок, по которому команда сможет принимать следующие изменения базы знаний.
