Какие сообщения ИИ может отправлять сам, а какие требуют согласования: матрица риска для коммуникаций
ИИ может корректно подтвердить встречу, а следующим сообщением придумать скидку, срок или позицию компании. Риск возникает не тогда, когда модель пишет текст, а когда этот текст уходит адресату от имени бизнеса. Основатель и генеральный директор AiHummer Леон Сокиркин разбирает в Pressfeed.Журнале, какие сообщения можно автоматизировать, где нужен контроль человека и как настроить понятные правила согласования.
По данным исследования Почты Mail и Hi-Tech Mail, проведённого среди 12 тысяч россиян, 63% участников называют главным эффектом ИИ в деловой переписке экономию времени. При этом автоматизацию ответов на повторяющиеся вопросы используют только 16%. Разрыв понятен: поручить нейросети черновик психологически проще, чем дать ей право нажать «Отправить».
В проектах по внедрению ИИ-агентов я регулярно вижу одну ошибку: границу автономии пытаются провести по качеству текста. Если модель отвечает грамотно, ей разрешают больше. Но грамотность не равна полномочию. Вежливое письмо может раскрыть чужие данные, зафиксировать неподтверждённый срок или создать у клиента ожидание компенсации. Поэтому оценивать нужно не красоту формулировки, а последствия отправки.
Право написать и право отправить — разные полномочия
Скачать PDF-инструкцию «Где и как публиковать широкоохватные статьи бесплатно»Пока текст остаётся черновиком, ошибка локальна: сотрудник может перепроверить факт, заменить формулировку или удалить сообщение. После отправки меняется не только технический статус. Появляется внешний адресат, который вправе воспринимать письмо, пост или ответ чат-бота как позицию компании.
Показателен канадский спор Moffatt v. Air Canada. Чат-бот авиакомпании неверно объяснил порядок получения льготного тарифа. Air Canada пыталась отделить ответы чат-бота от собственной информации, но трибунал этот довод не принял. Это иностранное решение и не российский прецедент, однако управленческий вывод универсален: для клиента нет отдельной «позиции нейросети», если сообщение пришло из официального канала бизнеса.
В России дополнительную осторожность создаёт сама природа электронной переписки. Статья 434 ГК РФ допускает заключение договора путём обмена электронными документами и иными данными, если можно достоверно определить отправителя. Это не означает, что любое письмо автоматически становится договором. Но обещания о цене, сроке, объёме работ или компенсации нельзя считать безобидным текстом только потому, что их сформировал ИИ.
Черновик, публикация и обещание: три разных действия
Один и тот же текст может иметь разный уровень риска в зависимости от того, что система собирается с ним сделать. Удобно разделить процесс на три действия.
- Черновик. ИИ предлагает формулировку, краткое резюме, перевод или структуру ответа. Внешнего последствия пока нет, поэтому свобода модели максимальна.
- Отправка или публикация. Сообщение получает клиент, партнёр, журналист, подписчик или сотрудник. Его можно переслать, процитировать или сохранить, даже если позже текст будет удалён.
- Обязательство или решение. Сообщение устанавливает цену, срок, скидку, гарантию, компенсацию, официальную позицию либо влияет на права и интересы человека. Здесь ИИ не должен получать полномочие из собственной уверенности.
Важно не путать публикацию с технической доставкой. Если человек утвердил неизменяемый пост, его размещение по расписанию — обычная автоматизация. Если перед публикацией модель заново меняет цифры, заголовок, ссылки или формулировки, возникает новое сообщение — и прежнее согласование на него уже не распространяется.
Как оценить риск сообщения до отправки
Канал сам по себе почти ничего не решает. Личное письмо клиенту может быть опаснее публичного поста с заранее утверждённым текстом. Перед выдачей права на автономную отправку нужно ответить на пять вопросов.
- Кто адресат? Один сотрудник, конкретный клиент, неопределённая группа, СМИ, регулятор.
- Что делает сообщение? Только информирует, убеждает, обещает, признаёт факт, меняет условие или запускает действие.
- Откуда взяты факты? Из одной актуальной учётной системы, из нескольких проверенных источников или из свободного контекста.
- Какие данные внутри? Публичные, внутренние, персональные, кадровые, коммерчески чувствительные или относящиеся к безопасности.
- Можно ли исправить последствия? Черновик легко заменить; отправленное письмо уже влияет на ожидания; публичную цитату или платёж быстро не отозвать.
Стоп-факторы важнее среднего уровня риска
Оценка не должна превращаться в арифметику, где опасный признак компенсируется несколькими безопасными. Если есть хотя бы один стоп-фактор, сообщение переводится на согласование независимо от уверенности модели.
- новая цена, скидка, компенсация, гарантия, срок или иное индивидуальное условие;
- признание нарушения, вины, причины сбоя или ответственности;
- обращение к СМИ, регулятору, суду либо публичное заявление от имени компании;
- кризис, претензия, конфликт, утечка данных или инцидент безопасности;
- неподтверждённые сведения либо противоречие между источниками;
- персональные, кадровые или конфиденциальные данные без явно разрешённого сценария;
- оценка кандидата, сотрудника, заёмщика, пациента или другого человека;
- новый сценарий, которого ещё нет во внутренней политике.
Высокая уверенность модели не подтверждает ни факт, ни право действовать. Модель может очень убедительно сформулировать то, чего компания не обещала и что сотрудник не уполномочен подтверждать.
Практическая матрица: что ИИ отправляет сам
Ниже — рабочая матрица для настройки коммуникаций. Это не юридическая норма и не отраслевой стандарт, а способ быстро распределить реальные сценарии по режимам. Самое важное правило: если система не смогла однозначно классифицировать сообщение, по умолчанию она сохраняет черновик, а не отправляет его.
| Режим | Примеры сообщений | Как работает контроль |
| Зелёная зона Автономно | Подтверждение получения обращения; напоминание о согласованной встрече; статус из учётной системы; ссылка на утверждённую инструкцию; запрос недостающего номера. | Только утверждённый сценарий, однозначный адресат и разрешённый источник. Нет новых условий, свободных прогнозов и чувствительных данных. Каждая отправка логируется. |
| Жёлтая зона Автономно с условиями | Типовой ответ из базы знаний; уточняющий вопрос в поддержке; рутинный follow-up; внутреннее уведомление, собранное из нескольких систем. | Порог уверенности, проверка актуальности, лимиты частоты, выборочный контроль. Жалоба, деньги, исключение или противоречие немедленно повышают уровень. |
| Оранжевая зона До отправки — человек | Ответ на негатив; индивидуальное коммерческое предложение; перенос срока; возврат или компенсация; новый пост; комментарий журналисту; письмо с внутренними данными. | ИИ готовит финальный черновик и показывает источники. Владелец темы проверяет адресатов, вложения, цифры и обещания, затем подтверждает именно эту версию. |
| Красная зона Коммуникацией руководит человек | Кризисное заявление; письмо регулятору или по претензии; признание ответственности; кадровое решение; сообщение об утечке; акцепт условий; распоряжение деньгами. | У ИИ нет права отправки. Он может собирать факты и готовить варианты, но позицию, круг согласующих и момент отправки определяют уполномоченные сотрудники. |
Одна тема — разные уровни риска
Матрица становится понятной на парах сообщений. Разница почти всегда не в тоне, а в том, появляется ли новое обещание, оценка или неподтверждённый факт.
Поддержка: статус — можно, компенсацию — на согласование
Можно автоматически: «Обращение № 418 принято. Текущий статус — “назначен специалист”».
Нужен человек: «Мы точно решим вопрос сегодня и компенсируем задержку».
В первом случае номер и статус получены из системы, а сообщение ничего не обещает сверх уже зафиксированного процесса. Во втором одновременно появляются прогноз, обязательство по сроку и финансовое последствие. Даже если оператор часто отвечает так вручную, это не делает сценарий безопасным для свободной генерации.
Продажи: встречу напомнить можно, условия сделки — нельзя
Можно автоматически: «Встреча подтверждена на 4 сентября, 14:00. Ссылка для подключения: …»
Нужен человек: «На встрече мы утвердим скидку 20% и зафиксируем цену до конца года».
ИИ может отправлять календарные данные, если берёт их из назначенного источника и не меняет. Индивидуальная скидка, обещание зафиксировать цену или эксклюзивность — зона владельца коммерческих условий. Исключение возможно, если цена и срок уже утверждены в справочнике, а агент лишь точно передаёт их без права отклонения.
PR и СМИ: ИИ ускоряет подготовку, но не становится спикером
На сервисе журналистских запросов Pressfeed журналист публикует тему, вопросы и дедлайн, а эксперт отвечает и может получить упоминание в СМИ. ИИ способен найти подходящий запрос, собрать фактуру, сверить дедлайн и подготовить черновик. Но сам комментарий должен подтвердить спикер или ответственный за PR: цитата будет опубликована от имени конкретного человека, а не модели.
Автоматически можно отправить нейтральное подтверждение получения запроса, если оно не обещает ответ к неподтверждённому времени. Новый пост, пресс-релиз, ответ на негатив, публичная цифра или позиция по спорной теме требуют проверки финальной версии. Фраза «не для публикации» сама по себе не заменяет договорённость о конфиденциальности.
Рассылки: согласие адресата — отдельное условие
Рекламную рассылку нельзя автоматически считать зелёным сценарием только потому, что текст утверждён. Статья 18 закона «О рекламе» связывает распространение рекламы по сетям электросвязи с предварительным согласием адресата. Она также запрещает использовать для рекламы средства автоматического выбора или набора абонентского номера без участия человека. Поэтому перед запуском нужны проверенные основание контакта, назначение сообщения и правила конкретного канала; спорные случаи должен оценивать специалист.
Как настроить согласование сообщений ИИ
Рабочий approval-процесс начинается не с выбора модели, а с инвентаризации исходящих действий. Нельзя написать одно правило «письма клиентам согласовывать»: подтверждение получения заявки и изменение цены находятся в одном канале, но имеют разную цену ошибки.
- Соберите реальные сценарии. Возьмите письма, сообщения, комментарии, посты и уведомления за последние недели. Группируйте их по цели, а не по каналу.
- Назначьте владельца каждого сценария. Это может быть поддержка, продажи, PR, финансы, HR, информационная безопасность или руководитель процесса.
- Зафиксируйте разрешённые источники. Для статуса — CRM или учётная система; для встречи — календарь; для справки — утверждённая база знаний с датой актуальности.
- Определите предел переменных. Что агент вправе менять: имя, номер заявки, фактический статус, время? Что запрещено генерировать: цена, причина, обещание, оценка?
- Вынесите стоп-факторы за пределы модели. Модель может предложить класс риска, но право отправки должен проверять отдельный набор детерминированных правил.
- Начните с теневого режима. ИИ готовит ответы, однако фактическую отправку выполняет сотрудник. Исправления превращаются в новые правила и тестовые случаи.
- Открывайте автономию по одному сценарию. Сначала зелёные операции с одним источником данных и минимальными последствиями, затем — жёлтые с выборочным контролем.
Что должен видеть согласующий
Согласование не работает, если сотруднику показывают только красивый текст и кнопку. На одном экране должны быть:
- полный финальный текст без скрытых подстановок;
- все адресаты, канал и планируемое время отправки;
- ссылки и вложения, которые реально уйдут вместе с сообщением;
- выделенные цены, сроки, гарантии, компенсации и другие обещания;
- источник каждого значимого факта и время его обновления;
- разница между согласованным шаблоном и текущей версией;
- присвоенный уровень риска и причина эскалации.
Подтверждать нужно конкретную версию целиком. Изменился адресат, текст, ссылка, файл или сумма — прежнее согласование больше не действует.
Какие технические ограничения нужны кроме согласования
Одна галочка «human in the loop» не создаёт контроль. В актуальном профиле NIST AI RMF для генеративного ИИ выделены 12 групп рисков и более 200 рекомендуемых действий. Практический вывод для коммуникаций прост: нужны не только люди, но и чёткие роли, источники, журналы и план реакции на ошибку.
- Минимальные права. Агент видит только нужные данные и не может сам расширить список адресатов, каналов или действий.
- Белые списки. Разрешённые шаблоны, домены, получатели, базы знаний и типы вложений задаются заранее.
- Разделение данных и инструкций. Текст входящего письма — недоверенные данные. Он не должен менять системную политику или давать агенту новые полномочия.
- Проверка конфиденциальности. Данные минимизируются до необходимого объёма. Статья 7 закона № 152-ФЗ требует не раскрывать персональные данные без согласия субъекта, если иное не предусмотрено законом.
- Защита от дублей и всплесков. Нужны идентификаторы операций, лимиты частоты и блокировка повторной отправки при сбое.
- Журнал действий. Сохраняются исходные факты, версия политики, финальный текст, адресат, решение согласующего и результат доставки.
- Аварийная остановка. Ответственный может одним действием отключить отправку, отозвать токен или перевести весь контур в режим черновиков.
Что измерять после запуска
Считать только долю автоматических ответов опасно: система легко улучшит этот показатель, если начнёт отправлять больше сомнительных сообщений. Нужны одновременно метрики скорости и безопасности.
- доля черновиков, которые человек существенно изменил;
- доля сообщений, переведённых на более высокий уровень риска;
- ошибки в адресате, ссылке, вложении, сумме, дате или статусе;
- число исправлений и отзывов после отправки;
- жалобы, отписки и повторные обращения;
- среднее время ответа и ожидания согласования;
- предотвращённые отправки по стоп-факторам;
- инциденты с несанкционированным обещанием или раскрытием — целевое значение здесь всегда ноль.
Полезно анализировать показатели отдельно по каждому сценарию. Общая точность модели скрывает разницу между безобидной ошибкой в приветствии и неверной суммой в коммерческом предложении.
Чек-лист: можно ли разрешить автономную отправку
ИИ можно дать право отправить сообщение без предварительной проверки, только если одновременно выполнены все условия:
- сценарий заранее описан и утверждён;
- адресат определён однозначно;
- канал разрешён для этого типа сообщения;
- факты получены из назначенного актуального источника;
- сообщение не создаёт новых обязательств и решений;
- в нём нет неразрешённых персональных или конфиденциальных данных;
- текст не относится к конфликту, кризису или публично значимой позиции;
- ссылки и вложения проверены;
- есть защита от дублей и лимит частоты;
- отправку можно отследить и оперативно остановить.
Если хотя бы один пункт не выполнен, безопасный результат — черновик в очереди на проверку. Это не провал автоматизации, а штатная работа границы полномочий.
Что в итоге?
Зрелая автоматизация начинается не с права ИИ отправлять всё подряд, а с права остановиться. Чем точнее компания определит зелёную зону, тем больше рутинных сообщений она сможет отправлять без ручной проверки — и тем меньше времени люди будут тратить на согласования, которые действительно ничего не защищают.
ИИ получает автономию там, где адресат известен, факты берутся из разрешённого источника, данные допустимы, полномочия заранее ограничены, а последствия обратимы. Человек остаётся в контуре там, где появляются деньги, обещания, права людей, конфиденциальность, спор или публичная репутация. Хороший ИИ-агент — не тот, кто отправляет без пауз, а тот, кто точно знает, где заканчивается его право действовать.
Комментарии