AI-агенты для бизнеса: как проверить и оценить эффект

AI-агентом имеет смысл называть систему, которая самостоятельно выбирает следующее действие, использует разрешённые инструменты и доводит бизнес-процесс до проверяемого состояния. Красивого ответа в чате для этого недостаточно. При выборе решения нужно измерять не долю диалогов без оператора, а стоимость корректно решённого обращения, после которого клиент не вернулся с той же проблемой.

Дальше — как отличить агента от чат-бота, где он ломается и по какой формуле считать эффект. Если процесс уже понятен и нужен разбор под свои обращения — это внедрение ИИ-агентов.

AI — artificial intelligence, искусственный интеллект. В этой статье AI-агент и ИИ-агент используются как равнозначные термины.

Быстрый ответ ещё не означает, что проблема клиента решена

Размытый термин создаёт вполне материальную проблему. Компания покупает систему как цифрового сотрудника, а получает генератор сообщений: он отвечает быстро, но не проверяет остаток, не меняет стадию сделки, не фиксирует следующий шаг и не умеет безопасно передать работу человеку.

Даже высокая автономность сама по себе не доказывает экономический результат. Платформа Excella обработала в проектах более 6 800 диалогов, причём 98% ответов ушли без оператора. Это данные эксплуатации, а не контрольный эксперимент и не отраслевая норма. В них отдельно не измерялись повторные обращения с той же проблемой, поэтому превращать 98% в обещание экономии нельзя.

Почему это важно, показывает полевой эксперимент на 2,56 млн чатов. Средняя доля клиентов, повторно обратившихся с той же проблемой в течение трёх дней, составляла 38%. AI ускорял диагностику и улучшал субъективные оценки, но статистически значимо не уменьшал повторные обращения. Молчание после ответа оказалось недостаточным признаком решения.

Другой полевой анализ работы 5 172 специалистов поддержки зафиксировал рост числа решённых обращений в час в среднем на 15%. Наибольший эффект получили менее опытные сотрудники; у сильнейших специалистов выигрыш был небольшим и местами сопровождался снижением качества.

Главный вывод для бизнеса: ценность создаёт не автономный разговор, а корректное изменение процесса без повторной работы, необоснованного риска и скрытой нагрузки на сотрудников.

Четыре признака системы, которую можно называть AI-агентом

AI-агент — это программная система, которая получает цель и контекст, самостоятельно выбирает последовательность разрешённых действий, меняет состояние внешней системы и проверяет достигнутый результат.

У такого решения должны одновременно присутствовать четыре свойства:

• Автономный выбор действия. Система решает, запросить ли дополнительные сведения, обратиться ли к базе знаний, проверить ли данные в учётной системе или передать задачу человеку.
• Доступ к инструментам. Агент не только формирует текст, но и вызывает разрешённые функции: создаёт сделку, проверяет статус, готовит документ или ставит задачу.
• Состояние и рабочая память. Система понимает, что уже произошло в текущем процессе, какие данные подтверждены и какой следующий шаг ожидается.
• Проверяемый результат. Завершение определяется состоянием процесса, а не последней репликой модели. Например, карточка заполнена, задача назначена, клиент получил подтверждённый статус.

Если система только генерирует ответ по инструкции или базе знаний, перед нами помощник либо чат-бот. Агентом она становится в момент, когда сама выбирает действие и контролируемо меняет внешний объект.

Четыре класса систем: от сценарного бота до мультиагентного контура

RAG — retrieval-augmented generation, генерация ответа с поиском контекста во внешней базе знаний. Эта технология помогает отвечать по документам компании, но сама по себе не превращает чат в агента.

CRM — customer relationship management, система управления взаимоотношениями с клиентами.

Мультиагентность не является автоматическим преимуществом. Если один управляемый агент способен выполнить процесс, добавление новых ролей увеличивает число переходов, стоимость контроля и поверхность ошибок.

Что находится внутри промышленного AI-агента

Рабочий контур обычно включает классификацию намерения, получение контекста, планирование, вызов функций, проверку результата и эскалацию. Большая языковая модель, или LLM — large language model, отвечает за понимание текста и выбор следующего шага, но надёжность всей системы определяется не только моделью.

Модель понимает запрос, но не является источником истины

Модель может распознать намерение клиента и сформировать план. Остатки, цены, статус сделки, условия договора и полномочия пользователя она должна получать из разрешённых источников, а не восстанавливать по вероятности.

Инструменты ограничивают реальные полномочия

Для каждого действия нужны отдельная функция, проверка входных данных и журнал результата. Безопаснее предоставить агенту узкую функцию создания черновика, чем прямой доступ к произвольному изменению базы.

Необратимые или финансово значимые действия должны подтверждаться человеком. В проектах Excella человек подтверждает, например, отправку коммерческого предложения, предоставление скидки и ответ на негативный отзыв.

Память должна отделять факты от неподтверждённого текста

История диалога не равна достоверному состоянию сделки. В памяти следует различать слова клиента, сведения из учётной системы, результат выполненной функции и предположение модели.

Эскалация проектируется до запуска

Передача человеку должна срабатывать не только при технической ошибке. Основаниями могут быть низкая уверенность, конфликт данных, запрос на исключение из правил, эмоциональное обострение или действие за пределами полномочий.

Рандомизированный полевой эксперимент показал, что раннее подключение человека помогает при технической эскалации, но хуже компенсирует уже возникшее эмоциональное обострение. Поэтому передавать диалог после окончательного провала поздно: условия эскалации должны учитывать развитие разговора.

Контур оценки нельзя прикручивать после пилота

В пяти промышленных внедрениях развитие системы оценки дало в одном сценарии прирост на 37 процентных пунктов по транзакционной оценке и на 29 процентных пунктов по самообслуживанию относительно предыдущей версии агента. Это не универсальный прогноз, а результат конкретного внедрения с нераскрытым объёмом соответствующего A/B-теста. Практический смысл исследования в другом: инструкции, процедуры, инструменты, память и тесты должны версионироваться раздельно.

Какие работы агент может забрать у отдела продаж

В проектах Excella агенты выполняют шесть групп работ:

• обрабатывают входящие обращения, задают квалифицирующие вопросы и передают менеджеру подходящие заявки;
• создают и заполняют сделки в CRM, меняют стадии и ставят задачи;
• транскрибируют звонки, готовят саммари, фиксируют договорённости и следующий шаг;
• собирают коммерческие предложения, счета и договоры по утверждённым шаблонам;
• готовят ответы на отзывы с подтверждением со стороны сотрудника;
• формируют для руководителя отчёт по обращениям, закрытым задачам и застрявшим сделкам.

В одном из проектов агент автоматически собрал более 920 целевых B2B-лидов: находил релевантные запросы в профессиональных сообществах, квалифицировал контакты и сохранял источник с контекстом. В другом процессе мониторинг предложений сократил путь от публикации до карточки для сотрудника до нескольких минут. Эти результаты относятся к конкретным проектам и не гарантируют такой же эффект в другой нише.

Практическое внедрение на площадке объявлений разобрано отдельно в кейсе внедрения на маркетплейс-площадке. Для исходящих коммуникаций полезен материал про холодный email-аутрич в B2B.

Где AI-агент полезен, а где его лучше ограничить

Агент хорошо подходит для процесса, если входящие данные меняются, но набор допустимых действий ограничен и результат можно проверить. Например, система может собрать параметры заявки, сопоставить их с правилами, создать карточку и передать её ответственному сотруднику.

Детерминированный сценарий остаётся предпочтительнее, когда операция полностью описывается правилами и ошибка недопустима. Пятимесячный полевой эксперимент 2025 года зафиксировал рост полезной обратной связи на 10,74% и снижение передачи диалога человеку на 2,22%, однако для простых операций и действий в учётных системах детерминированные сценарии оставались эффективнее.

Главное ограничение автономных агентов — повторяемость. На рецензируемом бенчмарке с розничными и авиационными сценариями лучшие исследованные агенты завершали менее 50% задач. Вероятность правильного результата во всех восьми повторах в розничном домене была ниже 25%. Проверялся не стиль ответа, а конечное состояние данных после диалога.

Второе ограничение — скрытые инструкции во внешнем контенте. Письмо, веб-страница или вложение могут содержать команду, которая пытается изменить поведение агента. В red-team-исследовании американского института стандартов и технологий NIST более 250 тыс. атак от более чем 400 участников проверяли 13 передовых моделей. Хотя бы одна успешная атака была найдена для каждой модели.

Отсюда следуют обязательные ограничения: минимальные права функций, отделение внешних данных от системных инструкций, подтверждение необратимых действий и журналирование каждого вызова.

Что это значит для бизнеса: автономность следует расширять только там, где компания умеет автоматически проверить итог и восстановить состояние после ошибки.

Проверять это стоит на своём потоке обращений: демонстрационный диалог подбирают под удачный сценарий, а ваши заявки приходят вперемешку с пограничными случаями. Разбор процесса и внедрение ИИ-агентов начинаются с пилота на четыре недели, где способ расчёта стоимости подтверждённого решения фиксируется до старта.

Почему доля диалогов без оператора завышает эффект

Диалог без сотрудника может закончиться по разным причинам: вопрос решён, клиент устал уточнять, ответ оказался непонятным или пользователь решил вернуться позже. Метрика автономности объединяет эти исходы и поэтому не должна быть главным показателем окупаемости.

Повторное обращение превращает автономность в скрытую нагрузку

Полевой эксперимент на 2,56 млн чатов не означает, что 38% — норма для любой компании. Показатель зависел от процесса, канала и определения повторного обращения. Но исследование доказывает саму проблему: быстрый ответ и хорошая оценка не гарантируют, что вопрос закрыт объективно.

Для собственного процесса нужно заранее определить:

• какой идентификатор связывает обращения одного клиента;
• какой период используется для поиска возврата;
• что считается той же проблемой;
• как учитывается обращение через другой канал;
• кто подтверждает корректность решения в спорных случаях.

Измеримая лишняя нагрузка считается так:

число AI-диалогов × прирост доли повторных обращений

Денежная цена повторов:

лишние обращения × полная стоимость человеческого решения

Один успешный прогон не доказывает надёжность

LLM-агент может выбрать разные действия при одинаковом входе. Поэтому демонстрация одного удачного диалога показывает возможность, но не повторяемость.

Проверять нужно три уровня результата:

• содержание ответа клиенту;
• последовательность вызванных функций;
• конечное состояние CRM, документа или учётной системы.

Если ответы различаются стилистически, но приводят к одному корректному состоянию, это может быть допустимо. Если в одном прогоне создана задача, а в другом она пропущена, система нестабильна независимо от качества текста.

Юридический риск не помещается в продуктовую метрику

До пилота нужно определить, какие персональные данные получает агент, где они хранятся, кто является оператором и кому поручена обработка. По статьям 6, 18 и 22 закона № 152-ФЗ оператор обычно уведомляет Роскомнадзор до начала обработки, обеспечивает локализацию предусмотренных операций с данными граждан РФ в базах на территории России и оформляет поручение внешнему исполнителю. Ответственность перед субъектом данных остаётся у оператора.

Если журнал диалогов, запись голоса или история клиента передаются иностранному получателю, могут применяться правила статьи 12 закона № 152-ФЗ о трансграничной передаче. Наличие первой базы в России само по себе не отменяет требования к последующей передаче.

При инциденте оператор должен сообщить Роскомнадзору в течение 24 часов, а результаты внутреннего расследования — в течение 72 часов. Статья 13.11 КоАП РФ предусматривает для юридических лиц штраф от 1 млн до 3 млн рублей за несвоевременное сообщение об инциденте. Утечка данных более 100 тыс. субъектов или более 1 млн идентификаторов может повлечь штраф от 10 млн до 15 млн рублей. При повторном нарушении из предусмотренных составов применяется оборотный штраф от 1% до 3% выручки, не менее 20 млн и не более 500 млн рублей. Эти положения введены законом № 420-ФЗ и действуют с 30 мая 2025 года.

Следовательно, верхняя граница 500 млн рублей относится не к любой ошибке AI-агента, а к повторному правонарушению при условиях, установленных КоАП РФ.

Стоимость подтверждённого решения: формула вместо тарифа за сообщение

Основной показатель следует считать так:

Стоимость подтверждённого решения = (инференс + поиск контекста + интеграции + мониторинг и тестирование + контроль качества + человеческие эскалации + амортизация внедрения + ожидаемая стоимость ошибок) / число корректно решённых обращений без повтора за выбранный период

Инференс — вычислительные расходы на выполнение модели. В совокупную стоимость также входят хранение данных, журналирование, обслуживание интеграций и проверка качества.

TCO — total cost of ownership, совокупная стоимость владения. Считать только тариф за сообщение нельзя: дешёвая генерация может сопровождаться дорогими эскалациями, ручной проверкой и исправлением данных.

Эксперимент на 300 корпоративных задачах и шести конфигурациях показал, что варианты с максимальной точностью стоили в 4,4–10,8 раза дороже экономически эффективных вариантов при сопоставимом результате. Это исследовательский препринт, а не готовый ценовой ориентир для российского рынка.

Условный расчёт без выдуманного тарифа

Пусть компания за выбранный период знает:

• фактическую стоимость платформы и вычислений — A;
• стоимость интеграций, мониторинга и доработок — B;
• полную стоимость человеческих эскалаций — C;
• ожидаемую стоимость ошибок — D;
• число обращений без повтора в согласованном окне — Q.

Тогда:

Стоимость подтверждённого решения = (A + B + C + D) / Q

Для решения о запуске результат сравнивают с полной стоимостью того же процесса без агента. Универсального рублёвого бенчмарка нет: стоимость зависит от сложности действий, качества базы знаний, доли эскалаций и цены ошибки.

Чистый эффект можно проверить формулой:

Эффект = объём подходящих обращений × доля подтверждённых решений × стоимость человеческого решения − постоянные расходы − переменные расходы AI − стоимость ошибок − контроль качества

Формула полезна ещё до получения фактических значений: она показывает, какие данные компания обязана начать собирать до пилота.

Как проверить AI-агента на реальных обращениях

Демонстрационный диалог почти всегда проще производственного потока. Для приёмки нужен фиксированный набор из 30–50 обезличенных реальных обращений: обычные запросы, пограничные случаи, конфликтующие сведения, эмоциональные сообщения и попытки выйти за полномочия.

Каждое обращение прогоняют через агента N раз. Для каждого повтора фиксируют:

• классифицированное намерение;
• полученный контекст и его источник;
• выбранный план;
• вызванные функции и параметры;
• ответ функции;
• конечное состояние внешней системы;
• решение об эскалации;
• итоговую оценку проверяющего.

Расхождения делятся на три группы:

• допустимое различие формулировок при одинаковом корректном результате;
• различие маршрута без влияния на итог и риск;
• функциональное расхождение, при котором действие пропущено, выполнено неверно или изменило не тот объект.

Третья группа должна рассматриваться как дефект, даже если финальный текст выглядит убедительно.

Что принимать по итогам четырёхнедельного пилота

До запуска

• Выбрать один процесс с проверяемым результатом.
• Зафиксировать подходящие и неподходящие категории обращений.
• Определить окно повторного обращения и способ связывания каналов.
• Измерить текущую стоимость человеческого решения.
• Согласовать допустимые действия, подтверждения и основания эскалации.
• Определить контур персональных данных, локализацию и договорное поручение обработки.
• Зафиксировать пороги по ошибкам, повторам, эскалациям и стоимости решения.

Во время пилота

• Сохранять версии инструкций, инструментов и базы знаний.
• Журналировать вызовы функций и изменения внешних систем.
• Учитывать все расходы, включая доработки и ручной контроль.
• Связывать повторные обращения с исходным диалогом.
• Разбирать функциональные расхождения на фиксированной тестовой выборке.

Пилот считается провальным

Провал определяется не универсальным процентом, а заранее согласованными границами. Пилот не принят, если стоимость подтверждённого решения выше установленного потолка, доля повторов или ошибок превышает базовый уровень, агент не воспроизводит критические действия, журнал не позволяет восстановить ход операции либо контур персональных данных не определён.

Такой порядок защищает от ситуации, когда критерии успеха меняются после получения неудобных результатов.

Из чего складывается стоимость внедрения AI-агента в России

Цена внедрения состоит не из одной лицензии. В расчёт входят:

• обследование процесса и описание целевого результата;
• подготовка базы знаний и правил;
• разработка функций для CRM и учётных систем;
• развёртывание на сервере клиента или в российском облаке;
• настройка ролей, журналирования и подтверждений;
• тестирование на реальных обращениях;
• мониторинг, контроль качества и последующие доработки;
• вычислительные расходы и поиск контекста;
• работа сотрудников при эскалациях.

Отдельно следует уточнить, входят ли в договор подготовка данных, новые интеграции, распознавание звонков и документов, нагрузочное тестирование и сопровождение после пилота.

В Excella пилот занимает четыре недели, имеет фиксированную цену в договоре, а схема разбора процесса остаётся у клиента. Однако даже фиксированная цена пилота не заменяет расчёт TCO после масштабирования.

Для узкого входящего сценария полезно отдельно посмотреть, сколько стоит AI-виджет для сайта. Если задача связана не с автоматизацией процесса, а с ростом числа обращений, сначала стоит проверить как увеличить конверсию сайта.

Как перейти от одного процесса к цифровому сотруднику

Начинать следует с процесса, где есть достаточный поток однотипных обращений, ограниченный набор действий и наблюдаемый итог. После четырёхнедельного пилота автономность расширяют только для успешно проверенных категорий.

Практическая последовательность выглядит так:

• сначала агент читает контекст и готовит черновик;
• затем выполняет обратимые действия с обязательным журналом;
• после проверки повторяемости получает ограниченную автономность;
• критичные решения по-прежнему подтверждает человек;
• новые функции добавляются отдельными версиями и проходят тот же тест.

Так агент постепенно превращается из помощника в цифрового сотрудника отдела продаж, не получая широких полномочий раньше, чем компания научилась контролировать результат.

Провалы, которые делают пилот убедительным только на демо

• Считать молчание клиента решением. Это завышает автономность и скрывает повторную нагрузку.
• Проверять только текст. Агент может правильно ответить, но неверно изменить карточку или не поставить задачу.
• Использовать один успешный прогон. Возможность выполнить сценарий не равна устойчивости.
• Автоматизировать исключения раньше основного потока. Редкие случаи требуют больше контекста и чаще создают дорогие ошибки.
• Давать широкие права одной функции. Чем больше полномочий, тем выше последствия ошибочного вызова или скрытой внешней инструкции.
• Подключать человека слишком поздно. После эмоционального обострения эскалация хуже восстанавливает качество разговора.
• Обсуждать персональные данные после интеграции. Контур хранения, поручение обработки и трансграничная передача должны определяться до загрузки реальных диалогов.
• Покупать тариф вместо результата. Низкая цена сообщения не показывает расходы на контроль, повторы, эскалации и исправления.

Вывод

AI-агент начинается не с генерации текста, а с контролируемого действия во внешней системе. Принимать его нужно по конечному состоянию процесса, повторяемости на фиксированных кейсах, числу возвратов с той же проблемой и полной стоимости корректного решения.

Высокая доля ответов без оператора может быть полезным сигналом, но не доказательством окупаемости. До масштабирования необходимо связать повторные обращения, учесть эскалации и ошибки, проверить права функций и определить контур персональных данных.

Если хотите проверить агента на своих обращениях, а не на демо, разберём процесс и запустим пилот по внедрению ИИ-агентов на четыре недели с фиксацией способа расчёта стоимости подтверждённого решения до старта. Другие практические материалы собраны в разделе все материалы про AI.

Автор материала

Максим Сивцев

Основатель и генеральный директор Excella

Все материалы автораПрофиль