За 10 дней расходы на диалоги упали с 10 500 до 5 800 боткоинов. Минус 46,2%. Бот тот же, логика та же – изменили только структуру базы знаний. Так закончился один из проектов на NextBot.
У клиента уже был настроенный агент. Он корректно консультировал пользователей, опирался на базу знаний и в целом решал свою задачу. Но у проекта была слабая сторона – высокая стоимость диалога.
При небольшом количестве обращений это могло быть терпимо. Но на реальном потоке каждый лишний токен превращался в регулярные дополнительные расходы. Поэтому клиенту понадобилась не полная пересборка бота, а техническая оптимизация. Задача звучала так: найти причину перерасхода, снизить стоимость диалога минимум на 20–30%, не уронить качество ответов.
О клиенте и исходной ситуации
Ниша: продажа мототехники
Связка: Авито → Битрикс24 → NextBot
К интегратору обратился клиент, у которого уже был рабочий ИИ-агент на NextBot. Его настраивал другой специалист.
ИИ-бот:
- консультирует;
- «прогревает» клиента;
- не просто рассказывает о товаре, а идет на сайт, находит модель байка, говорит о ней, дает рекомендации;
- берет номер телефона клиента.
Менеджеру остается только заключить сделку.
Бот по логике и качеству ответов он был собран сильно. Проблема была не в сценарии общения, а в расходах. Диалоги стоили слишком дорого, и при росте нагрузки экономика проекта начинала проседать.
Задача
Цель проекта:
- найти причину высокого расхода;
- снизить стоимость диалогов хотя бы на 20–30%;
- не ухудшить качество ответов;
- проверить изменения на реальных пользователях.
Почему высокая стоимость диалога – это проблема
В ИИ-агентах есть две важные метрики.
Первая – качество ответа:
- Понимает ли бот запрос?
- Не выдумывает ли информацию?
- Помогает ли клиенту?
Вторая – стоимость ответа. Сколько ресурсов уходит на один диалог?
Если бот каждый раз подтягивает слишком большой объем информации, использует перегруженную базу знаний или работает с неудачно структурированными данными, он может отвечать правильно, но дорого.
На 20 диалогах это может быть почти незаметно. На сотнях и тысячах обращений – превращается в постоянную существенную статью расходов.
Что проверили на старте
Чтобы найти причину высокой стоимости диалога, проверили промпт, базу знаний, настройки.
- Аудит промпта. Посмотрели, нет ли в инструкции лишних блоков, повторов, тяжелых формулировок, которые увеличивают контекст.
- Аудит базы знаний. Проверили, как устроены материалы, из которых бот берет ответы.
- Гипотеза со справочниками. Попробовали перенести данные из базы знаний в справочники.
- Неожиданный результат. Справочники начали тратить больше токенов, чем исходная база знаний.
В процессе была гипотеза: если перенести информацию из базы знаний в справочники, расход снизится. Но тест показал обратное: в конкретной конфигурации справочники начали расходовать еще больше токенов.
Отсюда важный вывод: универсального решения «всегда переносить все в один инструмент» нет. Экономика зависит от структуры данных, логики поиска и сценария общения.
Рабочее решение: оптимизировали исходную базу знаний
Вместо того чтобы пересобирать бота с нуля, интегратор вернулся к исходной базе знаний, которая уже хорошо работала по качеству ответов.
Это были просто выжимки информации в json формате. Таких баз было около 15. Когда ИИ-боту нужно было ответить на вопрос, он сначала читал информацию по многим ненужным данным в этот момент.
Далее интегратор оптимизировал структуру базы знаний:
- разбил крупные блоки на более мелкие;
- убрал лишнее;
- задал ключевые слова, чтобы бот точно знал, по каким триггерам идти в базу;
- сделал поиск по базе более точным;
- сократил объем информации, который бот подтягивал в диалог без необходимости.
На первой базе знаний стояли настройки «Число результатов 4», «процент совпадений 10%». Это говорит о том, что ИИ буквально читает всегда всю базу. Она отвечала шикарно, но «съедала» много денег.
Из-за того что интегратор разбил базу знаний на мелкие кусочки и задал ключевые слова как маяки для ИИ, куда и зачем идти, он снизил «число результатов до 3» и поднял «процент совпадений до 35%».
До оптимизации бот мог подтягивать слишком большой объем информации, даже если клиенту нужен был один конкретный фрагмент.
После оптимизации база стала работать точнее: бот быстрее находил нужный кусок и не тащил за собой лишний контекст.
Проверка: качество ответов не просело
После оптимизации провели тест с владельцем бота.
Он проверил, как агент отвечает по основным сценариям, задавал типовые вопросы и сравнивал качество ответов с прежней версией.
Результат оказался лучше ожидаемого: бот не только сохранил качество консультации, но в некоторых ситуациях стал отвечать точнее.
Это произошло из-за более чистой структуры базы знаний. Агенту стало проще находить нужную информацию и меньше отвлекаться на лишние материалы.
Боевой тест: 10 дней на реальных пользователях
После внутренней проверки изменения запустили в боевой режим.
В течение 10 дней бот работал на реальных пользователях. На этом этапе оценивали уже не гипотезы, а фактический расход.
Важно было проверить два параметра:
как изменилась стоимость диалогов;
сохранилось ли качество ответов в реальной нагрузке.
Результат: 46,2% экономии
За 10 дней боевого теста через бота прошло 432 диалога.
- До оптимизации: 10 500 боткоинов
- После оптимизации: 5 800 боткоинов
Экономия: 46,2%
Изначально интегратор рассчитывал довести экономию хотя бы до 20-30%. Фактический результат оказался почти в два раза выше минимальной цели.
При этом качество ответов сохранилось. Владелец бота отметил, что агент отвечает так же корректно, а местами даже лучше.
Ключевой результат проекта – не просто снижение расходов. Интегратор сохранил уже работающую логику бота, не стал ломать удачную настройку и доработал именно те места, которые влияли на экономику – структуру базы знаний и точность поиска.
Вывод
Не каждый бот, который хорошо отвечает, работает выгодно. Корректный ответ в чате не означает, что бизнес не переплачивает.
У бота могут быть скрытые потери:
- слишком длинный промпт;
- перегруженная база знаний;
- дублирующиеся материалы;
- неудачная структура документов;
- лишние данные, которые каждый раз попадают в контекст;
В этом проекте не пришлось ничего ломать. Сильную часть оставили, слабую – переделали. За 10 дней расход упал на 46,2% при сохранении качества ответов.
Для бизнеса это означает меньшую стоимость эксплуатации ИИ-агента. Для интеграторов – пример того, как можно приносить клиенту ценность не только через запуск новых ботов, но и через оптимизацию уже работающих решений.