Когда компания переводит AI-фичи из стадии экспериментов в боевую эксплуатацию, расходы на вызовы языковых моделей начинают расти непропорционально бизнес-результату. Причина большинства раздутых счетов — архитектурная инерция: разработчики продолжают отправлять все запросы подряд в самую крупную и дорогую флагманскую модель с тяжелым системным контекстом.
Инженерный аудит типичного enterprise-контура показывает, что от 60% до 80% токенов тратятся впустую. Применение нескольких базовых техник FinOps позволяет сократить ежемесячные затраты на инференс в 3–5 раз, не ухудшая пользовательский опыт.
1. Префиксное кэширование (Prompt Caching)
Современные корпоративные промпты часто содержат огромные неизменяемые преамбулы: инструкции по форматированию, примеры (few-shot), схемы валидации и нормативные регламенты компании. Этот контекст может занимать 5 000 – 20 000 токенов, которые передаются в модель с каждым новым обращением пользователя.
Ведущие провайдеры (Anthropic, OpenAI, Google) и современные движки локального инференса (vLLM, SGLang) поддерживают кэширование префиксов KV-кэша на уровне инфраструктуры:
- Повторные токены из начала промпта тарифицируются со скидкой от 50% до 80% относительно стандартной цены входных токенов.
- Время до первого токена (TTFT) снижается в несколько раз, так как серверу не требуется заново вычислять внимание для статической части.
Чтобы кэширование работало эффективно, структура запроса должна быть строго стандартизирована: статическая часть (системная инструкция, база знаний) помещается строго в начало, а динамические данные (пользовательский ввод, текущая дата, ID сессии) — в самый конец. Случайная вставка временных меток в начало промпта полностью сбрасывает кэш для всей последующей цепочки.
2. Каскадный роутинг (Model Cascading)
Далеко не каждая задача требует мощности топовой модели. В реальном потоке запросов:
- Около 50–70% задач тривиальны: классификация входящих писем, извлечение именованных сущностей (ИНН, сумма, дата), генерация стандартных подтверждений.
- Лишь 20–30% требуют глубокого сопоставления контекстов, сложной логики и устойчивости к неоднозначностям.
Каскадный роутер выстраивает многоуровневую обработку:
- Первый уровень (L1): компактная и быстрая модель (например, класс моделей 7B/8B локально или легковесные API-модели стоимостью менее $0.20 за миллион токенов вроде Haiku 5.5).
- Оценка уверенности: если модель возвращает уверенный результат с высокой вероятностью (или проходит валидацию схемы без ошибок), ответ отдается в систему.
- Эскалация (L2): при неоднозначности, ошибке валидации схемы или низкой внутренней оценке confidence запрос автоматически перенаправляется во флагманскую модель.
Такая схема снижает среднюю стоимость одного обработанного документа на 65–75% при сохранении итогового качества на уровне флагманских моделей.
3. Семантическое кэширование ответов
Традиционное HTTP-кэширование по точному совпадению текста запроса в LLM-приложениях почти бесполезно: пользователи формулируют одни и те же вопросы разными словами.
Семантический кэш решает эту проблему за счет векторных представлений (эмбеддингов):
- Входящий запрос преобразуется в вектор с помощью дешевой эмбеддинг-модели.
- Производится поиск по векторному индексу прошлых запросов.
- Если косинусное сходство превышает заданный порог (например, 0.94–0.96) и ответ признан актуальным по TTL, система мгновенно возвращает готовый ответ из кэша.
Стоимость вычисления одного эмбеддинга в сотни раз ниже вызова генеративной модели, а время ответа сокращается с нескольких секунд до 10–20 миллисекунд.
План действий для оптимизации
Для снижения расходов на инференс рекомендуется начать с трех шагов:
- Аудит токенов: настроить сквозное логирование входящих и исходящих токенов в разрезе фичей и промптов, чтобы выявить 20% самых дорогих запросов.
- Стабилизация префиксов: зафиксировать порядок секций в системных промптах для максимального попадания в Prompt Cache провайдера.
- Выделение легковесных шагов: убрать вызовы флагманских моделей из задач классификации и форматирования данных, передав их валидаторам схем и компактным SLM.