Token caching: what gets cheaper and what does notКэш токенов: за что вы платите меньше, а за что нет
Cached input costs less than regular input, but the provider turns it on, not you. What agents and bots should watch so repeated context does not inflate the bill.Кэшированный вход дешевле обычного, но включает его провайдер, а не вы. Что учитывать в агентах и ботах, чтобы повторы контекста не раздували счёт.
How it worksКак это работает
When a provider marks part of the input as cached, those tokens are billed at a lower rate. The cache price is on the model card.Если провайдер пометил часть входных токенов как кэшированные, они считаются по более низкой ставке. Цена кэша указана на карточке модели.
The gateway cannot force caching. The provider decides. The gateway only reads the usage block in the response and bills it correctly.Шлюз не может включить кэш принудительно. Это решает провайдер. Шлюз только читает блок usage из ответа и считает его правильно.
Where caching helpsГде кэш помогает
Agents with a large system prompt and context that repeats. If every step carries the same instruction block, caching can cut the input price noticeably.В агентах с большим системным промптом и повторяющимся контекстом. Если каждый шаг тащит один и тот же блок инструкций, кэш заметно снижает цену входа.
Bots with a fixed persona and a knowledge base that stays the same between messages.В ботах с фиксированной персоной и базой знаний, которая не меняется между сообщениями.
Where it does notГде не помогает
When the context is new every time: user documents, one-off queries, a long thread with no repeating part.Когда контекст каждый раз новый: пользовательские документы, разовые запросы, длинная переписка без повторяющейся части.
When more tokens come out than go in. Caching applies to input, not output.Когда выходит больше токенов, чем входит. Кэш касается входа, а не выхода.