工作原理

向支持隐式缓存的模型发送请求时，该功能会自动开启，工作原理如下。 缓存创建： 系统会基于请求输入的 公共前缀 进行缓存。当某次请求完成推理后，系统可能将其输入中可复用的 前缀片段 写入缓存，以便后续请求在 相同前缀 出现时复用。 缓存命中： 当后续请求的输入在开头部分与已有缓存条目存在 相同前缀 时，系统会尝试复用这段前缀对应的缓存结果，从而减少重复计算。 不保证命中： 缓存容量有限，旧缓存可能被淘汰；分布式路由也会影响命中概率。 不保证最长前缀命中： 系统会综合考虑可用资源与命中收益，命中长度可能不是全局最长命中的那一段。 缓存命中条件： 缓存块达到对应模型的最小门槛后，才可能会被系统识别并参与命中匹配。 默认：缓存块最少为 1024 tokens。即请求输入最少为 1024 tokens，才有可能触发缓存命中。 部分模型：缓存块最少为 2048 tokens。即请求输入最少为 2048 tokens，才有可能触发缓存命中。适用模型： doubao-seed-2-1-turbo-260628 、 glm-5-2-260617 、 deepseek-v4-pro-ga-260813 、 deepseek-v4-flash-ga-260731 、 deepseek-v4-pro-260425 、 deepseek-v4-flash-260425 。 说明 通过 API 响应字段 usage.prompt_tokens_details 判断是否命中隐式缓存： 命中： cached_tokens > 0 未命中： cached_tokens = 0