无需配置,缓存自动命中
中文exp-2430未验证
无需配置,缓存自动命中
Context Caching 采用全自动缓存机制,你只需像平常一样调用 API:
无需手动创建:系统会自动识别并缓存高频使用的初始上下文。
无需引用缓存 ID:调用 /v1/chat/completions 时按正常方式传入 messages 即可,系统会在后台自动匹配缓存。
无需管理 TTL:缓存的生命周期由系统自动管理,无需人工干预。
系统会在合适的时机自动触发缓存优化。
当前一个请求的 prompt tokens 大于 256 时,新的请求才能命中前缀缓存;当前一个请求的 prompt tokens 小于 256 时,请求不会被缓存而是被丢弃。
复制后粘贴到 AI 对话框发送,本次对话全程生效
怎么用(对话型)复制后粘贴到对话框发送,本次对话全程生效。想长期用:支持自定义指令的产品(设置→个性化)可设为默认。