前缀缓存

存储初始信息，在每次对话时无需更新。可预先将角色设定、背景知识等初始化信息存入缓存，后续调用时通过缓存引用直接复用，无需重复发送相同内容，从而减少重复计算、降低使用成本。适用于标准化对话开场白、特定任务指令、规则化模板、超长文本深度分析等静态 Prompt 模板的反复使用场景。 原理图 说明 用户创建缓存时，方舟将信息处理为可直接用于模型推理的 Tokens 存入缓存，并生成 ID 作为 Key。 方舟收到新请求，计算好新输入的 Tokens，并根据请求中的缓存 ID 取对应信息 Tokens 拼接后输入给模型推理。 模型输出回复信息，无需更新缓存中的信息。 原理图 说明 用户创建缓存时，方舟将信息处理为可直接用于模型推理的 Tokens 存入缓存，并生成 ID 作为 Key。 方舟收到新请求，计算好新输入的 Tokens，并根据请求中的缓存 ID 取对应信息 Tokens 拼接后输入给模型推理。 模型输出回复信息，无需更新缓存中的信息。