Session 缓存

存储初始信息 ，同时 随每一轮对话动态更新缓存 。在新一轮请求，将缓存信息与输入信息一起输入给模型进行推理。适合在多轮对话、多轮工具调用等场景使用。 原理图 说明 用户创建缓存时，方舟将信息处理为可直接用于模型推理的 Tokens 存入缓存，并生成 ID 作为 Key。 方舟收到新请求，计算好新输入的 Tokens，并根据请求中的缓存 ID 取对应信息 Tokens 拼接后输入给模型推理。 模型返回信息，方舟 将回复信息的 Tokens 存储入缓存 中，供下次请求时使用。 原理图 说明 用户创建缓存时，方舟将信息处理为可直接用于模型推理的 Tokens 存入缓存，并生成 ID 作为 Key。 方舟收到新请求，计算好新输入的 Tokens，并根据请求中的缓存 ID 取对应信息 Tokens 拼接后输入给模型推理。 模型返回信息，方舟 将回复信息的 Tokens 存储入缓存 中，供下次请求时使用。