提示词库/任务指令/统计联网搜索的 Token 消耗 统计联网搜索的 Token 消耗
中文exp-2448未验证
统计联网搜索的 Token 消耗
使用 $web_search 时,搜索结果同样会被计入提示词所占用的 Tokens(即 prompt_tokens)。通常情况下,联网搜索的结果包含的内容众多,最终产生的 Tokens 消耗也会更多;为了避免在不知情的情况下消耗大量 Tokens,模型在生成 $web_search 的参数 arguments 时,会在其中的 usage 对象下额外添加一个 total_tokens 字段(读取路径为 arguments.usage.total_tokens),用于告知调用方本次搜索内容总共占用的 Tokens 数量,这些 Tokens 将会在完成整个联网搜索流程时计入 prompt_tokens。
以下示例演示如何读取搜索结果占用的 total_tokens,以及整轮对话的 Tokens 消耗:
from typing import *
import os
import json
from openai import OpenAI
from openai.types.chat.chat_completion import Choice
client = OpenAI(
base_url="https://api.moonshot.cn/v1",
api_key=os.environ.get("MOONSHOT_API_KEY"),
)
复制后粘贴到 AI 对话框发送,本次对话全程生效
出处:Kimi/Moonshot 官方提示词指南 · platform.moonshot.cn/docs/guide/use-web-search · 可信度 S · 标签:中文 / 提示词工程 / 少样本 / Kimi / 联网搜索 怎么用(对话型)复制后粘贴到对话框发送,本次对话全程生效。想长期用:支持自定义指令的产品(设置→个性化)可设为默认。