先用便宜模型,需要时再升级:按任务路由 LLM 请求
简单问题交给便宜模型,难的升级到更强的模型,用一个 API key 完成。附可运行的 Python 代码和 10 条消息的成本与延迟实测。
如果你的客服机器人把每条消息都发给旗舰模型,账单里大部分钱都花在了”怎么重置密码”这类问题上。解决办法是两步调用:便宜模型先答,并标出自己不该处理的消息,只有这些消息才交给更强的模型。本文用大约 30 行 Python、一个兼容 OpenAI 的端点实现这个流程,并报告 10 条消息的实际花费。路由逻辑由你自己写,SandBase 提供两个模型共用的一个 key 和一个 base URL。
先说结论
- 做法:
google/gemini-3.5-flash-lite先答,返回带escalate标记的 JSON;标记为 true 时,同一条消息再发给anthropic/claude-sonnet-5.5。- 2026-11-22 的一次 10 条消息实测(6 条简单、4 条困难):路由总花费 $0.0205,全部发给 Sonnet 5.5 是 $0.0287,少 29%。6 条简单消息省了 87%。4 条困难消息反而多花 3%,因为先付了便宜模型的一次尝试,再付强模型的回答。
- 被升级的消息更慢(平均约 8.3 秒,对比 6.0 秒),简单消息平均更快(约 3.0 秒,对比 4.7 秒),但 6 条里有 2 条更慢。每条只跑了一次,耗时仅供参考。
- 能省多少取决于你的流量构成。按这批数据,困难消息占到约 90% 时成本优势才会消失(由 10 条消息外推),但困难消息超过约 40% 后,平均延迟就会变差。
escalate是模型自己的判断。要记录它,抽查未升级的回答,并为高风险场景保留基于规则的强制升级。
做法
三个部分:
- 便宜模型先答。 它拿到的上下文和强模型相同,必须按固定 JSON 格式回答:
answer、escalate、reason。 - 在提示词里写清升级规则。 需要计算、一条消息包含多个问题、涉及法律威胁或政策例外、或上下文不足以完整回答时,要升级。
- 强模型兜底。
escalate为 true 或 JSON 解析失败时,用原始消息调用强模型,丢弃便宜模型的回答。 两次调用用同一个base_url和 key,换模型只是改一个字符串。这是统一端点省下的部分:不用第二个 SDK,也不用第二个计费账户。
两个模型和价格
本次实测用了 SandBase 目录里的两个模型。下表是 2026-11-22 通过 SandBase inspect 接口取得的每百万 token 标价。当天模型页显示有 10% 和 15% 的折扣,本文的成本数字没有计入折扣,实际账单可能更低。
| 角色 | 模型 | 输入 / 百万 token | 输出 / 百万 token |
|---|---|---|---|
| 便宜的第一步 | google/gemini-3.5-flash-lite | $0.30 | $2.50 |
| 强模型兜底 | anthropic/claude-sonnet-5.5 | $2.00 | $10.00 |
| SandBase 上的 Gemini 3.5 Flash-Lite,2026-11-22(UTC)截图。页面当天显示比标价低 10%。 | |||
| SandBase 上的 Claude Sonnet 5.5,2026-11-22(UTC)截图。页面当天显示比标价低 15%。 | |||
| 只要便宜模型支持 JSON 输出、强模型在你的难题上明显更好,换成别的组合也行。选型前先用自己的数据测一下。 |
代码
安装 OpenAI SDK,把 key 导出为 SANDBASE_API_KEY,然后运行:
import json, os, re
from openai import OpenAI
client = OpenAI(base_url="https://api.sandbase.ai/v1", api_key=os.environ["SANDBASE_API_KEY"])
CHEAP, STRONG = "google/gemini-3.5-flash-lite", "anthropic/claude-sonnet-5.5"
POLICY = "..." # 你的客服政策或知识库片段
ANSWER = "You are Acme Cloud support. Answer only from the policy below. Be concise.\n\n" + POLICY
ROUTE = ANSWER + """
Reply with JSON only: {"answer": "...", "escalate": true|false, "reason": "..."}.
Set escalate=true if the question needs calculation, combines several issues, involves a legal
threat or an exception to policy, or you are not certain the policy fully answers it.
Otherwise escalate=false."""
def ask(model, system, message, **kw):
r = client.chat.completions.create(
model=model, max_tokens=800,
messages=[{"role": "system", "content": system}, {"role": "user", "content": message}], **kw)
return r.choices[0].message.content, r.usage
def route(message):
raw, usage = ask(CHEAP, ROUTE, message, response_format={"type": "json_object"})
try:
out = json.loads(re.search(r"\{.*\}", raw, re.S).group(0))
if not out["escalate"]:
return out["answer"], "cheap", usage
except (AttributeError, KeyError, ValueError):
pass # JSON 解析失败视为需要升级
answer, usage2 = ask(STRONG, ANSWER, message)
return answer, "strong", usage2有三个细节:
- 强模型用普通提示词,不用 JSON 提示词。 它负责回答,不用再自我评估。
- 解析失败就升级。 便宜模型返回了损坏的 JSON,说明这条消息不简单。
- 成本核算。 每个响应都有
usage.prompt_tokens和usage.completion_tokens,乘以上表的价格即可。升级时要把便宜模型那次调用也算上,因为你为它付了钱。上面的route函数为简洁只返回最后一次调用的 usage,生产里请把两次相加。
实测结果
测试集是 10 条客户消息,针对一份虚构的简短政策(套餐、退款、重置密码、SSO、故障补偿)。6 条是查询类,4 条需要算数、同时包含多个问题或涉及政策例外。基线是 10 条全部发给 Sonnet 5.5,路由版本用的逻辑与上面的代码相同,脚本略长一些。
每条消息的路由、成本和耗时。成本由每个响应里的 token 用量和上表标价计算得出。
| 全部用 Sonnet 5.5 | 路由 | 变化 | |
|---|---|---|---|
| 6 条简单消息,成本 | $0.01008 | $0.00126 | -87% |
| 4 条困难消息,成本 | $0.01859 | $0.01922 | +3% |
| 全部 10 条,成本 | $0.02868 | $0.02048 | -29% |
| 简单消息,平均耗时 | 4.7 秒 | 3.0 秒 | 6 条中 4 条更快 |
| 困难消息,平均耗时 | 6.0 秒 | 8.3 秒 | 更慢 |
| 这些数字能说明什么、不能说明什么: |
- 4 条困难消息全部被升级,6 条简单消息都没有。 四条困难消息里,有两条便宜模型自己的草稿明显不完整:1000 美元年付套餐的退款问题,它只复述了政策,没有算出金额;带法律威胁的那条,它引用了政策,却没有回应威胁。Sonnet 的回答一步步算出了退款(按对按比例规则的一种明确解读是 $495.83),并指出了政策没有覆盖的地方。
- 困难消息走路由会略贵。 这是便宜模型那次尝试的代价。每条简单消息约省 $0.0015,每条困难消息约多花 $0.0002,所以按这批数据,困难消息占到约 90% 之前都是省的。这个临界点是由 10 条消息外推的。延迟会更早变差:升级的消息超过约 40% 后,平均耗时就变长。
- 10 条消息只是演示,不是基准测试。 测试集是为本文编写的,回答通过查找预期的政策事实并人工阅读来检查,每个耗时只来自一次调用。依赖这个节省比例之前,请用你自己的工单重建测试。
上线时的保护措施
- 抽查便宜模型的回答。 风险在于
escalate: false的自信错误回答。随机抽 2-5% 未升级的回答,交给人工或强模型对比。 - 在模型之前加硬规则。 超过一定金额的退款、法律用语、账号删除和任何受监管事项,应直接跳过便宜模型。关键词检查不花钱。
- 记录
reason。 升级原因能告诉你便宜模型会把哪类问题交出去,以及哪些提示词需要收紧。 - 限制重试。 升级一次就够了。强模型也失败的话,转人工。
- 监控升级比例。 接近 0 说明规则太松,接近 100% 说明路由只是增加成本。
什么时候别用
- 大部分流量都很难:省得越来越少,而且每条升级的消息都更慢。
- 困难路径上延迟比成本重要,比如实时语音:两步路径会多出几秒。
- 每月请求不到几千条:工程时间比省下的钱更贵。
动手试试
拿到 key 后,可以用自己的消息测试 Gemini 3.5 Flash-Lite 和 Claude Sonnet 5.5 这一组。想了解替你做路由的网关产品,见 LiteLLM 与 OpenRouter 对比和 OpenRouter 替代方案。想知道困难场景该为哪个旗舰模型付费,见值得付费的旗舰 AI 模型。
常见问题
做这个需要路由产品吗?
不需要。这里的路由就是一段提示词加一个 if。想把路由规则、预算和日志放在代码之外管理时,网关才有价值。
为什么不让强模型也来判断?
那样每条消息都要付强模型的钱,就失去意义了。便宜模型只需要知道自己什么时候不够用。
SandBase 会替我在模型之间路由或回退吗?
不会。本教程里由你决定哪条消息交给哪个模型,SandBase 只提供两个模型共用的一个 key 和一个端点。
便宜模型该选哪个?
选能稳定返回合法 JSON、并且通过你的简单用例的最便宜的那个。用自己的消息跑两三个候选,比较成本、准确率和升级比例。
觉得有用?分享给更多人