Fable 5.1 长任务怎么验收?跨仓库修改、失败恢复与费用

SandBase 用跨两个仓库升级账单客户端的示例,说明 Fable 5.1 长任务如何验收:兼容测试、工具超时后的检查、重试上限和实际完成一项任务的费用。

假设代码 Agent 跑了三个小时,告诉你“账单客户端升级完成”:客户端自己的测试通过了,另一个仓库的调用方却还在发送旧格式请求。这能算 Fable 5.1 做完了吗?不能,还要确认两边能一起工作。这篇 SandBase 文章面向准备验收代码修改的开发者,用这个假设任务说明要检查什么;它是评估设计,不是一轮已经完成的多小时实测。

先说结论

  • Fable 5.1 面向多步骤编程和工具任务,但运行了几小时不等于任务完成。
  • 客户端和调用方都要测试,不能为了通过而削弱原来的兼容性断言。
  • 工具超时后,先确认写入是否完成,再决定是否重试。
  • 比较费用时计入失败和重跑,不能只看缓存读取单价。

Anthropic 把 Fable 5.1 定位为适合运行数小时、跨越多个应用的模型,场景包括跨代码库改造、代码审查、浏览器操作和异步 Agent。版本变化与调用型号见 Claude Fable 5.1 介绍;本篇只回答更具体的问题:长任务必须交出哪些结果,你才能合并它的代码?

评估这次发布,应该看完整执行过程:

读取上下文 -> 规划 -> 修改 -> 测试 -> 检查 -> 恢复 -> 交付

模型可能让这条链路更稳定,但链路本身仍然需要由你的系统设计来负责。

Anthropic 官方发布页中的 Fable 5.1 性能曲线 Anthropic 用不同推理档位展示了 Fable 5.1 的成绩与推理成本关系。

长任务为什么容易失败

长任务会放大小错误。第一轮计划漏掉一个约束,几轮之后就可能变成错误的文件修改;测试失败后,Agent 可能通过削弱断言来“修好”测试;工具超时可能被误判成写入成功;上下文压缩可能保留最新症状,却丢掉最初的验收标准。

Fable 5.1 的产品叙事正好针对这些问题。Anthropic 表示,它会尝试修复根因而不是症状,在步骤失败时恢复,并编写测试检查自己的工作。这些是有价值的行为倾向,但不是保证。生产 Agent 仍需要可观察状态和明确的停止条件。

给 Fable 5.1 配置工具、时限和验收规则

Harness 指管理模型工具调用、任务状态与测试的外围程序。可以为每个任务提供这样的配置示例:

{
  "goal": "升级账单客户端",
  "acceptance": ["测试通过", "保持 API 向后兼容"],
  "budget": {"minutes": 45, "tool_calls": 80},
  "artifacts": ["plan.md", "diff.patch", "test-report.json"]
}

然后把五件事分开:

  1. 规划: 修改前必须先输出短计划。
  2. 变更: 只允许写入明确的工作区。
  3. 验证: 独立运行测试并检查生成物。
  4. 恢复: 把失败分类为代码、环境、工具或策略失败。
  5. 交付: 只有机器检查完验收标准后,才允许报告成功。

这样,“Agent 跑了三个小时”才会变成可审计的执行记录,也能让模型比较更公平:测量完成任务数、重试次数、工具调用和人工介入,而不是只比较一次提示词的输出观感。

发布案例真正展示了什么

Anthropic 官方发布页中的 Fable 5.1 GPU 优化结果 GPU Kernel 案例说明,长任务的价值来自可执行验证,而不只是生成看起来正确的代码。

Anthropic 的客户案例值得注意,是因为它们描述的是完整流程。Millennium 表示,Fable 5.1 追踪了一次极罕见的崩溃,从 core dump(程序崩溃时保存的内存记录)一路查到外部供应商库;MongoDB 则表示,模型先研究大规模服务代码和文档,再给出可扩展设计,随后无人值守运行数小时,最后交付带证据的可视化演示。

这些是客户案例,不是独立复现实验。但它们说明了目标能力:跨阶段坚持、寻找外部证据,以及产出人类可以审阅的交接物。

你可以用类似结构做内部评估:加入隐藏回归、残缺文档、偶发工具故障,并要求最终提交报告。一个只能生成看似合理的补丁、却解释不了测试覆盖范围的模型,还不能算完成任务。

成本与延迟上升为系统问题

Anthropic 官方发布页中的 Fable 5.1 缓存成本对比 官方成本章节把缓存读取与其他 Token 分开计算,并分别给出普通任务和重度 Agent 任务的节省幅度。

长程 Agent 的花费不只在最终回答。上下文读取、重试、工具调用、截图、浏览器会话和评估器运行,都可能主导账单。Fable 5.1 的缓存读取价格是每百万 Token 0.25 美元,输入和输出分别为 10 美元与 50 美元;这些价格有参考价值,却不能单独预测一项任务的总成本。

至少应记录:每个验收通过任务的成本、从开始到结束的实际耗时中位数与第 95 百分位(P50/P95)、失败后重试次数、需要人工介入的运行比例,以及“报告成功”后发生回滚的比例。

真正应该比较的不是“每个 Token 哪个模型更便宜”,而是“哪个模型能以更少的总监督,把经过验证的变更送进生产”。

仍然需要哪些边界

不要因为 Agent 能处理错误,就给它无限制凭证。应使用短期 Token、隔离 checkout、网络白名单,以及针对部署和不可逆操作的审批闸门。还要记录工具的输入输出,让审阅者能在上下文压缩后重建执行过程。

如果实际执行工具是 Claude Code,可先按 Auto Mode 改回手动审批的步骤做一次临时文件演练,再交给它跨仓库任务。模型能力与工具的审批设置要分开检查。

同时要考虑安全路由。Anthropic 说明,大多数 Claude 应用会把被标记的网络安全与生物学请求转给其他 Claude 模型,直连 API 客户则需要配置 Fallback API(回退接口)。不能据此认定所有第三方接口都会自动重试。服务返回实际型号或回退信息时应一并记录;未返回时标记未知,不能只凭请求型号判断所有回答来自同一模型。

如果 Fable 5.1 确实让整条动作执行过程更可靠,它的工程价值就不在“一次回答更聪明”,而在“一个任务更可能完整交付”。下一步是给这项能力配上可检查的规划、失败、测试和交接机制。

与普通编码 Agent 的比较

工作流短程编码助手Fable 5.1 式长程运行Harness 还需要补什么
小函数或解释通常已经够用往往没有必要基础 lint 与单元测试
跨仓库改动需要人频繁接管面向更长的自主阶段工作区快照与验收测试
罕见线上 Bug可能停在第一个合理原因可以检查产物并继续追踪core dump、符号访问与证据日志
浏览器或多应用工作需要手工衔接工具可以协调多个应用每个工具的权限与可重放记录

模型并不是每一行都自动更好。单文件修改通常更适合便宜、快速的模型;当上下文丢失、反复交接或漏掉根因的成本更高时,Fable 的额外推理投入才更有价值。

用一次跨仓库修改验收 Fable 5.1

下面是评估设计示例,不是已经完成的跑分。假设要升级账单客户端:调用方位于两个仓库,旧版接口仍需兼容。不要只要求“升级依赖并修好测试”,而应把旧接口样本、期望返回值和不可修改的测试先固定下来。

检查点必须留下的结果不能算通过的情况
修改前两个仓库的提交号、现有失败测试、依赖版本把原有失败算到新补丁头上
修改后两侧补丁、旧接口兼容测试、构建退出码只测试客户端,没有测试调用方
工具超时原始错误、写入是否完成的检查结果未确认状态就重复执行写入
交付时在干净工作目录重新运行的命令与结果、未完成项靠本机残留文件才通过,或修改断言掩盖错误

让候选模型使用相同工具、45 分钟时限和 80 次工具调用预算;这些数字只是示例,可按任务规模调整。达到上限仍未通过,就保存补丁与失败日志,交给人决定是否继续,而不是继续消耗到“看起来完成”。

如果要看已有运行记录,可先读同一道 3D 游戏题的 Astra 与 Fable 对比。它包含实际输出与费用,但只代表那组任务。通用的目标丢失原因另见代码 Agent 跑久了为什么会忘记目标,本篇重点是 Fable 长任务的验收方式。

FAQ

Fable 5.1 只是更贵的代码补全模型吗?

不是。它针对的是需要工具和验证的多阶段任务。不过对于小改动,额外能力未必值得增加的价格和延迟。

可以让它无人值守跑一夜吗?

只能在一次性或隔离工作区内,并配置短期凭证、网络限制、检查点以及部署审批闸门。“无人值守”应表示减少监督频率,而不是授予无限权限。

怎样和其他模型公平比较?

固定代码版本、提示词、工具列表、超时、采样设置和验收测试,同时报告首轮成功率、验收成功率、总 Token、重试、耗时和人工介入。Fable 直接回答与 Opus 回退回答必须分开记录。

工具失败后应该怎么做?

Agent 应分类失败、保留原始错误,只做有依据的最小修改,再运行相关检查。如果它无法区分环境失败和代码失败,就应该暂停并请求人工判断。

试跑前核对模型和账单

9 月 9 日核对的 SandBase Fable 5.1 模型页列出调用名 anthropic/claude-fable-5.1。开始前,在该页确认所选接口的请求格式。SandBase 提供模型接入;示例需要的代码仓库、浏览器、测试环境与部署权限,仍由你的程序提供。收到一条成功的 API 响应,不等于这些测试已经运行过。

把官方价格与实际账单分开记录。缓存读取为 0.25 美元/百万 Token,并不表示每个任务都省 75%;新输入、输出、缓存写入、工具费用和失败重跑都需要计算。接入服务未返回内部回退型号时,标记“未披露”,不要凭回答风格猜测。

来源(2026 年 9 月 9 日核对):Claude Fable 产品页Fable 5.1 / Mythos 5.1 发布页及客户证言SandBase Fable 调用入口。本次补清评估场景和 API 的职责,没有新增长任务跑分。