专栏思考题参考答案
01|Maker/Checker 如何防“共谋”
思考题原文:
在宪法一中我们提到,为了防止模型“幻觉终止”,需要引入独立校验节点来判断目标是否真正达成。但如果执行 Agent 为了尽快完成任务,伪造了看似成功的“证据”(比如假装跑了测试、或者生成了假的成功日志)传给校验模型,导致校验模型也产生了误判。
如何设计更健壮的 Maker/Checker 机制,来防范这种“执行模型欺骗校验模型”的共谋风险?
参考答案:
别让 Checker 读 Maker 写的成功日志,那等于让被告自己写判决书。Maker 只提交产物引用、commit hash、测试命令和参数;Checker 用独立身份在干净环境拉取固定版本,重新跑测试,并查询 CI、对象存储、工单和目标系统的真实状态,证据必须由这些外部系统签发。能用退出码、哈希、状态码判定的,就不要交给模型判断。只有语义质量这类没法机验的部分,才交给低温度、不同模型族的裁判按 rubric 打分,并随机化材料顺序、保留分歧。主观任务可以多评委,但仍然有误判概率,不能包装成零风险。
参考来源:
https://platform.claude.com/docs/en/agents-and-tools/tool-use/how-tool-use-works
https://claude.com/blog/building-effective-human-agent-teams
02|多步写操作部分成功怎么办
思考题原文:
本讲通过
ToolMeta让 Loop 实现了并发控制和红绿灯重试。但假设模型在一次回复中连续生成了两个有前后依赖的写操作(例如:先调用freeze_account冻结账户,再调用send_email发送冻结通知)。Loop 将它们串行执行时,第一步成功了,但第二步因网络问题连续重试失败最终报错。此时系统留下了“账户已冻结但未通知”的脏状态。在传统软件开发中,我们靠数据库事务(ACID)来保证要么全成功要么全失败;但在 Agent 架构中,工具调用往往是跨网络的独立 API,没有数据库事务可以依托。
你能否在 Agent Loop 层面设计一种通用的机制,来解决这种“多步写操作的部分成功”问题?
参考答案:
这类跨服务写操作不要指望 ACID,应该提升为持久化 Workflow/Saga。每个动作在执行前登记幂等键、前后置条件、补偿动作和可逆性,失败后按 LIFO 逆序补偿,补偿本身也要幂等。冻结账户和发送通知如果允许最终一致,更稳的是 Outbox:冻结事务同库写待发事件,后台 Worker 至少一次投递,消费端去重。若要求同成同败,只有确认邮件没发出才能解冻;响应未知时先查询投递状态或对账,不能盲目回滚。补偿再失败就进入 ROLLBACK_PENDING 挂起人工。邮件、扣款这类不可逆动作尽量放在链路最后。
参考来源:
03|超级客服如何动态切换角色且工具不超过 20 个
思考题原文:
这节课我们通过
ToolRegistry实现了 L1/L2/L3 三层架构,用角色隔离解决了工具混淆问题。但现实中有一种更麻烦的场景:同一个 Agent 在一次对话中,需要跨越多个角色边界——比如一个“超级客服 Agent”,在同一轮对话里既需要查客户 CRM 数据(crm 角色工具),又需要处理工单(cs 角色工具),还要偶尔查账单(billing 角色工具)。如果把所有角色的工具都加载进来,候选集就超过了 20 个上限;如果每次只加载一个角色,又无法在对话中灵活切换。你能设计一种机制,让超级 Agent在对话过程中 根据当前对话轮的意图,动态切换活跃角色,同时保证候选集始终不超过 20 个吗?
提示:可以想想,这节课第三部分那套多维度评分的思路,能不能反过来用——不是从工具库里检索工具,而是从角色库里检索“该激活哪个角色”?
参考答案:
把角色当成工具目录的二级索引,而不是让模型在一大堆工具里硬选。每轮 PREPARE 根据当前意图、实体、动作和 Plan 下一步,对 CRM、客服、账单等角色卡打分,只激活一个主角色,必要时带一个只读副角色;常驻工具、主角色工具和少量副角色工具加起来硬截断到 20。为了防抖,只有模型本轮确实调用了副角色写工具,下一轮才把它升成主角色,并加冷却和意图相似度阈值。跨角色写流程由编排器拆成串行子任务。20 不是协议规定,而是当前模型的注意力预算;工具继续增多时,应改成工具搜索和按需加载。
参考来源:
https://platform.claude.com/docs/en/agents-and-tools/tool-use/tool-search-tool?r=0
https://docs.anthropic.com/en/docs/build-with-claude/tool-use/implement-tool-use
04|如何区分可安全降级和必须严格校验
思考题原文:
本节课实现了字段的部分提取降级:当核心字段(如
order_status、tracking_id)提取成功而非核心字段失败时,系统接受部分结果继续运行。但在某些业务场景下,“部分正确”比“全部失败”更危险。比如:订单状态从
pending错更改为shipped,但物流单号为null——这会导致下游物流系统订单号缺失,比直接拒绝更难排查。你能否设计一种机制,让 Agent Loop 能够区分“可安全降级的场景”和“必须严格校验的场景”?例如:通过在 Schema 上添加元数据标记,或者在 Loop 层维护一个“严格模式白名单”。
参考答案:
部分提取只能用于错了也容易纠正的低风险字段,状态、金额、权限、PII 和外部写入默认都要严格校验。Schema 上直接标 critical、 reversible、字段组和跨字段不变量;例如 status=shipped 时, tracking_id 必须非空且格式合法,否则整单拒绝、重试或转人工,不能用 model_construct 把半成品塞进去。摘要、推荐、非关键标签可以允许 partial。这里要清楚,strict schema 或约束解码只能保证 JSON 形状和类型合法,不能证明值符合业务;订单状态机和服务端授权仍然要再验一次。
参考来源:
https://learn.microsoft.com/en-ca/azure/foundry/openai/how-to/structured-outputs
https://platform.claude.com/docs/en/agents-and-tools/tool-use/strict-tool-use
05|跨 25 轮的临时约束如何不被压缩吞掉
思考题原文:
这节课我们讲了 L0-L3 四层分层架构和五级渐进压缩。假设你的 Agent 面临这样一个场景:
用户要求 Agent 执行一个需要 50 轮工具调用的复杂任务,比如“审查整个代码仓库并修复所有安全问题”。在第 30 轮时,上下文已经达到 85%(触发 Level 4 主题级摘要)。但此时用户突然说了一句话:
“对了,第 5 轮查到的那条 SQL 注入漏洞,修复时不要用参数化查询,用 ORM 的查询构建器替代。”
这是一个跨 25 轮的临时性约束。在 Level 4 压缩下,第 5 轮的工具返回早已被压缩成主题摘要,具体的 SQL 注入漏洞细节可能已经丢失。
你如何在 Agent Loop 层面设计一种机制,确保这类“用户临时性约束”不会被渐进压缩吞掉?提示:考虑约束的“生命周期管理”——临时约束从哪里来、存在哪里、何时注入、何时销毁。
参考答案:
这种临时约束不能放进 L0 永久宪法,也不能留在会被摘要的 L3,应单独做一个 ConstraintStore。第 30 轮用户说完后,系统把它解析成来源、目标漏洞引用、规则内容、作用域、优先级、TTL 和撤销条件;原题里的规则就写成“该 SQL 注入漏洞使用 ORM 查询构建器修复,不使用手写参数化查询/裸 SQL 路径”。注意 ORM 底层仍会做参数绑定,这里限制的是实现路径,不是取消安全绑定。原始工具结果持久化,约束只保存 target_ref,每轮按当前 Plan 和实体把生效约束放到上下文首尾,不参与压缩。漏洞修复、用户撤销或任务结束后归档;系统安全规则始终高于用户临时约束。
参考来源:
06|domain 提取错了,规则硬召回怎么办
思考题原文:
这节课的四路召回管线里,规则硬召回依赖一个关键参数:
domain。约束在写入时带了触发条件(比如{"type": "domain", "value": "database"}),召回时只有在当前任务的 domain 匹配时,约束才会被注入。但这里有个问题被我们跳过了:
recall(query, domain)里的 domain 是哪来的?用户说的是“给报表模块写数据库访问层”,你怎么知道这个任务的 domain 是 database 而不是报表?直觉的做法是在召回前先调一次 LLM 提取 domain。但这又引入了一个新的失效点:如果 domain 提取错了——比如把“给报表模块写数据库访问层”的 domain 判成“报表”——那所有
触发条件标着{"type": "domain", "value": "database"}的约束就全被跳过了,规则硬召回形同虚设。这节课我们花大力气解决“向量相似度不靠谱”,但如果 domain 提取这环节挂了,整个四路召回管线的第一道防线就废了。你能否设计一种机制,让 domain 提取失误时,规则召回不至于完全失效?
参考答案:
不要把 domain 当成唯一闸门,因为它本身就是 LLM 的概率输出。domain 可以改成多标签候选加置信度,但规则触发要走 OR 并集:domain 命中、确定性关键词/BM25 命中、实体/工具/动作命中,以及无条件全局红线,任意一路命中都注入约束。像“给报表模块写数据库访问层”同时命中报表和数据库,数据库规则就不能漏。置信度低时,检索端宁可 fail-wide,多召回相关约束并打审计;到了高危执行端仍然要 fail-closed,不确定就澄清或只读。硬召回只解决规则被看见,删库、支付、权限等动作必须由工具网关和服务端硬拦。
参考来源:
07|被误判 superseded 的记忆如何有路可退
思考题原文:
这节课的机制二里,冲突检测的败者会被标记为
superseded=True,从召回路径里剔除。这个标记是可逆的——理论上翻回False就能复活。但问题来了:谁来判断“该翻回来”?LLM 的冲突判断不是 100% 准的。如果在增量整合时,LLM 误判新记忆与某条旧记忆冲突,旧记忆就被静默地标记为已废弃。用户只会觉得“Agent 好像忘了我之前说过的事”,却查不出原因——召回日志里那条记忆根本不会出现,因为它在
superseded闸门那里就被跳过了。误判发生后,没有任何信号会触发复活,那条被冤枉的旧记忆就永远戴着“已废弃”的帽子躺在库里。在无法让 LLM 冲突判断 100% 准确的前提下,你能否设计一种机制,既能及时清理真冲突的旧记忆,又能让被误判的记忆有路可退?提示你一个方向:如果给被标记的记忆加一个“软删除窗口”,标记待删除,保留 N 天,期间如果被召回命中就自动复活,这个窗口期内的记忆,还参与激活值计算吗?
参考答案:
误判不可避免,所以不要一判冲突就硬删;但待删记忆也不能继续参与正常排序,否则真冲突的旧偏好会重新污染回答。败者先标成 superseded_pending,记录胜者、裁判版本、原因和时间,进入 N 天观察期;正常召回过滤 pending 记忆,另跑一条只看待删记忆的救援查询。它可以通过精确实体匹配、用户显式引用或高相似命中被找到;强命中同一实体、用户追问旧偏好,或新记忆后来被证伪时,再复活或转人工复核。所有改代写审计,到期后归档冷存,高风险记忆不自动复活。
参考来源:
08|多 Agent 并发操作同一世界如何不互相覆盖
思考题原文:
本节课我们通过 Plan-as-Data 解决了单 Agent 的死循环问题。但在实际生产中,一个包含 20 个步骤的数据库迁移计划,或者涉及前端、后端、测试三个领域的发布计划,单个 Agent 的认知边界往往不够用。
假设你把 Plan 中的步骤拆分给不同 Agent 并行执行:A 负责修改配置文件,B 负责重启服务。A 刚把配置文件改好,B 读取了旧配置并重启,导致 A 的修改被覆盖。
在多个 Agent 同时操作同一个世界时,你能否在 Plan 数据结构或执行引擎中设计一种机制,确保并发执行时不打架、不互相覆盖?
参考答案:
问题不在 Agent 并行,而在 Plan 只写了业务依赖,没写资源依赖。每个 Step 应声明 read_set、 write_set、资源版本和输出句柄,调度器据此自动构建冲突图:同资源的写写、读写默认串行。A 写配置、B 重启时,B 必须依赖 A 的新版本句柄,配置发布并通过健康检查后才能调度。文件改动优先工作区隔离,落盘走临时文件加原子替换;共享数据用 CAS、乐观锁、队列或带 TTL 的租约。未声明的写入由网关拒绝。引擎只能看见已纳管资源,跨进程和操作系统级共享,还要目标服务端的锁与 ACL 兜底。
参考来源:
09|过境口岸哪些焊死,分布式下由谁强制
思考题原文:
上行口岸的五道关卡里,哪几道你认为应该焊死为框架默认、顺序不允许任何人调整?哪几道应该开放给应用自定义插入?安全默认、表达力、可组合性这个三角,你怎么切?
当这套平面从单机走向分布式——Agent 跑在不同进程、不同机器上,“唯一的过境口岸”由谁保证?关卡设在发送方还是接收方?如果一个恶意 Agent 进程干脆绕过框架直接往共享存储写数据,平面还能守住吗?这个问题会把你逼向“服务端强制边界”,也是走向生产级绕不开的一步。
参考答案:
框架应该焊死的是链的形状:身份认证和幂等、白名单结构裁剪、契约校验、fail-closed,以及审计关卡的位置;审计不负责拦截,但必须记录最终过境的数据。内容安全规则可以开放给业务插件,插槽固定在结构校验之后、审计之前,而且只能加严不能关闭。到了分布式环境,不能指望每个 Agent 自觉走本机口岸,发送方校验只是优化,接收方网关必须重新认证、鉴权、验契约和写审计。共享存储也要默认拒绝 Agent 直写,配合 mTLS、能力令牌和资源 ACL;如果恶意进程能绕过网关且存储放行,任何客户端关卡都守不住。
参考来源:
10|并发点赞计数为什么变少,怎么修
思考题原文:
下面这个“给文章点赞”的 Tool,单 Agent 跑的时候一直正常;某天并发跑了两个 Agent,运营发现点赞总数总是比实际点击数少。
def like_article(article_id: int): likes = db.query("SELECT likes FROM articles WHERE id = ?", article_id) db.execute("UPDATE articles SET likes = ? WHERE id = ?", likes + 1, article_id)问题出在哪儿?试着用这一讲的方法,把它改成一条 SQL 解决。
参考答案:
问题是典型的丢失更新:两个 Agent 都先读到旧值 N,再各自写 N+1,后提交的事务覆盖先提交的结果。不要在 Agent 层做读改写,直接把自增交给数据库:
UPDATE articles
SET likes = likes + 1
WHERE id = :article_id;
这条语句在当前行版本上计算 likes + 1,并发更新由行锁串行化,不会少赞。若还要限制同一用户只能点赞一次,需要另建 article_likes(article_id, user_id) 明细表和唯一约束;先插入明细,成功后再更新计数,并用幂等键防重试。原子 SQL 解决的是计数竞态,不解决重复点赞,这两层别混在一起。
参考来源:
11|长任务 OBO 令牌过期,TTL 能否直接拉到 2 小时
思考题原文:
在这一课里,我们使用了 OBO(On-Behalf-Of)令牌交换机制,确保 Agent 只持有短期的、绑定特定任务的权限凭证。这带来了一个实际的工程挑战:如果某个长程任务(比如需要 Agent 调用多个工具,分步骤完成一个复杂的数据分析报告,总耗时可能超过 1 小时),而我们颁发的 OBO 令牌 TTL(过期时间)默认只有 15 分钟。 当 Agent 执行到一半,令牌过期了,导致后续的工具调用全部失败,任务中断。
请问:直接把 TTL 设置为 2 小时是一个好的解决方案吗?如果不是,我们应该设计怎样的“令牌续期”或“长任务管理”机制,才能既保证长任务的平稳运行,又不破坏“权限随任务生灭、最小权限原则”的安全边界?
参考答案:
直接把 TTL 拉到 2 小时不是好办法,它只是把令牌被盗后的可用窗口放大,也让任务中途吊销和条件访问失效。令牌应保存在网关,Agent 只拿任务委托句柄;access token 继续使用平台建议的短 TTL,通常数分钟到 1 小时,到期前由网关用 refresh token 或重新 token exchange 换新。每次续期都重新校验用户委托、Agent 身份、任务状态、MFA/条件访问、scope、空闲时间和总生命周期,scope 只减不增。用户撤销、登出、策略变化、任务异常或续期失败就熔断并吊销令牌。长任务还要有最大时长和预算,Checkpoint 里不存令牌,只存可重建委托关系的信息。
参考来源:
https://docs.azure.cn/en-us/entra/identity-platform/v2-oauth2-on-behalf-of-flow
https://learn.microsoft.com/en-ca/Entra/agent-id/agent-on-behalf-of-oauth-flow
12|如何识别单步合规、组合违规的复合风险
思考题原文:
在本课中,我们建立了针对单个工具调用(如
execute_sql)的审批机制。然而,高级的风险往往隐藏在一系列看似“安全”的操作序列中。例如,Agent 先调用
read_customer_data(读操作,低风险,自动放行),紧接着调用send_email(发送操作,低风险,自动放行)。单独看每一步都合规,但组合起来却是严重的“数据泄露”。既然我们的 MCP Gateway 和策略引擎主要拦截单次调用,架构应如何演进以识别和治理这种“复合风险”?
参考答案:
单调用 DLP 只能看见一封“正常邮件”,看不见这封邮件的数据是上一步从客户库里读出来的,所以网关要从无状态检查升级成会话级数据流跟踪。读工具返回时,就给敏感字段打来源、等级和血缘句柄;任何邮件、Webhook、上传等出站调用前,同时做内容 DLP 和血缘检查,再用滑动窗口识别“高敏读取后短时间内外发”“分批拉取后集中发送”等序列。命中后按风险脱敏、阻断、降级或转人工,读令牌和外发令牌也应分开,Plan 里若预先包含导出动作要提前授权。最后要封死 Agent 直连出口,否则网关看不到旁路流量。
参考来源:
13|三维可信度权重如何按业务调优
思考题原文:
零信任体系的核心是可信度分数,但有个问题:三个维度的权重怎么定?内容、来源、行为,各占多少比例?支付场景和内部问答场景的权重肯定不一样,但具体怎么调?请你设计一套权重调优机制,让不同业务线能根据自己的风险偏好和误报容忍度,找到适合自己的三维度权重组合。
提示:可以从“先给保守默认值,再用 A/B 测试对比误报率和漏报率”的角度想,也可以考虑让业务方用“我愿意为降低 1% 漏报率承受多少误报率”这种偏好表达来反推权重。
参考答案:
权重不能全公司拍一个固定值,它本质上是成本敏感的分类阈值问题。先把注入载荷命中、硬授权失败、明确敏感数据外发这类确定性红线独立出来,命中即拦,不参与加权投票。其他内容、来源、行为信号,用红队样本、真实事故和正常流量建立标注集,先影子运行只记录不阻断;再扫描不同权重和阈值,统计误报、漏报并画 ROC/PR 曲线。业务方只需要给出一次漏报相当于多少次误报的成本比,系统按期望成本最小化选工作点。支付场景偏保守,内部问答可以先观察;灰度后误报超过 SLA 就回退,新攻击样本持续重标定。
参考来源:
https://scikit-learn.org/stable/modules/classification\_threshold.html
https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc
14|长时间挂起后 Checkpoint 过期怎么办
思考题原文:
我们用六层状态 + Checkpoint/Event 解决了“随时崩溃、无损续跑”。但有个场景:Agent 处理一个高额退款请求,查询订单状态为“已发货”,于是将完整 Session 序列化为 Checkpoint,进入 SUSPENDED 等待审批。审批人在开会,2 小时后才批准。
Agent 从 Checkpoint 恢复,继续执行退款。但这 2 小时内,物流系统已把订单更新为“已签收”,业务规则规定“已签收订单需走售后返修,不可直接全额退款”。
问题:Agent 手里的 Checkpoint 是 2 小时前的“绝对真理”,但执行时物理世界已变。直接恢复执行会导致基于过期状态的危险操作。在“长时间挂起 + Checkpoint 恢复”的架构下,你怎么防范这种“状态过期”?是恢复后强制重新校验前置状态,还是在外部系统加锁?如果重新校验发现状态已变,这算执行成功还是失败?
参考答案:
Checkpoint 只能告诉系统从哪里恢复,不能代表外部世界现在是什么样。它应保存执行位置、幂等键、业务键和当时读到的版本号/更新时间;从 SUSPENDED 恢复后、执行退款前,必须用订单号重读权威状态,并带版本做条件写。只有状态仍是“已发货”、版本未变、政策未变,才允许退款;如果已经变成“已签收”,说明原审批的前置条件失效,原 Plan 作废,转售后返修并重新审批。这既不算执行成功,也不是系统失败,而应记为 PRECONDITION_FAILED。长挂起不适合持有悲观锁,外部退款接口仍沿用原幂等键防重复。
参考来源:
15|如何区分真实推进和表演式忙碌
思考题原文:
我们用“单次任务预算熔断”解决了死循环烧钱的问题,又用“动态预算”尝试区分合法长任务和非法死循环。但动态预算的进度评估本身有个难题:怎么判断 Agent 是“真的在推进”还是“假装在推进”?
假设 Agent 为了骗取追加预算,每轮都调用一个“看起来有进展”的工具(比如反复搜索不同关键词),但实际上没有获取任何新信息。它的动作指纹在变,工具调用在增加,可任务实质没有推进。
请你设计一个“进度真实性评估器”,能区分“真实推进”和“表演式忙碌”。给你一个提示:单独看每轮调用都是无辜的,但把一串调用的信息增益放在一起看,会留下痕迹——真正的推进会带来新的状态变化、新的知识获取,而表演式忙碌只是在重复已知信息的不同排列。
参考答案:
数工具调用次数或比对动作指纹都容易被骗,模型每轮换关键词就能制造忙碌假象。进度评估要围绕目标状态:每个里程碑先定义可验证退出条件,工具结果统一归一成新实体、新字段、证据 ID/URL、内容哈希、代码 diff、测试结果、工单状态和外部系统状态变化,再做确定性去重,语义相似度只作辅助。连续 K 轮没有新证据、没有状态迁移、Plan 剩余路径也不变,即使调用数在涨,也判定为零信息增益,拒绝追加预算。合法等待外部事件必须声明等待对象、超时和退避策略;关键里程碑仍由独立探针或 Checker 验收。
参考来源:
https://claude.com/blog/building-effective-human-agent-teams
https://www.anthropic.com/research/trustworthy-agents?hl=en-US
16|Prompt 升级后黄金轨迹大面积偏离怎么办
思考题原文:
漂移检测的前提是拥有一批人工标注的黄金轨迹。但当 Prompt 从 v2.1 升级到 v2.2、改变了退款策略判定逻辑时,新 Trace 必然与旧黄金轨迹大面积偏离,Evaluator 会误报并阻断灰度发布。
你该如何设计黄金轨迹的版本化隔离或自动迭代更新机制?在人工标注成本高和自动学习可能引入脏数据之间,如何设计一个半自动的更新管线?提示:可以从 Dataset 版本管理、Prompt 版本与 Dataset 的关联、人工审核 + 自动候选的标注流程这几个角度思考。
参考答案:
只给数据集加内容哈希还不够,Prompt、Dataset、Evaluator 必须绑成版本三元组,否则分数没有可比性。发布 v2.2 时冻结对应数据集:v2.1 对旧集做回归,v2.2 的新 Trace 只对新集评估;策略变化先产出 policy diff,圈出受影响用例。生产 Trace 可以经聚类、去重后生成候选 gold,LLM 也能写差异说明,但成功 Trace 不等于正确 Trace,必须人工审核后才能进入新数据集。未审核候选只作参考,不参与灰度阻断;核心安全用例不能自动修改,旧数据集保留用于回滚和审计。
参考来源:
17|ChainOptimizer 冷启动期怎么运行
思考题原文:
反馈层靠生产数据挖反模式、写规则,但有个“冷启动”问题:系统刚上线时没有生产数据,规则库是空的,阈值只能拍脑袋;而拍脑袋的阈值可能导致大量误报或漏报,反过来影响生产数据的质量。
问题:你怎么设计 ChainOptimizer 的冷启动策略,让系统在没足够生产数据时也能合理运行,随着数据积累再平滑过渡到数据驱动?提示:可以从“保守阈值加观察模式”起步、用合成数据预校准、人工审核队列做过渡期兜底这几个角度想。
参考答案:
冷启动不等于只能拍脑袋。DAG 无环、高危操作前审批、写操作幂等、补偿存在、关键路径上限、外部依赖数量限制这类结构性规则,第一天就可以硬拦,因为它们不依赖线上数据。需要学习的是启发式评分:先用专家模板、合成好/坏 Plan 和少量人工种子集预校准,上线初期只 WARN 不阻断,边界案例全部进人工队列。人工结论回流后,按业务域统计误报和漏报、调整阈值,稳定规则再逐步升级成 CRITICAL 门禁。合成数据只补稀有反例,不能代表线上分布;紧急场景始终保留人工通道。
参考来源:
18|如何挡住不在黑名单里的隐性越权副作用
思考题原文:
最后留个问题,不用急着回答,带着它去看你自己的 Agent。“定义禁止而非允许”这套哲学很有力,但现实里,“禁止”清单本身很难枚举干净。还是拿退款举例:我们禁止 Agent 调 delete_user_account,这条没问题。可万一它调的是 update_user_account 呢?表面看这个工具人畜无害,但它在退款过程里“顺手”把用户的 VIP 等级改成了普通会员。这当然也是违规,是一次越权的副作用,可它并不在你的禁止清单上,而你也不可能把所有会产生副作用的调用一个个列进黑名单。
问题来了:能不能设计一种机制,不用枚举所有“禁止的副作用”,就能保证 Agent 每次工具调用的参数都落在预期范围内,把这种不显性的越权也挡在外面?
参考答案:
黑名单枚举不完,问题的关键是“白工具、黑参数”。最优先是按业务动作拆窄工具:退款上下文只给 process_refund,修改会员等级另做工具、另走授权。确实需要宽工具时,按 Plan 步骤签发 per-tool、per-resource、per-field scope 和字段掩码,未声明字段直接拒绝,而不是悄悄剥离。strict schema 负责类型、枚举和值域,服务端策略再检查订单状态、操作者身份以及允许的状态 delta;高危写入前可以先 dry-run diff,执行后比对真实状态变化。测试也要断言本次调用只允许产生哪些副作用。
参考来源:
https://platform.claude.com/docs/en/agents-and-tools/tool-use/strict-tool-use
https://modelcontextprotocol.io/specification/2025-11-25/basic/authorization
https://owasp.org/API-Security/editions/2023/en/0xa3-broken-object-property-level-authorization/
19|如何自动识别可能过期的 gold 用例
思考题原文:
最后留个问题,带着它去看看你自己的 Dataset。
数据层我们设计了 review_status 和 confidence,要求生产 Trace 入库必须人工审核才能升 gold。但现实里,Agent 的行为是动态演进的:今天审核通过的 gold 用例,三个月后业务规则一变,它可能反而成了“错误答案”。想象你维护着一个 500 条用例的 Dataset,每条都定期人工复审,成本高到扛不住;可要是不复审,过期的 gold 会在回归检测里把正确的新行为误判成退化。
你能不能设计一种“用例健康度”机制,自动识别哪些 gold 可能已经过期、主动提醒复审?换句话说,在“全量人工复审太贵”和“过期用例污染评估”之间,怎么搭一条可持续的 Dataset 维护流程?
参考答案:
全量定期复审扛不住,但让系统按模型新输出自动改 gold 更危险,会把评估集改造成迎合模型的样子。更合适的是给每条 gold 建健康度:记录业务域、owner、最后审核时间,以及依赖的政策、Prompt、工具 schema 版本、历史失败率和生产分布偏差。依赖版本变更、线上 Trace 与 gold 成簇偏离、Judge 分歧升高、工具字段失效、输入分布漂移或长期未审时,就降低健康分并送入复审队列。系统只标记“可能过期”,由人判断是模型退化、gold 过期还是有意策略变更;确认后再创建新版本并用 replaces 指向旧用例,核心安全用例不自动隔离。
参考来源:
20|矛盾 Skill 漏检后,运行时如何确定性仲裁
思考题原文:
我们用矛盾检测解决了 Skill 自相矛盾的问题,但矛盾检测本身依赖 LLM 的判断,它可能漏掉冲突,也可能误判两个不冲突的指令为冲突。
假设 LLM 在 patch 时漏掉了一个真实冲突,两条矛盾的指令同时存在于 Skill 中。Agent 执行时,它会随机选一条执行,导致行为不稳定,有时候查 Sentinel,有时候查 Cluster,完全不可预测。
在无法保证 LLM 矛盾检测 100% 准确的前提下,设计一种“运行时冲突仲裁”机制,让 Agent 在遇到矛盾 Skill 时不会随机选择,而是有一个确定性的仲裁策略。提示:结构化 Skill 的前置条件和版本号可以作为仲裁依据——新版本的条件分支应该覆盖旧版本的无条件指令,但怎么让 Agent 在运行时“知道”哪个是新版本、哪个该优先?
参考答案:
运行时不能把两条矛盾指令都塞给模型,让它凭概率挑一个。每个 Skill 应带 skill_id、语义化版本、前置条件、动作效果、 supersedes、签名和验证状态,由确定性的 SkillResolver 选择唯一胜者。硬安全约束最先;然后看哪条规则的前置条件与当前观测事实匹配且更具体;同一 Skill 谱系内,再按 semver 和显式 supersede 关系选择已通过影子验证的新版本。跨 Skill 无法判断先后、证据不足,或条件同时命中但动作冲突时,应 fail-closed,只做只读补观测、向用户澄清或转人工,并写 Trace 生成冲突工单。版本号不能脱离谱系和验证状态单独决定胜负。
参考来源: