Repository navigation
fix(qualification): record unreadable context references as failed tool steps - #8940
Conversation
…erences Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; gpt-6.1-sol; OpenAI; runtime_reported; reasoning_effort=max.
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
结论:APPROVE,未发现本次精确头的阻塞代码问题。下述本地失败、资格和合并限制独立保留;本结论不表示全部检查通过。审核头:1f607a16a337f8f302b0e37657ac479d84b5be43;比较基线:0514512ee7fbdf5548c88d07763a41dbfc5df931。
动机 / Motivation
运行模型行为资格检查的操作者需要得到可判定的失败结果,避免一次错误文件引用使整组检查丢失结果。 模型在已有捕获导航后选择不存在的 reader 文件或父目录时,原实现抛出未捕获的文件异常;修订后返回现有失败收据并停止后续工具调用。 缺失引用被保留为失败尝试,结果仍不合格,也不会因此执行记账、终结或外部写入。 不把失败改为通过,不放宽捕获摘要、私有文件或作用域校验,不自动重试,不声称真实模型、正式发行或 C1 全部成果资格已完成。
改动思路 / Approach
在现有共享 reader 适配器收窄异常边界即可复用已有 Actor 失败通道;无须新增错误协议或在每个 Actor 复制捕获逻辑。 只规范读取模型所选引用时的文件系统错误;保持失败、摘要绑定、调用预算和既有终结顺序。
入口仍是资格检查使用的 QuotaToolContext.read。它先限制命令来源、原始捕获与摘要,再交给真实 CLI 读取;场景 Actor 决定失败收据、停止与记账顺序。该改动只把读取引用描述文件时的 OSError 转入既有 ValueError 失败通道,既没有扩大可读来源,也没有新增重试或第二个资格判定器。这比在每个 Actor 各自增加捕获逻辑更容易保持一致;Python 留在现有专用资格适配器内,没有新建通用控制平面决策 owner。
| 同一输入的实际观察 | base | 当前 head |
|---|---|---|
| 缺失引用文件/父目录 | FileNotFoundError,Actor 无结果 |
通用拒绝,Actor 返回 qualification_passed=false |
| 当前捕获的合法 reference/capture | 成功读取原选择内容 | 完整页面在仅规范化派生引用 locator 后一致 |
| 其他捕获、错误摘要、符号链接、非私有文件、坏 JSON、混用来源 | 原有拒绝 | 同类异常与完整诊断一致 |
这是执行结果对照表,不是模型理解或长期收益的证明。原失败 Actor 始终在两次请求后结束;探针预置的第三个 spend 动作没有执行。
具体改动 / Changes
完整 PR 为三个既有文件,+37/-2。生产部分只有共享 reader 的异常转换;两个测试文件补上缺失引用反例和完整 Actor 失败路径,没有新增模块、协议、状态或 CLI 参数。
关键代码讲解
QuotaToolContext.read:--reference-file与显式 capture 参数仍互斥,读取后仍要求原始路径及 SHA-256 匹配。只有描述文件读取的文件系统异常被转换;JSON、私有文件、符号链接和错误来源校验继续由现有 owner 拒绝。from_output原本已有相同异常归一方式,本次复用其边界思路。DoubaoTerminalSettlementToolBehaviorActor.qualify:未改的消费方捕获ValueError,通过既有_terminal_failure_code产生tool_execution_failed,追加命令摘要后立即返回失败结果。新增测试和独立探针均检查空 settlement 步骤、两次请求、无外部写入及收据无本地路径;没有把 receipt 存在误判成资格通过。
预先读取的规范为 docs/reference/protocols/model-behavior-qualification-v0.md,不可变版本 0514512ee7fbdf5548c88d07763a41dbfc5df931。本次给规范中无编号的相关条款使用两个说明性标签:terminal-no-retry 对应单个 Actor 不自动重试命令或重启场景,已实现;receipt-redaction 对应只保留有界失败和摘要、排除原始路径与响应,已实现。判定依据是实际失败收据与原捕获读取,不是作者声明。正式真实模型和发行资格留在原有资格流程,不属于这三个文件能够证明的结果。
另将真正的 terminal Actor 接入实际 portfolio 汇总入口:base 仍抛出异常且没有最终对象;head 返回最终失败 JSON,terminal 场景两次既定 attempt 均为 tool_execution_failed,每次两条 scripted 请求、无 settlement 或外部写入。现行 catalog 实际为 22 场景、44 个计划 Actor attempt;其余 Actor 使用既有确定性 reducer fixtures,不是 22 场景的真实资格验证。既定重复仍执行,不能把“单次 Actor 不重试工具”说成“整组立即停止所有 attempt”;结果保持失败且禁止自动发行提升。
对主干的风险 / Risks
最强反例是模型在有效导航之后读取不存在的父目录:原有 happy-path 测试可以通过,整个资格场景仍会抛出异常。独立的同夹具基线/头部探针覆盖 14 项真实 reader/Actor 输入;缺失文件和父目录这四个 API/Actor 观察是预期变化,其余结果一致。独立不变量断言在 base 失败、head 通过。拒绝路径未改写夹具;合法 selection 仍可生成既有的私有 reader 描述文件,这不是“完全无文件写入”。另行检查错误引用修正回原始引用后的读取恢复,不会据此自动重试已失败的 Actor。
本次七模块扩展检查为 230 PASS / 2 FAIL。失败的两个 composition-successor 用例在 immutable base 与当前 head 用相同聚焦命令再次复现:同名 [on/off] 用例、同一 provider_transport_failed 异常位置。场景、测试和 transport 解码源码未改;off 路径不使用捕获 reader,合法 on-path 读取的完整输出已另行对比。内部 scripted callback 的更深原因尚未查明,不能写成已修复。其他共享调用者与本 PR 错误边界有独立通过证据。
Ruff 和现有配置范围的 mypy(17 文件)通过。通用 standard premerge 的检查通过;其初始范围额外包含审阅者临时测试,已移除。移除后精确三路径的带项目策略 quick 验证中,六项直接检查和两项 catalog 检查均通过,但最终门仍报 Change Quality receipt missing,所以不能宣称项目合并门通过。原先未显式选择 registry 的调用因双 runtime 路由拒绝,显式路由后完成上述验证;没有迁移或修改活动 authority。
语义与 CI 对齐
复用既有错误和 receipt vocabulary;错误分类依据异常类型,没有新增错误文本 substring 规则或领域专用义务。没有 opt-in/default-off 声明、默认调度变化或把 guidance 升格成强制执行。未查询、轮询或等待远端 CI。两个未改用例的失败与缺失的项目质量回执分别保留,不能用本次代码评审覆盖它们。
我的整体评价 / Verdict
这是完整、可回退的共享错误边界修复,交付了可验证的窄结果。long_horizon 与 user_experience 在所检路径上保持:失败留存且及时停止,没有增加操作者输入、确认或权限步骤;没有声称实测长期效率提升。检查的资格适配器、场景消费方和测试没有渲染页面或首屏变化。视觉范围不适用;真实模型、原生Windows和生产安装不在本次验证范围。
我认可现有 owner 内的修复范围和代码量;没有进一步要求拆模块或新建状态。尚存的本地诊断失败、项目质量回执以及完整资格由各自原有流程处理。本次 GitHub 使用同一作者账号,因此以 COMMENTED 发布此独立结论;审批关闭、平台状态与合并授权另行核对。
English verdict: APPROVE for 1f607a16a337f8f302b0e37657ac479d84b5be43. Missing reference errors now produce bounded failed receipts without retries or settlement; independent base/head probes validate the intended delta. Two base-equivalent sibling failures and the missing scoped quality receipt remain disclosed; no live-model or merge-readiness claim.
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; gpt-6.1-sol; OpenAI; runtime_reported; reasoning_effort=max
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
动机 / Motivation
运行模型行为资格检查的操作者,需要在模型选错捕获引用时仍得到可判定的失败结果。 模型读到正常导航后,选择不存在的 reader 文件或父目录,原来会抛出 FileNotFoundError 并丢失 Actor 结果;现在沿既有失败通道返回有界失败收据。 缺失引用仍不合格,Actor 在两次既定请求后停止,后续预置 spend 不执行;合法捕获、摘要、权限及错误来源的处理保持。 不把失败改为通过,不自动重试,不放宽原捕获作用域,也不声称完成真实模型、正式发行或完整 C1 采用资格。
改动思路 / Approach
将异常归一收在已有共享 reader,复用各 Actor 的失败通道,比复制捕获逻辑或新增错误协议更小且职责清楚。 当前 PR 完成缺失引用的有界失败修复;真实模型与正式发行资格仍由原工作流完成。 资格适配器先验证单条命令、原始捕获及摘要,再把合法命令交给实际 CLI。各场景仍拥有自己的 action 顺序、失败和 settlement 语义。补丁只把读取模型所选 reference 描述文件时的 OSError 转成已有 ValueError;既有 Actor 记录命令摘要并立即返回失败,不启动恢复模型或重复工具。
不改会继续丢失结果;在每个 Actor 复制 catch 会扩大维护面。from_output 已有同类原始捕获 IO 归一,因此沿同一共享边界修复即可。下表是新集成 head 相对不可变 main 基线的实际比较,未将旧头批准转移。
| 输入 | base | 当前 head |
|---|---|---|
| 缺失 reader 文件/父目录 | API 和 Actor 抛 FileNotFoundError | API 通用 ValueError;Actor 返回失败收据 |
| 合法 reference/direct capture | 成功读取完整选择页 | 完整输出在仅规范化路径及派生 reader locator 后一致 |
| 外来捕获、错误摘要、非私有/符号链接、坏 JSON、混用来源 | 原有拒绝 | 完整异常类别、诊断和优先级保持 |
具体改动 / Changes
审核完整 head 44ff42e1f7744278b02b604abce3f37741a06a8e 与 base f15c705623e29728f1dc812fcce725811741534d:仍只有三个文件(+37/-2),生产逻辑为一处窄 catch,两个既有测试文件补实际负例。新 merge commit 合入 main 之后,仍重新执行当前 capability-owned 计划;旧 1f607a16 review 仅保留历史。
预先读取 spec_ref: docs/reference/protocols/model-behavior-qualification-v0.md;spec_revision: f15c705。terminal-no-retry 对应单 Actor 不自动重试工具或重启场景,implemented;receipt-redaction 对应有界失败/摘要而不留原始路径和响应,implemented;original-capture-boundary 对应原始 source/digest/privacy 与顺序约束,implemented。这些标签映射原文无编号条款,没有把未来模型采用或正式版目标改为本补丁已完成。
关键代码讲解
QuotaToolContext.read先拒绝重复/混用来源、隐式 session lookup,再读取 reference。新增 try 只包该文件读取;JSON、物理文件/私有权限、原路径和 SHA-256 仍沿原 owner 判断。没有把宽泛异常转成成功。QuotaToolContext.from_output未改,继续解析当前捕获而非旧 delta baseline,并保留既有 OSError 归一。这是复用的已有责任边界,不是新增一套捕获实现。DoubaoTerminalSettlementToolBehaviorActor.qualify的既有 consumer 捕获 ValueError,产生 tool_execution_failed、追加摘要并立即返回。实际探针在第三步预置 spend,缺失文件/父目录后都只发出两次 scripted 请求,settlement 为空,无外部写入且收据无路径。
对主干的风险 / Risks
最强反例是 happy path 全绿,但一次不存在的父目录仍使整组资格检查没有最终结果;另一个风险是把异常捕获扩大后误放宽 source/privacy。当前独立同夹具 14 项比较覆盖 API 与实际 terminal Actor:缺失文件/父目录造成四项预期行为变化,其余十项完整观察相等。合法页保留 source digest、selection、read_instruction 等所有字段,只规范化临时路径及派生 reference locator;失败输入的 fixture 内容/权限保持。混用来源即使同时指向缺失文件,也仍先给原混用拒绝。
独立不变量在当前 immutable base 失败、在新精确头通过:base 先保存完整观察,再因原缺失引用仍为 FileNotFoundError 而触发断言;这是复现缺陷,未把该失败改写成通过。Head 的失败收据仍 qualification_passed=false,不自动重试、补写或扣账。合法读取可能生成原有私有 reader 描述文件,因此没有声称合法路径完全无文件写入。
本轮 PASS 180:六个实际 CLI/context/Actor/portfolio 模块,196.50 秒;provider 为确定性脚本,CLI 和文件系统为真实隔离执行。三路径 Ruff、配置 mypy17、原生 exact-scope CQR 及当前精确差异的完整 standard premerge 均单独核验。旧头曾披露的两项 sibling transport 诊断失败保留为旧版本事实,本轮没有将它们重跑或宣称已修复;本轮当前失败边界与合法页有独立直接证据。未查询、轮询或等待 CI。
语义与 CI 对齐
复用已有 ValueError/tool_execution_failed vocabulary,没有新 Enum、错误协议、CLI 开关或人工同步状态。分类依赖 OSError 类型和准确操作边界,没有新增 substring/prose 规则。没有新 opt-in/default-off 激活,普通 quota、宿主默认、捕获摘要与场景 settlement 顺序未改。失败留存、无重试和原始身份义务仍完整。
我的整体评价 / Verdict
APPROVE 当前完整精确头 44ff42e1f7744278b02b604abce3f37741a06a8e;这是完成所述缺失引用缺陷的窄结果。long_horizon=preserved:失败和调用预算保留,无额外结算或执行;user_experience=improved:操作者能获得原有失败对象,无新增输入、确认或隐藏恢复回合。将异常归一收在已有共享 reader,复用各 Actor 的失败通道,比复制捕获逻辑或新增错误协议更小且职责清楚。 当前 PR 完成缺失引用的有界失败修复;真实模型与正式发行资格仍由原工作流完成。
检查的资格 CLI、共享 reader 和 Actor receipt consumer 没有渲染页面、布局或控件变化,视觉检查不适用。unverified_scope:真实模型行为、原生 Windows、生产安装及正式公开版本资格。代码量与实际缺陷相称,无需新增抽象或跟踪任务。完整旧头历史、当前精确头结论、平台状态与另行 merge/bypass 权限分别保留,本评审不授权合并。
English verdict: APPROVE at 44ff42e. Missing reader paths now produce bounded failed Actor receipts with no retry, follow-on spend or path leakage; the new integrated head passes 180 tests and fourteen paired observations. Live-model, native Windows and public-release qualification remain separate.
huangruiteng
left a comment
There was a problem hiding this comment.
Reviewer: model_agent · GPT-5 · OpenAI (self_reported)
Approval conclusion
动机 / Motivation
运行模型行为资格检查的操作者,需要在模型选错捕获引用时仍得到可判定的失败结果。 模型读到正常导航后,选择不存在的 reader 文件或父目录,原来会抛出 FileNotFoundError 并丢失 Actor 结果;现在沿既有失败通道返回有界失败收据。 缺失引用仍不合格,Actor 在两次既定请求后停止,后续预置 spend 不执行;合法捕获、摘要、权限及错误来源的处理保持。 不把失败改为通过,不自动重试,不放宽原捕获作用域,也不声称完成真实模型、正式发行或完整 C1 采用资格。
改动思路 / Approach
将异常归一收在已有共享 reader,复用各 Actor 的失败通道,比复制捕获逻辑或新增错误协议更小且职责清楚。 当前 PR 完成缺失引用的有界失败修复;真实模型与正式发行资格仍由原工作流完成。 资格适配器先验证单条命令、原始捕获及摘要,再把合法命令交给实际 CLI。各场景仍拥有自己的 action 顺序、失败和 settlement 语义。补丁只把读取模型所选 reference 描述文件时的 OSError 转成已有 ValueError;既有 Actor 记录命令摘要并立即返回失败,不启动恢复模型或重复工具。
不改会继续丢失结果;在每个 Actor 复制 catch 会扩大维护面。from_output 已有同类原始捕获 IO 归一,因此沿同一共享边界修复即可。下表是新集成 head 相对不可变 main 基线的实际比较,未将旧头批准转移。
| 输入 | base | 当前 head |
|---|---|---|
| 缺失 reader 文件/父目录 | API 和 Actor 抛 FileNotFoundError | API 通用 ValueError;Actor 返回失败收据 |
| 合法 reference/direct capture | 成功读取完整选择页 | 完整输出在仅规范化路径及派生 reader locator 后一致 |
| 外来捕获、错误摘要、非私有/符号链接、坏 JSON、混用来源 | 原有拒绝 | 完整异常类别、诊断和优先级保持 |
具体改动 / Changes
审核完整 head 44ff42e1f7744278b02b604abce3f37741a06a8e 与 base f15c705623e29728f1dc812fcce725811741534d:仍只有三个文件(+37/-2),生产逻辑为一处窄 catch,两个既有测试文件补实际负例。新 merge commit 合入 main 之后,仍重新执行当前 capability-owned 计划;旧 1f607a16 review 仅保留历史。
预先读取 spec_ref: docs/reference/protocols/model-behavior-qualification-v0.md;spec_revision: f15c705。terminal-no-retry 对应单 Actor 不自动重试工具或重启场景,implemented;receipt-redaction 对应有界失败/摘要而不留原始路径和响应,implemented;original-capture-boundary 对应原始 source/digest/privacy 与顺序约束,implemented。这些标签映射原文无编号条款,没有把未来模型采用或正式版目标改为本补丁已完成。
关键代码讲解
QuotaToolContext.read先拒绝重复/混用来源、隐式 session lookup,再读取 reference。新增 try 只包该文件读取;JSON、物理文件/私有权限、原路径和 SHA-256 仍沿原 owner 判断。没有把宽泛异常转成成功。QuotaToolContext.from_output未改,继续解析当前捕获而非旧 delta baseline,并保留既有 OSError 归一。这是复用的已有责任边界,不是新增一套捕获实现。DoubaoTerminalSettlementToolBehaviorActor.qualify的既有 consumer 捕获 ValueError,产生 tool_execution_failed、追加摘要并立即返回。实际探针在第三步预置 spend,缺失文件/父目录后都只发出两次 scripted 请求,settlement 为空,无外部写入且收据无路径。
对主干的风险 / Risks
最强反例是 happy path 全绿,但一次不存在的父目录仍使整组资格检查没有最终结果;另一个风险是把异常捕获扩大后误放宽 source/privacy。当前独立同夹具 14 项比较覆盖 API 与实际 terminal Actor:缺失文件/父目录造成四项预期行为变化,其余十项完整观察相等。合法页保留 source digest、selection、read_instruction 等所有字段,只规范化临时路径及派生 reference locator;失败输入的 fixture 内容/权限保持。混用来源即使同时指向缺失文件,也仍先给原混用拒绝。
独立不变量在当前 immutable base 失败、在新精确头通过:base 先保存完整观察,再因原缺失引用仍为 FileNotFoundError 而触发断言;这是复现缺陷,未把该失败改写成通过。Head 的失败收据仍 qualification_passed=false,不自动重试、补写或扣账。合法读取可能生成原有私有 reader 描述文件,因此没有声称合法路径完全无文件写入。
本轮 PASS 180:六个实际 CLI/context/Actor/portfolio 模块,196.50 秒;provider 为确定性脚本,CLI 和文件系统为真实隔离执行。三路径 Ruff、配置 mypy17、原生 exact-scope CQR 及当前精确差异的完整 standard premerge 均单独核验。旧头曾披露的两项 sibling transport 诊断失败保留为旧版本事实,本轮没有将它们重跑或宣称已修复;本轮当前失败边界与合法页有独立直接证据。未查询、轮询或等待 CI。
语义与 CI 对齐
复用已有 ValueError/tool_execution_failed vocabulary,没有新 Enum、错误协议、CLI 开关或人工同步状态。分类依赖 OSError 类型和准确操作边界,没有新增 substring/prose 规则。没有新 opt-in/default-off 激活,普通 quota、宿主默认、捕获摘要与场景 settlement 顺序未改。失败留存、无重试和原始身份义务仍完整。
我的整体评价 / Verdict
APPROVE 当前完整精确头 44ff42e1f7744278b02b604abce3f37741a06a8e;这是完成所述缺失引用缺陷的窄结果。long_horizon=preserved:失败和调用预算保留,无额外结算或执行;user_experience=improved:操作者能获得原有失败对象,无新增输入、确认或隐藏恢复回合。将异常归一收在已有共享 reader,复用各 Actor 的失败通道,比复制捕获逻辑或新增错误协议更小且职责清楚。 当前 PR 完成缺失引用的有界失败修复;真实模型与正式发行资格仍由原工作流完成。
检查的资格 CLI、共享 reader 和 Actor receipt consumer 没有渲染页面、布局或控件变化,视觉检查不适用。unverified_scope:真实模型行为、原生 Windows、生产安装及正式公开版本资格。代码量与实际缺陷相称,无需新增抽象或跟踪任务。完整旧头历史、当前精确头结论、平台状态与另行 merge/bypass 权限分别保留,本评审不授权合并。
English verdict: APPROVE at 44ff42e. Missing reader paths now produce bounded failed Actor receipts with no retry, follow-on spend or path leakage; the new integrated head passes 180 tests and fourteen paired observations. Live-model, native Windows and public-release qualification remain separate.
模型使用不存在的
quota context-read --reference-file引用时,资格工具会泄漏FileNotFoundError,中断整组检查并丢失最终结果。共享的QuotaToolContext.read现在把引用读取的文件系统错误转为已有的输入拒绝,让 Actor 返回tool_execution_failed的失败收据。继续使用现有捕获 reader、摘要绑定和资格判定;失败场景保持失败,收据只保留命令摘要与有界错误,不包含模型选择的本地路径。这是现有 Python 资格适配器的错误边界修复。完整真实模型与正式发行资格仍需在最终源码上验证。
验证提交:
44ff42e1f7744278b02b604abce3f37741a06a8e,已同步main@f15c705623e29728f1dc812fcce725811741534d;公开差异仍为 3 个文件(+37/-2)。1f607a16的有效独立评审保留为历史;同步主干后的当前提交重新请求精确头独立评审,readiness 和普通合并分别核验。