Repository navigation
test: launch readiness fixtures with an explicit interpreter - #8917
Conversation
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; gpt-6.1-sol; OpenAI; reasoning effort max; runtime_reported.
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
评审 head:29bdf6da3ddfbfab2dde1071ba409871c32bf88a;对照 base:6bbdeb58715bafaa0eb54fedcbcc7fa51324bd93。未发现阻塞性问题。
动机 / Motivation
运行 native receiver 就绪检查回归的开发者,会遇到替身尚未初始化就耗尽短期限的问题。原来临时 Python 替身可能在启动阶段执行环境中的 site hook,导致一次本应成功的协议检查超时;现在紧预算用例在真实 spawn 内显式调用当前解释器并关闭 site 初始化。本轮验证确认环境中的两秒 site hook 不再进入接收器,而启动前休眠仍会在原一秒 attempt 期限内失败。本次交付限定为测试启动环境和相应反例,产品启动命令、预算、重试及模型行为保持原范围。这使回归测试能够辨别协议和期限错误,减少环境初始化对结果的干扰;本轮没有把一次成功运行归因为操作系统启动问题已被定位。
改动思路 / Approach
两个本地测试 helper 复用原 stdio transport 和 CLI main,期限、清理与错误分类仍由现有产品 owner 执行。当前 PR 只修改两个测试文件,保留默认模块入口覆盖,并集中适配紧预算替身的解释器启动。适配器仅在命令首项等于该 fixture 的合成可执行文件时改写 argv;子进程仍在原预算内创建,真实管道、initialize/account 请求和清理继续执行。普通 python -m benchmark.runtime.codex_readiness 测试仍直接走默认 CLI。新增 helper 不复制预算或协议判断,也没有预启动接收器。
具体改动 / Changes
全差异两个文件,+90/−6,均属于测试及其本地 fixture。与 base 的 15 个原测试逐项比较,84 个断言及全部参数化 decorator 保持一致。新增两个用例分别对环境 site hook 和冷启动计费施加压力;带空格、单引号的路径按 argv 传递。
关键代码讲解
- native_python_receiver只为合成 receiver 增加当前 Python 和
-S,随后调用捕获的原StdioNativeGoalTransport.spawn。命令参数检查仍约束真实 app-server 协议入口。 - native_python_cli_command让 CLI 子进程在相同适配范围内调用原 main,保留原退出码、标准输出和隐私断言。
- test_fixture_cold_start_consumes_the_existing_attempt_budget在 receiver 写计数前休眠,要求 initialize 超时、单次 attempt 和无 trace;它证明显式解释器没有绕过启动预算。
验收采用 base 6bbdeb58715bafaa0eb54fedcbcc7fa51324bd93 的 docs/development/good-smokes.md:start-with-the-contract → implemented,保留真实 CLI/进程边界;prefer-semantic-pressure → implemented,加入可反转的 site hook 与冷启动反例;consolidate-without-losing-coverage → implemented,共享启动适配并保留原断言和默认入口。具体 fixture 修复由上述可复现问题限定,没有追加新的产品规范。
对主干的风险 / Risks
主要风险是适配器让就绪检查绕开真实期限,或只剩被修改过的 CLI 覆盖。本轮同时检查了默认模块入口和紧预算子进程,原外层 allowance、重试上限、Stop、认证文件与待恢复记录不变、私有 stderr 不外泄等断言继续运行。冷启动反例仍按原期限退出。只在测试内改写 argv;产品与 benchmark runtime 的所有 blob 均与 base 相同,因此不引入能力关闭、权限、调度或持久化默认变化。
| 验证 | 结果与范围 |
|---|---|
| 同命令运行两个完整模块 | PASS:base 41、新头 43;各有 12 SKIP,均为缺失 SForge/Harbor 可选依赖。 |
| 原断言和参数化 | PASS:15 个测试、84 个断言保持一致。 |
独立反转 -S |
PASS(敏感性):site hook 实际进入,约 1.01 秒后原成功断言失败;receiver 计数和 trace 尚未产生。 |
| 本地标准 premerge | PASS:5 direct、6 selected 自动检查;整体仍为 manual_review_required。 |
私有反转 helper 初次因未给外置脚本设置 checkout 的模块路径而未执行;固定解释器与 PYTHONPATH 来源后才得到上述反例,没有将该启动错误当作产品失败。12 个可选依赖范围、原生 Windows、真实模型和实际操作系统间歇性启动延迟未在本轮验证;已运行的合成进程及其期限规则足以覆盖这次测试改动。未查询或等待远程 CI。
我的整体评价 / Verdict
这是一项完整且适度的测试修复:真实 transport 和原规则继续承担决定,新增逻辑只约束合成 receiver 的解释器环境。长期执行与用户体验的产品行为均保持原状;较可靠的本地回归有助维护,但不据此宣称模型成果或产品性能提升。未增加共享状态或语义词汇;保留这两个本地 helper 已能覆盖下一次 fixture 调整,相邻产品重构无需扩大。合并仍由既有 benchmark-sensitive maintainer 流程处理。
English verdict: APPROVE
huangruiteng
left a comment
There was a problem hiding this comment.
Reviewer: model_agent · Codex · OpenAI · self_reported
动机 / Motivation
维护 native receiver readiness 回归的开发者,会被环境里的临时 Python site hook 干扰:替身还没开始处理协议请求,短 attempt 就已经因 site 初始化耗尽。这样测试会把环境启动问题误报为 readiness 协议或期限失败。
当前提交只在 benchmark 测试 fixture 内让合成 receiver 使用当前解释器并加 -S,不改变真实 app-server 命令、产品预算、重试、清理或模型行为。同时新增反例证明 site hook 被隔离,而 fixture 冷启动仍消耗原 attempt 预算。
改动思路 / Approach
两个测试 helper 复用原 StdioNativeGoalTransport.spawn 和原 CLI main,只当首项是合成 CODEX_BIN 时改写 argv。子进程仍由原 transport 在预算内启动,原管道、initialize/account 请求、退出码、隐私断言和清理继续执行。默认 python -m benchmark.runtime.codex_readiness 入口仍有测试覆盖。
具体改动 / Changes
完整差异为 2 个测试文件、+90/-6,没有产品源码变化。native_python_receiver 仅把合成 receiver 改为 sys.executable -S;native_python_cli_command 在 CLI 子进程内复用同一适配;预算测试新增 ambient site hook 和冷启动超时反例。与原 base 比较,保留 15 个测试和 84 个断言,参数化和原协议入口未缩减。
关键代码讲解
test_codex_readiness.py::native_python_receiver检查合成 CLI argv 后调用捕获的原 spawn,并保留真实 deadline、stdio 和 cleanup。native_python_cli_command让原 CLI main 在同一个 fixture launch adapter 下运行,继续校验原退出码和 JSON receipt。test_fixture_cold_start_consumes_the_existing_attempt_budget在 receiver 写计数前休眠,要求 initialize 超时、仅一次 attempt、无 trace,证明-S没有绕过启动预算。
验收依据 docs/development/good-smokes.md:start-with-the-contract、prefer-semantic-pressure 和 consolidate-without-losing-coverage 均由真实进程入口和可反转反例覆盖。
对主干的风险 / Risks
PASS:在 exact head 运行两个模块得到 43 passed、12 skipped;12 个 skip 都来自未安装的可选 SForge/Harbor 依赖。Python 语法编译和 git diff --check 通过。产品与 benchmark runtime 源码相对 base 未变化,因此不会引入权限、调度、持久化或模型行为差异。
主要风险是测试适配器绕开真实期限。冷启动反例仍按一秒 attempt 超时,且 receiver 计数和 trace 均未产生;真实 transport 和 CLI main 没有被替换。原生 Windows、真实模型和操作系统偶发启动延迟未在本轮验证。
我的整体评价 / Verdict
APPROVE。该提交是范围明确的 test-only 修复:隔离环境的 site hook,同时保留真实 transport、CLI 和预算边界。两个完整 readiness 测试模块通过,新增反例证明修复没有让冷启动绕过原始期限。
English verdict: APPROVE at 29bdf6d. Explicit interpreter startup isolates ambient site hooks while the real transport, CLI, deadline and cold-start counterexamples remain intact.
Goal And Delivered Outcome
紧预算的 native receiver 测试曾在写出启动计数、处理 initialize 之前超时。替身只依赖 Python 标准库,却通过临时可执行脚本启动,受 shebang 启动路径和环境 site hooks 影响。
本 PR 让紧预算用例在实际 spawn 时显式调用当前 Python 和
-S。仍使用真实 stdio transport、CLI main、管道、绝对期限与进程清理;原来的默认python -m benchmark.runtime.codex_readiness入口测试继续保留。新增 site hook 干预和冷启动超时反例,不修改产品代码、预算或重试规则。Author Declaration
mainat101d0811419cade8134aa4406e41adb8fbdefd9e.native_python_receivertest_codex_readiness.pyScope And Continuation
作者实现已完成,仅修改两个测试文件。共享启动适配器复用既有 fixture 和 transport,未复制协议、时钟或清理逻辑;相邻重构无需扩大到产品代码。
精确 head 的独立评审、GitHub 必需检查和 benchmark-sensitive maintainer review 仍待完成。本地质量回执属于作者检查,不替代独立评审。操作系统层启动延迟的具体原因仍未确认,不据此宣称产品性能改善。
Validation
29bdf6da3ddfbfab2dde1071ba409871c32bf88a.python -m pytest -q benchmark/tests/test_codex_readiness.py benchmark/tests/test_codex_readiness_budget.py: 43 passed,12 optional skips-S的内存干预使新增 site hook 用例按预期失败,且 hook 已进入、receiver 计数与 trace 尚未产生manual_review_required早期仅加
-S、shell 启动器的尝试仍出现初始化前超时,未作为成功证据。初次 premerge 缺少独立工作区的 TypeScript 测试依赖;补齐后自动检查通过。另一次固定运行时与当前检出的模块来源混用,导致检查失败;该次失败保留,未自动归因为无关主干问题。最终验证使用当前检出自己的解释器和源码。
Frontend / Visual Evidence
UI impact: none。仅测试替身启动与回归覆盖,无界面变更。
Type / Area
Boundary Checklist