Skip to content

idd-all: verify 的停止條件可以設定(一定會停的 early stop,或做到窮盡) #595

Open

Description

@kiki830621

Problem

Original text:
「我在想idd這樣總是很早停止也不是一件好事 可以設定 idd-all 的stopping criterion嗎? 如果early stop是一定就會停下, 然後也有窮盡的可能」
— Source: 維護者 2026-11-21,在另一個私有專案跑完一批 /idd-all 之後

/idd-all 無人值守時什麼時候停,現在只有一條寫死的規則:verify 最多 2 輪,中間最多自動修一次(skills/idd-all/SKILL.md Phase 4 的 MAX_ROUND)。到了上限還不乾淨,就停在 verified,交回人。這條規則不能設定,也不分情況。

我的理解:維護者要的是把「什麼時候停」做成可以選的設定,至少有兩類:

  • early stop:保證一定會停。例如輪數上限、時間或額度上限,或某種收斂條件(例如連續幾輪沒有新的 Blocking)。現在的 2 輪上限是其中一種。
  • 窮盡:一直修、一直驗,直到 verify 找不到要修的東西(或找不到某個嚴重度以上的)為止。

那一批的實際情形

2026-11-20~21,另一個私有專案的一批 /idd-all,verify 由 Codex 單獨審。因為內建的規則不夠用,維護者每一批都在對話裡另外訂停止規則:「修一輪後合併」「Blocking 修掉再審一輪」「第 3 輪沒有 Blocking 就合併並結案」。其中四張的輪數:

張 verify 輪數 每輪的列數 怎麼停的
A 3 15 → 9 → 4 在下降;第 3 輪沒有 Blocking,照維護者的規則合併
B 5(第 3 輪後改了做法) 改做法後兩輪是 7 → 6,每輪都是新的、更窄的情況 從未歸零;維護者決定合併
C 3 每輪都有 1 項 HIGH,第 3 輪 5 列 停下,之後維護者指示合併
D 2 7 → 5 停下,之後維護者指示合併

兩個觀察:

  • 有的張在收斂(A),有的不收斂(B、C)。同一個固定上限,對 A 可能停得太早,對 B 再多幾輪也不夠。
  • 窮盡如果只看「verify 找不到東西」,B 這種可能永遠停不下來:reviewer 每一輪都是新的一次閱讀,總能找到更窄的情況。所以窮盡也需要一個一定會觸發的保底(輪數、時間或額度的硬上限),或「列數、嚴重度不再下降就停」這類條件。

Type

feature

Expected

  • /idd-all 的停止條件可以設定:repo config(.claude/.idd/local.json)設預設,invocation 的 flag 可以覆蓋這一次。沒有設定時維持現行行為。
  • 至少提供三種(維護者 2026-11-21 的回答):
    • early stop:依收斂數停(每一輪的列數不再下降就停),一定會停。
    • 窮盡(沒有 Blocking):修到 verify 沒有 Blocking 為止。
    • 完全窮盡:修到 verify 完全沒有列為止,沒有保底上限。
  • 停下之後要不要合併,依模式各自決定。
  • attended 的 run 也照設定調整,不只無人值守的。
  • 停下來時,回報寫明是哪一條停止條件觸發的。
  • 停止條件由程式把關(run-state 記錄輪數與每輪的列數,close-stage.py 檢查),不靠 model 記得。這是 idd-all: 無人值守的 verify 輪數上限只寫在 SKILL.md,沒有程式把關,compaction 後會被超過 #591 要做的事,這張依賴它。

更正於 2026-11-21:Expected 依維護者 2026-11-21 的回答改寫:三種停止模式、依模式合併、attended 也調整

Actual

上限只寫在 SKILL.md 的 pseudocode(unattended 2 輪、attended 1 輪),沒有設定,也沒有程式把關(#591)。

Impact

  • 還在收斂的張被提早停下,要人回來接手,多一次往返。
  • 不收斂的張只能靠人臨時決定停或繼續;每一批的停止規則散在對話裡,沒有留在 config,下一批又要再講一次。

相關

Clarity Surface(idd-clarify run 2026-11-20T23:25:41Z)

Type Source Question for you Status
ambiguity 「如果early stop是一定就會停下」 early stop 要依什麼停:固定輪數,還是看收斂(例如這一輪的列數或嚴重度沒有比上一輪少就停)? resolved @ 2026-11-21T04:14:08Z (reason: 維護者:收斂數)
ambiguity 「然後也有窮盡的可能」 窮盡要修到 verify 完全沒有列,還是修到沒有 Blocking 就算窮盡(In-scope fix 可以留下)? resolved @ 2026-11-21T04:14:08Z (reason: 維護者:分兩種,完全窮盡是完全沒有列)
ambiguity 「然後也有窮盡的可能」 窮盡模式要不要有一定會觸發的保底上限(例如 10 輪),還是你接受它可能一直跑下去? resolved @ 2026-11-21T04:14:08Z (reason: 維護者:完全窮盡沒有保底上限)
missing-context 「可以設定 idd-all 的stopping criterion嗎?」 停下之後 verify 還不乾淨(例如沒有 Blocking、但有 In-scope fix)時,要不要也照設定自動合併? resolved @ 2026-11-21T04:14:08Z (reason: 維護者:依模式調整)
ambiguity 「idd這樣總是很早停止」 這個設定只管無人值守的 run,還是 attended 的 run 也要照它自動多修幾輪? resolved @ 2026-11-21T04:14:08Z (reason: 維護者:attended 也要調整)

Current Status

Phase: diagnosed
Last updated: 2026-11-21 by idd-diagnose

Key Decisions

Scope Changes

  • ## Expected 依維護者的回答改寫(2026-11-21,/idd-edit --correct)。

Blocking

Commits

  • (none)

Activity

  1. kiki830621 commented on Nov 21, 2026

    @kiki830621
    MemberAuthor

    🎯 Decision(2026-11-21,維護者)

    回答 Clarity Surface 的五個問題,原文:

    「1 收斂數吧, 2. 可能區分兩種,有一完全窮盡是完全沒有列 3. 完全窮盡沒有, 4. 可能要調整分模式, 5. 也都要調整」

    逐題對照(括號裡是我的讀法,diagnose 時照這個讀法寫,讀錯請指正):

    1. early stop 依什麼停:收斂數(看每一輪的列數是否還在下降,而不是固定輪數)。
    2. 窮盡分兩種:完全窮盡是 verify 完全沒有列;另一種(我的讀法:修到沒有 Blocking 就算)。
    3. 完全窮盡沒有保底上限。
    4. 停下之後要不要合併:依模式調整(每一種停止模式各自定合併條件)。
    5. attended 的 run 也要照設定調整,不只無人值守的。
  2. kiki830621 commented on Nov 21, 2026

    @kiki830621
    MemberAuthor

    Diagnosis

    Type

    feature

    Root Cause / Analysis

    現在怎麼停:停止規則寫在 skills/idd-all/SKILL.md Phase 4 的 pseudocode:MAX_ROUND = 2 if INTERACTION == "unattended" else 1。迴圈裡有三種結果:

    • gate 判定 clean 就 break,進 Phase 5 與 5c(會 merge)。
    • not_clean 時,attended 直接把 findings 交回使用者,不自動修(理由寫在程式碼註解:「Do NOT auto-fix in attended mode; that defeats the purpose of HITL」)。
    • unattended 到了 MAX_ROUND 還有 Blocking 就 abort;沒有 Blocking 時開 PR、寫明不乾淨,但 Phase 5c 不跑。

    會不會 merge 由 scripts/close-stage.py 的 gate_stop() 決定,它只放行 clean。clean 的定義是 #392 在 2026-11-10 定的:報告判定 PASS、Blocking 為 0、In-scope fix 只剩 LOW/INFO/P3。

    維護者 2026-11-21 的回答(Decision comment)把需求拆成三種停止模式,另加兩個橫向要求:

    模式 停止條件 有沒有保底
    early stop 收斂數:每輪的列數不再下降就停 一定會停(列數是非負整數,不能無限下降)
    窮盡(沒有 Blocking) 修到 verify 沒有 Blocking 未定
    完全窮盡 修到 verify 完全沒有列 沒有(維護者:「完全窮盡沒有」)
    • 停下之後要不要合併,依模式各自定。
    • attended 的 run 也要照設定調整。

    要改的地方:

    1. config 與 flag:references/config-protocol.md 加一個欄位(例如 verify_stop:模式加參數),idd-all Step 0.2 加 flag 覆蓋這一次。沒有設定時,行為與現在逐字相同。
    2. 每一輪的紀錄:收斂數要比較這一輪與上一輪的列數,run-state 必須記每一輪 gate 的結果。現在 cmd_init 寫的 run-state 只有 path、interaction、branch 這些旗標,沒有輪數,也沒有每輪的計數。這正是 idd-all: 無人值守的 verify 輪數上限只寫在 SKILL.md,沒有程式把關,compaction 後會被超過 #591 要加的東西,這張在它上面多記每輪的計數。
    3. 要不要再跑一輪由程式判斷:close-stage.py 加一個子指令(例如 next),讀 run-state 與這一輪的 gate 結果,依模式回答「再修一輪」或「停下,原因是 X」。Phase 4 的迴圈改成照它的答案走,不再讀 MAX_ROUND。
    4. 合併條件依模式:「early stop 收斂了、沒有 Blocking 就合併並結案」這類規則,需要 gate_stop() 接受 clean 以外的結果。這動到 feat: idd-all 在 verify 乾淨通過後自己 merge 並 close,結束時回報(Foresay traceable:可逆操作先做再回報) #392 刻意定下的 merge 前提(只有 clean 才 merge)。合併的仍是審過的那個 commit;沒修的列照 low_in_scope 的做法合成一張 follow-up issue。
    5. attended:現在的設計是 attended 不自動修。要照設定調整,就要決定 attended 是自動修,還是每輪仍把 findings 交回使用者、但由設定決定要不要再跑一輪。
    6. Phase 6 回報:寫明是哪一條停止條件觸發的(輪數、每輪列數、模式)。

    要在 discuss 時決定的:

    • 收斂數數的是什麼:全部列、Blocking 加 In-scope fix,還是依嚴重度加權?「不再下降」是指一輪不下降就停,還是連續 k 輪?
    • 「窮盡(沒有 Blocking)」要不要保底上限?
    • 完全窮盡沒有上限時,什麼情況仍然停:遇到不自動修的 finding(安全漏洞,現在是 abort)、run-state 過期(close-stage: 24-hour run-state TTL blocks a long multi-round /idd-all run after a clean verify #576:24 小時 TTL 會擋下長的 run)、使用者中斷?
    • 各模式的合併條件:例如 early stop 收斂且沒有 Blocking → 合併;完全窮盡 → 只在歸零時合併。
    • attended 要不要自動修。
    • 與 --review、--in-chain 的關係:這兩種 run 現在不 merge,也只修 Blocking。

    那一批的數字(issue 正文的表):A 張 15 → 9 → 4,確實在收斂;B 張改了做法之後是 7 → 6,每輪都是新的、更窄的情況。B 張這種在完全窮盡下可能跑很久。維護者已經接受沒有上限,這裡只是記下來。

    Existing work

    Impact

    • 影響的檔案(估計):skills/idd-all/SKILL.md(Step 0.2、Phase 4、Phase 5c、Phase 6)、scripts/close-stage.py(run-state、gate、新的 next、gate_stop)、references/config-protocol.md、scripts/tests/ 的 close-stage 測試,可能還有 references/unattended-contract.md 與 idd-all-chain。
    • 影響的使用者流程:所有 /idd-all run 的 verify 迴圈與自動 merge。沒有設定時不變。

    Strategy

    Conflict Class

    C_shared_module_coord — 與 #591 共用 scripts/close-stage.py 的 run-state 與 skills/idd-all/SKILL.md Phase 4;兩張要協調順序,或放在同一個 change 裡。

    Complexity

    Spectra

    • Layer 2:新增 config 欄位與 flag,是給之後每一個 /idd-all 使用者的設定介面,行為要寫成規格。
    • Layer 3:改了既有的規範行為(Phase 4 的輪數規則、feat: idd-all 在 verify 乾淨通過後自己 merge 並 close,結束時回報(Foresay traceable:可逆操作先做再回報) #392 的「只有 clean 才 merge」);牽涉 idd-all、close-stage、config-protocol 三份契約;完全窮盡與依模式合併是會長期繼承的結構性決定。
    • Hard-gate: triggered — 估計同一個概念散佈到 skills/idd-all/SKILL.md、scripts/close-stage.py、references/config-protocol.md、close-stage 測試、references/unattended-contract.md 五處以上(Spectra 已經優先成立)。

    Risks

    Residue

    「總是很早停止也不是一件好事」背後要的是:少一點人的往返,品質又不變差。設定只能把停止規則講明白、交給程式執行;某一種模式在某一張 issue 上會不會讓品質變好,設定本身保證不了(#594、#423 記過:輪數多不等於收斂)。

    Vagueness Pre-check

    • V1: 3 — 要做什麼已由維護者 2026-11-21 的回答定下:三種停止模式(early stop 依收斂數、窮盡到沒有 Blocking、完全窮盡)加上依模式合併與 attended 也調整。
    • V4: 4 — 「怎樣算做完」還有未定的地方:收斂數數的是什麼、「不再下降」是一輪還是連續幾輪、各模式的合併條件、attended 要不要自動修。
    • Triggered: yes (max=4)
    • User choice: proceed anyway
    • Effect: 不在 diagnose 階段補問;未定的幾點列在 Root Cause / Analysis,交給 spectra-discuss。

    Sister Concerns Filed (mid-diagnose, v2.47.0+ #528)

    Proposed Corrections

    # Target Section 錯在哪 Command
    1 issue:595 ## Expected 寫成「兩類、窮盡另加保底上限」,與維護者 2026-11-21 的回答(三種模式、完全窮盡沒有上限、依模式合併、attended 也調整)不符 已執行:/idd-edit issue:595 --correct --section '## Expected'(2026-11-21,維護者選「現在執行」)
  3. kiki830621 commented on Nov 21, 2026

    @kiki830621
    MemberAuthor

    Implementation Complete (auto-posted by spectra-archive for 2026-11-21-verify-stop-modes)

    Auto-posted by /spectra-archive after archiving verify-stop-modes. This comment is the canonical Implementation Complete anchor for /idd-close Step 0 supersession gate.

    Spectra change: openspec/changes/archive/2026-11-21-verify-stop-modes/
    Spec deltas applied: idd-pr-hitl-modes
    Archived: 2026-11-21

    Checklist

    • 1.1 在 plugins/issue-driven-dev/scripts/tests/close-stage/scenarios.sh 為 requirement「A configured stop mode decides when the fix loop stops and whether the run merges」的八個 Scenario 各加一個情境:用 fixtures 準備 run-state(含 verify_stop 與 rounds)與 gate 結果,檢查 close-stage.py next 印出的 decision、merge、reason,以及 gate 重讀同一份報告時 rounds 的筆數不變。驗證:plugins/issue-driven-dev/scripts/tests/close-stage/test.sh 跑這些情境,改程式前全部失敗。
    • 1.2 為 requirement「Clean verify leads to merge and close」新增的 Scenario(設了模式的 run 期限從最後一輪算)與 requirement「Unattended fix loop covers in-scope findings with a two-round limit」新增的 Scenario(沒有模式、rounds 有 3 筆時 run 停下並寫明兩輪上限)各加一個情境。驗證:同一支 test.sh,改程式前這兩個情境失敗,既有情境照舊通過。
    • 2.1 [after: 1.1] close-stage.py init 接受必填的 --stop <none|early|exhaustive-blocking|exhaustive-all>,把模式寫進 run-state 的 verify_stop(none 寫成 null),缺少或其他值以結束碼 64(usage,與 init 其他引數相同)拒絕。驗證:test.sh 的 init 情境(缺 --stop、值錯、四個合法值)。
    • 2.2 [after: 2.1] 每輪的計數由 gate 寫進 run-state:close-stage.py gate 讀到這次 run 還沒讀過的報告(以 comment id 判斷)時,在 rounds 加一筆 round、sha、blocking、in_scope、low_in_scope、report_id、at;unparseable 也記一筆、計數為 null;重讀同一份報告不加。gate 印出的 JSON 另帶 round。驗證:1.1 的「The same report read twice is one round」情境通過。
    • 3.1 [after: 2.2] 新增 close-stage.py next,依 design「要不要再跑一輪由 close-stage.py next 判斷」印出 decision、merge、reason、mode、rounds。實作三種模式的判定表:收斂數數的是要修的列(blocking + in_scope - low_in_scope,--review/--in-chain 只數 blocking)、early stop 以嚴格下降判斷收斂、exhaustive-blocking 用連續兩輪不下降當保底、exhaustive-all 沒有輪數上限;沒有模式時無人值守 2 輪、attended 1 輪後回 stop。讀不到 run-state 或 rounds 空的回 stop、merge: false、非 0 結束碼。驗證:1.1 的模式情境全部通過。
    • 3.2 [after: 3.1] close-stage.py run 的合併條件:停下時合併的是最後一輪審過的 commit——有模式的 run 在 next 對最後一輪回 merge: true 時放行(HEAD 必須等於最後一筆 rounds 的 sha),沒有模式的 run 仍要求 clean,且無人值守 run 的 rounds 超過 2 筆時停下並寫明兩輪上限;--review、--in-chain、meeting 照舊不合併,其餘 guardrail 不變。驗證:1.1 的合併情境與 1.2 的兩輪上限情境通過,既有 merge 測試(scripts/tests/merge-and-close-contract/)照舊通過。
    • 3.3 [after: 2.2] 設了模式的 run,期限從最後一輪算:load_state() 對 verify_stop 不是 null 的紀錄,以 rounds 最後一筆的 at 計算年齡(沒有 rounds 用建立時間);沒有模式的紀錄不變。驗證:1.2 的期限情境通過;沒有模式、建立超過 24 小時的既有情境照舊被擋。
    • 4.1 [after: 2.1] idd-all SKILL.md Step 0.2 解析 --stop,值不在三個之內時在 Phase 1 之前停下並列出三個值;Step 0.7 照 config 值寫錯時當成沒有模式的規則解析 verify_stop.mode(印一行),把結果以 --stop 交給 close-stage.py init,並在模式通知那一行印出停止模式。驗證:內容審查 SKILL.md 的 Step 0.2 與 0.7,並以 1.1 的「Flag over config」情境的 init 部分對照。
    • 4.2 [after: 3.1, 4.1] idd-all SKILL.md Phase 4 改成一條由 close-stage.py next 驅動的迴圈:每輪 verify → gate → next,照 decision 修或停;設了模式的 attended run 也自動修(安全漏洞仍停下交回);MAX_ROUND 這個名字從 SKILL.md 移除。驗證:grep -c MAX_ROUND plugins/issue-driven-dev/skills/idd-all/SKILL.md 為 0;內容審查 Phase 4 的 pseudocode 對照 spec 的判定表。
    • 4.3 [after: 3.2, 4.2] idd-all SKILL.md Phase 5c 的兩張表與 Phase 6 的 Run report:寫明有模式時的合併條件、剩下的列合成一張 follow-up issue、回報列出模式、輪數、每輪的 to-fix count 與 next 的 reason。驗證:內容審查 Phase 5c 與 Phase 6,對照 requirement「A configured stop mode decides when the fix loop stops and whether the run merges」的最後一段。
    • 5.1 plugins/issue-driven-dev/references/config-protocol.md 新增 verify_stop 欄位一節:三個值、沒有設定時的行為、寫錯時當成沒有模式、--stop 優先於 config、各模式的合併條件與風險(不乾淨的 commit 可能自動合併)。驗證:內容審查,與 design 的「config 值寫錯時當成沒有模式」一致。
    • 5.2 [after: 3.2, 3.3, 4.3, 5.1] 全部 close-stage 與 idd-all 相關測試通過,沒有設定模式時輸出與改動前相同。驗證:plugins/issue-driven-dev/scripts/tests/close-stage/test.sh 與 plugins/issue-driven-dev/scripts/tests/merge-and-close-contract/ 的測試全部通過。
    • 6.1 停止模式的合併也要求覆蓋率行與 reviewers 行完整:verify-gate.py 對每種判定輸出 coverage_complete、reviewers_complete,close-stage.py 的 merge_gate 在停止模式下要求兩者為 true。驗證:close-stage 的 stop-run-cover、stop-run-noreviewers 情境停下;拿掉這道檢查時 8 個斷言失敗。
    • 6.2 沒有模式的 run 以 attempts(每個被判過的 commit 一筆)計輪數;decide 的沒有模式分支每個回答都帶 round 與 limit,Rejected 與 clean 留給 gate;merge_gate 擋下 Phase 4 沒判過的報告。驗證:close-stage 的沒有模式情境(缺報告的第 2 輪、第 1 輪有 Rejected、第 3 輪 clean、stop-nomode-unseen);改回只數報告時 3 個斷言失敗。
    • 6.3 run-state 只有一種讀法(read_state,檢查形狀)與一種寫法(write_state,mkstemp 建暫存檔);gate 寫紀錄失敗時回 unparseable;next 出錯時的回答帶 mode 與 rounds;unparseable 那一輪不保留計數;next 的每一輪帶 to_fix。驗證:close-stage 的 stop-gate-broken 與 to-fix 列表情境。
    • 6.4 idd-all SKILL.md:--stop 沒有值時中止;verify_stop 不是 object 時印一行;PR 正文在停止模式要合併時照實寫;停下並合併前檢查剩下的列有沒有安全漏洞;三處舊文字更新。驗證:Step 0.2 的停止模式解析在 bash 下實際跑過(zsh 下最後一個參數讀不到是既有的問題,另開 idd-all Step 0.2: under zsh the last argument is never read (array index starts at 0) #598);內容審查 Phase 4、Phase 5、Failure Modes。
    • 6.6 同一個 commit 上的新報告也算一輪:record_round 的 attempts 在 commit 換了、或讀到新報告時加一筆;Phase 5c guardrail 表第 1 列照程式改寫(數 attempts、覆蓋率與 reviewers 行)。驗證:close-stage 的「a new report on the same commit is a new attempt」斷言。
    • 6.5 測試:verify_comment 可設 severity、覆蓋率行與 reviewers 行;補上 spec「The same report read twice is one round」的兩輪版本、停止模式的 Rejected、run 實際合併 MEDIUM 列的兩條路徑。驗證:close-stage 套件 624 項全過。

    Note: only completed (- [x]) tasks shown. For skipped (- [~]) and won't-fix (- [-]) items with reasons, see archived openspec/changes/archive/2026-11-21-verify-stop-modes/tasks.md — the canonical audit trail.


    The canonical record of what was implemented is the archived change directory + main spec at openspec/specs/<capability>/spec.md. This comment exists to satisfy /idd-close Step 0 supersession gate.

  4. kiki830621 commented on Nov 21, 2026

    @kiki830621
    MemberAuthor

    Verify: #595

    Engine

    Codex 單獨審(codex-call,gpt-6.2-sol、effort high、service tier ultrafast),照使用者 2026-11-21 的指定。reviewer 讀到的是 issue、Decision、Diagnosis、已定案事項的清單、相關檔案全文與 diff,讀不到 repo 其他檔案,也沒有跑測試。
    1 / 1 reviewers completed

    Aggregate

    FAIL — 3 blocking, 4 in-scope fix, 0 follow-up

    Reviewed: 6c26645e5ab9b84cf5ed9fe01274bb346340ea62..a762ed7e1ff75dd043597aee40f373fb2846e381

    要求覆蓋率

    2 / 8 requirements addressed

    第 1 輪。

    Findings

    # Severity Finding Source Action
    1 HIGH 有模式的 close-stage 未執行安全漏洞 veto:Phase 4 明定剩餘 In-scope fix 若有安全漏洞就 abort,但這個結果沒有進入 run-state,merge_gate() 也不檢查。以 early 為例,若兩輪的 to-fix count 持平、Blocking 為 0,且留下的是 In-scope fix 的安全漏洞,decide(st) 仍允許合併,settled_stop() 也不會擋下它。若後續仍呼叫 run,PR merge 和 direct push 都可能通過,違反合併防線必須由執行 merge/push 的同一程序把關的規格。應讓 close-stage 能辨識並拒絕該報告的安全漏洞 veto,並測試它不依賴 Phase 4 是否執行 abort。(plugins/issue-driven-dev/scripts/close-stage.py) codex Blocking
    2 HIGH 沒有新報告的 Verify 嘗試不計輪,可能永遠繼續修:第一輪報告若需要修正,而修正沒有產生 commit、下一次 Verify 也沒有貼新報告,gate 仍會讀到本次 run 的第一份有效報告。因 SHA 和 comment ID 都沒變,rounds 與 attempts 都不增加,next 會再次回傳第一輪的 fix。這可使 early 無法保證停止,也讓 exhaustive-blocking 的停滯判定及未設定模式的兩輪上限失效;舊迴圈會消耗一次輪次。應區分「同一輪重讀」與「開始了新一輪但沒有新報告」,讓新一輪不能以舊報告作為繼續修正的依據。(plugins/issue-driven-dev/scripts/close-stage.py) codex Blocking
    3 HIGH 空的 round record 讓未判讀的報告通過 close-stage:未設定模式的分支只在 rounds 非空時,才檢查最新報告是否曾由 Phase 4 判讀。init 建立的是空清單;若 Phase 4 沒有成功記到任何報告,之後出現符合 SHA、base 與其餘 guardrail 的 clean 報告,run 可以直接 merge 或 push。這違反 #591 的規格:最新報告不在紀錄中就必須拒絕。現有 stop-nomode-unseen 有一筆較早紀錄,未涵蓋空紀錄。(plugins/issue-driven-dev/scripts/close-stage.py) codex Blocking
    4 HIGH 本輪 gate 寫入失敗時,Phase 4 仍可能採用上一輪的 fix:record_round() 寫入失敗時,gate 回傳 unparseable,但原子替換保留上一輪可讀的 run-state。模式分支直接依 nxt.decision 行動,沒有先檢查本輪的 gate.status。例如第二輪寫入失敗、第一輪曾答 fix,next 仍能讀到第一輪並答 fix,讓 Phase 4 繼續修正,而非按規格停下。應要求本輪 gate 成功記錄,且 next 的答案對應本輪,才允許執行 fix 或進入合併流程。(plugins/issue-driven-dev/skills/idd-all/SKILL.md) codex In-scope fix
    5 HIGH 不合法的 config 字串可能啟用較寬鬆的停止模式:jq -r 輸出原始字串後,shell 的 command substitution 會移除尾端換行。因此 config 中帶尾端換行的 early 雖不是三個允許值之一,仍會解析成 early,可能開啟原本未被允許的非 clean 自動合併。明確設定的空字串也會被視為欄位缺席,跳過規格要求的警告。應在 jq 內檢查 JSON 值是否精確等於允許值,再輸出已驗證的模式或明確的無效標記。(plugins/issue-driven-dev/skills/idd-all/SKILL.md) codex In-scope fix
    6 HIGH 未設定模式時,init 失敗會取消原本仍可執行的修正輪:Step 0.7 原本承諾記錄失敗只會禁止 close stage、run 照常繼續;舊 Phase 4 用自己的輪次,在 unattended 第一輪 not_clean 後仍可修一次再驗。新流程在沒有 run-state 時把 next 無法提供輪次視為已達上限,因此同一情況會直接停止。這不只是拒絕 merge,而是改了未設定模式時的修補行為。應保留這條路徑的原有修補行為,同時維持不得合併,或明確變更相容性承諾。(plugins/issue-driven-dev/skills/idd-all/SKILL.md) codex In-scope fix
    7 MEDIUM exhaustive-all 的 Blocking-only 停止例外未寫入規格:現行 spec 的 exhaustive-all 表格要求 blocking 與 in_scope 都是 0 才停止;Blocking-only 的條文只定義 to-fix count。實作對 --review/--in-chain 完全忽略 in_scope,所以在仍有 In-scope fix 時會停止並說「leaves no finding」。這不會讓兩類 run 合併,也不應擴大它們的修補範圍;應在停止表明訂 Blocking-only 例外、讓理由明確說沒有 Blocking,並測試 exhaustive-all 下這兩個旗標的行為。(plugins/issue-driven-dev/scripts/lib/stopmode.py) codex In-scope fix

    第 1 輪(PR #599 的 head)。七列我都對照程式確認過,都成立:

    • 列為 Blocking 的三列都會讓「保證」不成立:第 1 列(安全漏洞的否決只在 SKILL,close stage 自己不擋)、第 2 列(沒有新 commit、也沒有新報告的一輪不會被計數,next 會一直重複上一輪的 fix,early 的「一定會停」與兩輪上限都失效)、第 3 列(round 紀錄是空的時候,close stage 不檢查最新報告有沒有被 Phase 4 判過)。
    • 其餘四列列為 In-scope fix:第 4 列(本輪 gate 寫紀錄失敗時沿用上一輪的答案;修第 2 列時一起處理)、第 5 列(jq -r 加上 command substitution 會吃掉尾端換行,"early\n" 被當成 early;空字串也沒有警告)、第 6 列(沒有 run-state 時,沒有模式的 run 少修一輪,與「沒有設定時行為不變」不符)、第 7 列(--review/--in-chain 在 exhaustive-all 只看 Blocking,規格沒有寫)。

    修正輪 1 的計畫另貼一則;規格有變動的部分走一個新的 Spectra change idd-595-fix1。

    Scope Check

    • 改動在 plugins/issue-driven-dev/scripts/close-stage.py、scripts/lib/stopmode.py、scripts/verify-gate.py、skills/idd-all/SKILL.md、references/config-protocol.md、close-stage 測試與 openspec/。
  5. kiki830621 commented on Nov 21, 2026

    @kiki830621
    MemberAuthor

    Implementation Plan (fix round 1)

    Spec plan: change idd-595-fix1

    對應 verify 第 1 輪的列號:

    • 第 1 列:verify-gate.py 另外回報還沒修的 In-scope fix 裡有幾列是 CRITICAL/HIGH/P0/P1(high_in_scope);停止模式的合併要求它是 0。close stage 自己就擋,不靠 Phase 4。
    • 第 2、4 列:next 回答過 fix 的那個結果(同一個 commit 上的同一份報告,或同一個 commit 上沒有報告)記在 run-state;之後 next 再讀到同一個結果就回 stop、不合併。新的一輪一定要帶來新的 commit 或新的報告。本輪 gate 寫紀錄失敗、run-state 停在上一輪時,也因此停下而不是重複上一輪的 fix。
    • 第 3 列:沒有模式的合併,最新報告必須在 round 紀錄裡,紀錄是空的也一樣。
    • 第 5 列:Step 0.2 在 jq 裡就比對三個值,輸出驗證過的模式或明確的無效標記;空字串也印警告。
    • 第 6 列:沒有 run-state 時,沒有模式的 run 照 idd-all: verify 的停止條件可以設定(一定會停的 early stop,或做到窮盡) #595 之前自己數輪數(close stage 反正不合併)。
    • 第 7 列:規格寫明 --review/--in-chain 在 exhaustive-all 只看 Blocking;回報的原因照實寫。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions