Skip to content

[enhancement] edit-run time limit: LOW and INFO findings left by the verify of #508 (follow-up from #508) #519

Closed

Description

@kiki830621

Problem

#508 的 verify 第 2 輪(報告)判定 PASS、0 blocking,In-scope 的六列都是 LOW 或 INFO。照 /idd-all 的規則,這些不擋合併、也不在那條 branch 上再改(合併的要是審過的 commit),所以記在這裡。編號沿用那份報告的列號;行號是 66c0cd6 上的。

測試本身(plugins/issue-driven-dev/scripts/tests/edit-run/test.sh 開頭的時限檢查)

  • 列 1(LOW):「runner 套用這個檔」那個檢查失敗時看不到原因。巢狀 runner 的輸出寫進沙盒目錄,下一行就把目錄刪掉;失敗訊息只有結束碼。
  • 列 2(LOW):上限檢查是「不大於 600 秒」,保證不了註解與 CHANGELOG 說的事(卡住時 runner 來得及在 CI job 被取消之前回報)。GitHub 上「Run all fixture suites」這一步最近六次是 358 到 532 秒,更早有超過 600 秒的;時限若是 600 秒,加起來就超過 job 的 20 分鐘。現在的值是 480 秒,還有餘裕。註解寫的「nine minutes」與 CHANGELOG 的「under half」(檢查允許剛好一半)也跟著不準。
  • 列 6(INFO):這段檢查排在 suite 設定清理用的 trap 之前。巢狀 runner 執行中被中斷時,沙盒目錄會留在暫存目錄裡。

說明文字

Type

enhancement

Expected

  • 列 1:檢查失敗時印出巢狀 runner 輸出的尾段,再刪沙盒。
  • 列 2:上限改成檢查實際保證得了的值(例如不大於 480),註解與 CHANGELOG 改成量到的數字。
  • 列 6:沙盒目錄在中斷時也會被清掉。
  • 列 3:CHANGELOG 的條目改成「觀察到」的寫法並附上量到的數字。這一條還在 [Unreleased],要在下一次發版之前改。
  • 列 4:已完成。兩項更正在 2026-11-13 套用到 [bug] edit-run suite is killed by the 180 s per-suite limit when the machine is busy #508 的 Diagnosis 留言,這張不必再做。
  • 列 7:不處理。維護者決定不調高預設的 180 秒時限,負載到 150 左右不在保證範圍內。

更正於 2026-11-13:列 4 已在 2026-11-13 完成;列 7 決定不處理,不調高預設時限

Impact

plugins/issue-driven-dev/scripts/tests/edit-run/test.sh、plugins/issue-driven-dev/CHANGELOG.md。列 4 動的是 #508 的留言;列 7 若要處理,動的是 scripts/run-all-tests.sh 的預設時限或個別 suite 的 timeout 檔。

相關:#518(runner 用固定檔名寫紀錄)、#474(實作途中換掉的做法不會寫回 Diagnosis)。

Source: surfaced during /idd-all #508 — verify 第 2 輪的 In-scope 列(報告),2026-11-12

Clarity Surface(idd-clarify run 2026-11-12T05:43:13Z, unattended)

Type Source Question for you Status Reason
ambiguity "列 4" #508 結案之後,還要不要把那兩項更正套用到它的 Diagnosis 留言(要先 reopen),還是留著不動、以結案摘要為準? resolved @ 2026-11-12T23:13:48Z (reason: 套用,已在 2026-11-13 完成,沒有 reopen;decision) unattended-auto-Step-4.6-deferred
ambiguity "列 7" 負載到 150 左右時別的 suite 也會超過預設的 180 秒:要把預設時限調高,還是認定這種負載不在保證範圍內、不處理? resolved @ 2026-11-12T23:13:48Z (reason: 不調高預設時限,這種負載不在保證範圍內;decision) unattended-auto-Step-4.6-deferred

Current Status

Phase: closed
Last updated: 2026-11-13 by idd-close
Dashboard: #519 (comment)

Key Decisions

Scope Changes

  • (none)

Blocking

  • (none)

Commits

Activity

  1. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    🎯 Decision

    Original (2026-11-13):
    「那三件事情都照你的建議來做」

    回答的是 Clarity Surface 的「列 4」:#508 結案之後,還要不要把 verify 第 2 輪列的兩項更正套用到它的 Diagnosis 留言。問維護者時的說法是「留言裡有後來被驗證證明寫錯的句子,要不要就地改正」,建議是改。

    決定

    套用。兩項已在 2026-11-13 就地更正在 #508 的 Diagnosis(### Root Cause / Analysis 與 ### Sister Concerns Filed (mid-diagnose)),內容是報告公布的替換文字,逐字。#508 另有一則說明交代這件事。這張的列 4 到此完成。

    Rationale

    這個建議是記錄的人(Claude)提的,維護者採納。理由:留著的話,之後讀 Diagnosis 的人或 AI 會先讀到後來的量測不支持的推論;結案摘要寫了正確的版本,但排在後面。

    這一列的問句寫「要先 reopen」,執行時沒有 reopen。那一條出自討論寫回的規則(rules/issue-write-back.md),而同一份規則把 verify 的 Proposed Corrections 列在範圍外,它們走提議流程;提議流程與工具都沒有限制 issue 的狀態。reopen 與再次關閉也是 issue 狀態的變動,不在這次的決定裡。結案摘要沒有改,改由那則說明交代。規則對「結案之後才套用」沒有寫,這件事補記在 #474。

    Related

    #508、#474

  2. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    🎯 Decision

    Original (2026-11-13):
    「那三件事情都照你的建議來做」

    回答的是 Clarity Surface 的「列 7」:機器負載到 150 左右時,別的 suite 也會超過預設的 180 秒,要不要把預設時限調高。建議是不調。

    決定

    不調高 scripts/run-all-tests.sh 預設的 180 秒時限,也不為這種負載另外給其他 suite timeout 檔。負載到 150 左右不在保證範圍內。這張的列 7 不必做任何修改。

    Rationale

    這個建議是記錄的人(Claude)提的,維護者採納。依據是量到的數字:2026-11-12 跑了四次整套測試,後三次機器負載在 40 到 290 之間。除了已經有自己時限的 merge-completeness 與 edit-run,每一次最慢的 suite 分別是 48、57、72、67 秒,離 180 秒還很遠。超過 180 秒的只有負載約 150 時單獨量到的那一次(actionability-gate 193 秒,mention-markdown 168 秒也接近)。調高預設值會讓每一個卡住的 suite 都多等,換來的只是那種負載下少一次誤報。之後若在一般負載下又有 suite 逾時,照 #508 的做法給那個 suite 自己的 timeout 檔。

    問維護者時說的是「三次整套測試、最慢 67 秒」,核對紀錄後是四次、最慢 72 秒,結論不變。

    Related

    #508

  3. kiki830621 commented on Nov 13, 2026

    @kiki830621
    MemberAuthor

    Diagnosis

    Type

    enhancement(label enhancement)

    Root Cause / Analysis

    這張是 #508 的 verify 留下的小項。維護者在 2026-11-13 決定了其中兩列(列 4 已完成、列 7 不處理),剩下四列,都在 plugins/issue-driven-dev/scripts/tests/edit-run/test.sh 開頭的時限檢查,以及講同一件事的說明文字。逐列對照 ac42c3a:

    列 1:檢查失敗時看不到原因。 第 47 到 49 行把巢狀 runner 的輸出寫進沙盒的 out,用結束碼判斷,下一行就刪掉沙盒。失敗訊息只有「expected exit 0 got 1」,分不出是逾時、沙盒沒建好,還是 runner 自己壞了。這個檢查也只跑「有 timeout 檔」的那一種情況;沒有對照,看不出它通過是不是因為那個檔。

    列 2:上限 600 秒保證不了說明文字講的事。 第 36 行檢查「不大於 600」,註解說這樣 runner 來得及在 CI job 的 20 分鐘之前回報。量到的數字(GitHub 上 tests 這個 workflow 最近 24 次,2026-11-10 到 11-12):

    最短 中位數 最長
    「Run all fixture suites」這一步 358 秒 466 秒 603 秒
    整個 job 383 秒 507 秒 654 秒

    job 的時限是 1200 秒。edit-run 卡住時,job 大約要「平常的時間加上時限」:以最長的 654 秒算,時限 480 秒時是 1134 秒,還剩一分鐘左右;時限 600 秒時是 1254 秒,job 會先被取消。所以現在的 480 秒站得住,但檢查放行到 600 秒。註解的「up to nine minutes」(那一步最長其實是 603 秒,整個 job 是 654 秒)與 CHANGELOG 的「under half」(檢查允許剛好一半)也不準。

    列 6:中斷時沙盒留在暫存目錄。 時限檢查排在第 24 到 50 行,這個 suite 的清理(trap cleanup EXIT)在第 55 行才設定,沙盒也不在 cleanup 會刪的 $WORK 底下。巢狀 runner 執行的那幾秒被中斷,沙盒就留下。實測(bash 5.3):EXIT trap 在收到 TERM、INT、HUP,以及被 timeout 終止時都會執行,所以只要沙盒放在 $WORK 底下、檢查排在 trap 之後,就會被清掉。

    列 3:說明文字把一次沒有重現的觀察寫成原因。 CHANGELOG 的 [Unreleased] 條目寫「負載 50 時到達 180 秒」。量到的是:單獨跑,負載約 20 時 84 秒、負載 60 到 100 時 123 秒;在整套測試裡是 80 到 168 秒。在 180 秒被砍只發生過一次,沒有重現,當時另一次整套測試同時在同一個工作樹跑。同一句話還有另外兩處:edit-run/test.sh 第 25 到 27 行的註解,以及 scripts/run-all-tests.sh 檔頭第 14 到 16 行的註解。三處要一起改,否則會互相矛盾。

    更正於 2026-11-13:最近 24 次 CI 的中位數是那一步 466 秒、整個 job 507 秒

    Existing work

    unknown:查詢已 merge 的 PR 時到達上限(100 筆),更早的沒有檢查到。open 的 PR 與 branch 沒有引用這張的。

    Impact

    • 影響的檔案:plugins/issue-driven-dev/scripts/tests/edit-run/test.sh(檢查與註解)、plugins/issue-driven-dev/scripts/run-all-tests.sh(只有檔頭註解)、plugins/issue-driven-dev/CHANGELOG.md([Unreleased] 的那一條)。
    • edit-run/timeout 的值不變,仍是 480。runner 讀 timeout 檔的程式不改。沒有任何 skill、script、hook、rule 的行為因此不同。

    Strategy

    • 列 2:先加會失敗的檢查。把上下限寫成一個函式,檢查 359 與 481 不通過、360 與 480 通過、600 不通過;再把這個 suite 自己的值交給它。上限改成 480
    • 列 1:把「runner 套用這個檔」寫成一個函式,失敗時在失敗訊息裡附上巢狀 runner 輸出的尾段。加兩個檢查:沒有 timeout 檔的對照沙盒要逾時(證明通過是因為那個檔);對照沙盒的失敗訊息裡看得到 runner 回報的逾時
    • 列 6:時限檢查移到 trap cleanup EXIT 之後,沙盒放在 $WORK 底下
    • 列 2、列 3:三處說明文字(edit-run/test.sh 的註解、run-all-tests.sh 檔頭的註解、CHANGELOG 的 [Unreleased] 條目)改成量到的數字與「觀察到一次、沒有重現」的寫法
    • 跑 edit-run、run-all-tests-self 與整套測試

    列 4(把更正套用到 #508 的 Diagnosis)已在 2026-11-13 完成,列 7(調高預設時限)決定不處理,都不在這次的改動裡。

    更正於 2026-11-13:列 6 只搬位置、不加檢查:檢查路徑的那一個不會因為中斷後留下東西而失敗(verify 第 1 輪)

    Conflict Class

    A_parallel_safe
    三個檔各自獨立,沒有共享的可變資源。CHANGELOG 的 [Unreleased] 可能與其他進行中的 PR 改到相鄰的行,這一批是一張一張依序做。

    Complexity

    Simple

    Layer 1 未命中(改的是測試與它的說明,不是純文件);Layer 2 未命中(不新增對外介面)。Layer P 沒有訊號:每一列的做法 issue 正文都寫了,檔案之間沒有順序依賴。

    Hard-gate: not triggered — 估計動 3 個檔(edit-run/test.sh、run-all-tests.sh 的檔頭註解、CHANGELOG.md),不動任何被其他檔案引用的共用抽象;runner 的程式不改。

    Risks

    • 上限 480 秒是照最近 24 次 CI 的最長時間算的,餘裕只有一分鐘左右。CI 變慢時這個說法會再度不準;檢查擋得住有人把時限調高,擋不住 CI 變慢。說明文字會寫明數字的來源與日期。
    • 對照沙盒讓這個 suite 多跑一次巢狀 runner,約多 1 秒。

    Residue

    (none)

    Vagueness Pre-check

    • V1: 2 — 正文逐列寫了要改什麼;列 2 的上限值給了例子(不大於 480),量到的數字支持它。
    • V4: 2 — 每一列都有可以檢查的完成條件:失敗訊息帶尾段、上限是 480、沙盒在 $WORK 底下、三處說明文字一致。
    • Triggered: no — both axes ≤ 3

    Sister Concerns Filed (mid-diagnose)

    (none surfaced)

    列 3 那一句話的另外兩處(兩個註解)是同一個問題,併在這張改,寫在 Strategy 裡。

  4. kiki830621 commented on Nov 13, 2026

    @kiki830621
    MemberAuthor

    📊 For Reviewer / Collaborator

    現在:已結案。edit-run 檢查自己時限的那一段改了四件事:上限從 600 秒改成 480 秒、失敗時看得到原因、被中斷時清掉沙盒、三處說明文字改成量到的數字並註明出處(Closing Summary)。
    Blocking:無。
    你該做什麼:這張不用做什麼。剩下的小項在 #529。#532 有一件事等你決定:要不要保證 plugin 的 script 與測試在 macOS 內建的 bash 3.2 上能跑(現在有三個 suite 在 3.2 上失敗,CI 只用 bash 5 跑、看不到)。

    last-updated by idd-close at → closed, 2026-11-13

  5. kiki830621 commented on Nov 13, 2026

    @kiki830621
    MemberAuthor

    Implementation Plan

    Spec plan: no behaviour change (c)

    這張只改測試(edit-run/test.sh 開頭的時限檢查)與說明文字(同一個檔的註解、run-all-tests.sh 檔頭的註解、CHANGELOG 的 [Unreleased] 條目)。edit-run/timeout 的值不變,runner 的程式不改,沒有任何 skill、script、hook、rule 的行為因此不同。

    • 修改 plugins/issue-driven-dev/scripts/tests/edit-run/test.sh(列 2):上下限寫成函式,先加檢查(359 與 481 不通過、360 與 480 通過、600 不通過),上限改成 480。先確認新檢查失敗
    • 同一個檔(列 1):「runner 套用這個檔」寫成函式,失敗訊息附上巢狀 runner 輸出的尾段;加一個沒有 timeout 檔的對照沙盒,檢查它會逾時、失敗訊息裡看得到 runner 回報的逾時。先確認新檢查失敗
    • 同一個檔(列 6):時限檢查移到 trap cleanup EXIT 之後,沙盒放在 $WORK 底下
    • 說明文字(列 2、列 3):edit-run/test.sh 的註解、plugins/issue-driven-dev/scripts/run-all-tests.sh 檔頭的註解、plugins/issue-driven-dev/CHANGELOG.md 的 [Unreleased] 條目,改成量到的數字與「觀察到一次、沒有重現」的寫法
    • 跑 edit-run、run-all-tests-self 與整套測試

    更正於 2026-11-13:列 6 只搬位置、不加檢查:檢查路徑的那一個不會因為中斷後留下東西而失敗(verify 第 1 輪)

  6. kiki830621 commented on Nov 13, 2026

    @kiki830621
    MemberAuthor

    Implementation Complete

    Spec: no behaviour change

    屬於契約第 2 步的 (c):只改測試。改到的是 edit-run/test.sh(測試與它的註解)、run-all-tests.sh 的檔頭註解與 CHANGELOG 的 [Unreleased] 條目。edit-run/timeout 的值仍是 480,runner 的程式沒有改。

    Checklist (synced from TaskList)

    • 列 2:上下限寫成函式,加五個檢查(359 與 481 不通過、360 與 480 通過、600 不通過),上限改成 480 → commit 59ec7c9
    • 列 1:「runner 套用這個檔」寫成函式,失敗訊息附上巢狀 runner 的結束碼與輸出尾段;加一個沒有 timeout 檔的對照沙盒,檢查它會逾時、失敗訊息裡看得到 runner 回報的逾時 → commit 59ec7c9
    • 列 6:時限檢查移到 trap cleanup EXIT 之後,沙盒放在 $WORK 底下;加兩個檢查(trap 已設定、沙盒在 $WORK 底下)→ commit 59ec7c9
    • 說明文字(列 2、列 3):edit-run/test.sh 的註解、run-all-tests.sh 檔頭的註解、CHANGELOG 的 [Unreleased] 條目,改成量到的數字與「觀察到一次、沒有重現」的寫法 → commit 59ec7c9
    • 跑 edit-run、run-all-tests-self 與整套測試 → 結果在下面

    Legend: - [x] done · - [~] skipped (may revisit) · - [-] won't fix (scope)
    idd-close will refuse to close if any - [ ] remains in this checklist.

    Changes

    Files Changed

     .claude/.idd/attachments/issue-519/_manifest.json  |  6 ++
     plugins/issue-driven-dev/CHANGELOG.md              | 22 ++++---
     plugins/issue-driven-dev/scripts/run-all-tests.sh  |  4 +-
     .../scripts/tests/edit-run/test.sh                 | 72 +++++++++++++++-------
     4 files changed, 72 insertions(+), 32 deletions(-)
    

    改了什麼

    • 上限(列 2)。 檢查從「不大於 600」改成「不大於 480」。依據是 GitHub 上 tests 這個 workflow 最近 24 次(2026-11-10 到 11-12):整個 job 最長 654 秒,job 的時限是 1200 秒,所以 edit-run 卡住時大約在 1134 秒結束,還有一分鐘左右;時限 600 秒時是 1254 秒,job 會先被取消。這是量到的餘裕,不是保證:CI 變慢時要重新量。註解寫了數字的來源與日期。
    • 失敗時看得到原因(列 1)。 檢查失敗時,失敗訊息帶 runner 的結束碼與輸出最後六行。另外加一個對照:同樣的沙盒不放 timeout 檔,必須逾時。這同時證明原本的檢查通過是因為那個檔。
    • 中斷時清掉沙盒(列 6)。 整段檢查移到這個 suite 設定清理之後,沙盒放在清理會刪的工作目錄底下。被清掉的只有工作目錄:runner 替替身 suite 寫在暫存目錄下的紀錄檔會留著([bug] run-all-tests.sh names each suite log in the system temp dir by suite name only, so runs overwrite each other (follow-up finding from #508) #518)。
    • 說明文字(列 2、列 3)。 三處都改成量到的數字:單獨跑,負載約 20 時 84 秒、負載 60 到 100 時 123 秒;在整套測試裡最長 168 秒;在 180 秒被砍只發生過一次,沒有重現,當時另一次整套測試同時在同一個工作樹跑。CHANGELOG 的那一條還沒有發版,所以直接改。

    更正於 2026-11-13:列 6 清掉的只有這個 suite 的工作目錄;runner 寫在暫存目錄下的紀錄檔會留著(#518)

    先失敗的檢查與測試結果

    • 先把舊的檢查原樣改寫成函式(行為不變),加上新的檢查,只跑這一段:14 個裡 6 個失敗(481 與 600 被舊的上限放行、trap 還沒設定、沙盒不在工作目錄底下、對照的失敗訊息裡沒有逾時的回報、也沒有結束碼)。修正之後 14 個全過。
    • 把 timeout 檔換成錯的值各試一次:481、359、600 被上下限的檢查抓到,480 s 被「只有一個數字」的檢查抓到,1 讓「runner 套用這個檔」失敗,失敗訊息印出 runner 的結束碼與 TIMEOUT(1s) 那一列。試完改回 480。
    • 在巢狀 runner 執行途中對這個 suite 送 TERM:結束碼 143,工作目錄被清掉。runner 替替身 suite 寫在暫存目錄下的紀錄檔留著([bug] run-all-tests.sh names each suite log in the system temp dir by suite name only, so runs overwrite each other (follow-up finding from #508) #518)。
    • edit-run 整個 suite:256 項通過(原有 248 項,這一段從 6 個檢查變成 14 個)。
    • 整套測試:74 個 suite、0 個失敗,spectra-archive-post-ic 141 項通過。用的是預設的每個 suite 180 秒時限,當時負載 15 到 30;edit-run 79 秒,merge-completeness 487 秒(它自己的時限是 3600 秒)。測試是在 commit 之前的工作樹上跑的,commit 的內容與它相同。

    更正於 2026-11-13:被清掉的是工作目錄;runner 寫在暫存目錄下的紀錄檔留著(#518)

    Scope Compliance

    Sister Bugs Filed (mid-impl)

    (none surfaced)

    Next: verification pending

  7. kiki830621 commented on Nov 13, 2026

    @kiki830621
    MemberAuthor

    Verify: #519

    第 1 輪。審查範圍是整條 branch(一個 commit)。

    Engine

    pai-ensemble 2.26.0 (canonical #207) — 4 IDD lenses + DA + Codex (gpt-6.1-sol, effort xhigh), model: opus
    6 / 6 reviewers completed

    Aggregate

    PASS — 0 blocking, 5 in-scope fix, 2 follow-up

    Reviewed: ac42c3a836ae6e771306fdc3a18dd016369c3b3c..59ec7c98ba3f1d8849d30286e334fa9d2aaf11e6

    要求覆蓋率

    4 / 4 requirements addressed

    1. 列 1(檢查失敗時看得到原因):失敗訊息帶巢狀 runner 的結束碼與輸出尾段,另有對照沙盒。
    2. 列 2(上限改成保證得了的值,說明文字用量到的數字):上限 480 秒;數字的出處與算法寫得不夠清楚,見第 4、5 列。
    3. 列 6(中斷時清掉沙盒):沙盒移到工作目錄底下、檢查排在清理設定之後;為它加的兩個檢查有問題,見第 1、2 列。
    4. 列 3(說明文字改成觀察到的寫法):三處都改了。

    Findings(合併後)

    # Severity Finding Source Action
    1 MEDIUM 新加的檢查 trap -p EXIT | grep -q cleanup 在 macOS 內建的 bash 3.2 上會假失敗:3.2 在 pipeline 的子 shell 裡印不出 trap。用內建的 bash 跑整個 edit-run,改動前 248 項全過,改動後 255 過、1 失敗,失敗的就是這一項。CI 用的是 bash 5,抓不到。 agents:logic+regression+devils-advocate In-scope fix
    2 LOW 為列 6 加的兩個檢查測不到「中斷時不留東西」:一個只確認上面幾行設定的 trap 還在,另一個檢查的路徑就是前一行寫死的值。兩個都不會因為中斷後留下東西而失敗。 agents:devils-advocate In-scope fix
    3 LOW 註解、commit message 與 Implementation Complete 都說中斷的執行「不留任何東西」,說得比實際多。巢狀 runner 仍把紀錄寫到暫存目錄下固定檔名的檔案,跑完或中斷都留著;沒有 timeout 指令的環境下,巢狀的行程還會多跑最多 3 秒。被清掉的只有工作目錄。 agents:logic+devils-advocate+requirements+security In-scope fix
    4 LOW 說明文字寫 edit-run 在整套測試裡「最長 168 秒」,這個數字在 #508 與 #519 的紀錄裡找不到。 agents:requirements In-scope fix
    5 INFO 「2026-11-10 到 11-12 的 24 個 CI job」對不上:那三天共有 28 次執行,照別的算法最長是 657 秒。數字的查法沒有寫明,別人無法照著重算。 agents:devils-advocate In-scope fix
    6 INFO 480 秒的上限只剩一分鐘左右的餘裕,而 CI 的時間在變長;suite 裡沒有任何東西看得到 CI 的時間,CI 變慢時不會有人被提醒重新量。 agents:devils-advocate Follow-up
    7 INFO 巢狀 runner 把紀錄寫到暫存目錄下固定、可預測的檔名;這次改動讓它每次多寫一次。原因與 #518 相同。 agents:security+requirements Follow-up

    查證

    • 第 1 列:重現了。同一行指令在內建的 bash 3.2.57 回 1、在 bash 5.3 回 0;改用 command substitution 讀 trap,兩個版本都讀得到。
    • 第 2 列:讀了那兩個檢查,判斷相同。
    • 第 3 列:跑完之後暫存目錄下那個紀錄檔確實還在。另外確認了被清掉的部分:bash 3.2 與 5.3 的 EXIT trap 在 TERM、INT、HUP 時都會執行。
    • 第 4 列:數字有出處,但不在這兩張 issue 上。它是 2026-11-12 [bug] idd-close: Step 6.3 says doc-sync runs before the issue is closed, Step 4 closes it first #512 那次整套測試量到的,記在 [bug] idd-close: Step 6.3 says doc-sync runs before the issue is closed, Step 4 closes it first #512 的 Implementation Complete(「最慢的是 edit-run 的 168 秒」)。說明文字沒有寫出處,所以這一列成立。
    • 第 5 列:量的是那三天裡較晚的 24 次執行(11-10 12:06 到 11-12 09:04,UTC),時間取 job 的開始到結束,最長 654 秒;那三天全部是 28 次。說明文字寫成「那三天的 24 個 job」是錯的。

    security 這位 reviewer 沒有其他意見。Codex 只做靜態審閱,沒有執行測試,沒有發現要修的問題。

    規格對照(#480):宣告是 no behaviour change,連結檢查 ok,封存檢查 pass。regression 確認宣告成立:改到的是測試、註解與 CHANGELOG,runner 的程式沒有改。

    Scope Check

    diff 是 edit-run/test.sh、run-all-tests.sh 的檔頭註解、CHANGELOG 的 [Unreleased] 條目與附件清單,沒有範圍外的改動。diff 之外的寫入是 Diagnosis 與 Implementation Complete 裡的 audit 紀錄;第 3 列指出 Implementation Complete 的一句話說得太滿。

    接下來

    第 1 列是 MEDIUM,這一輪不乾淨。修正輪處理第 1 到 5 列,再跑第 2 輪(無人值守的最後一輪)。第 6、7 列不在這張的範圍:第 7 列已在 #518,第 6 列在第 2 輪之後一併決定要不要另開 issue。

  8. kiki830621 commented on Nov 13, 2026

    @kiki830621
    MemberAuthor

    Implementation Complete

    Spec: no behaviour change

    這一則是 verify 第 1 輪之後的版本,取代先前那一則。仍屬於契約第 2 步的 (c):只改測試。現在的 diff 是 edit-run/test.sh(測試與它的註解)、run-all-tests.sh 的檔頭註解、CHANGELOG 的 [Unreleased] 條目與附件清單。edit-run/timeout 的值仍是 480,runner 的程式沒有改。

    Checklist (synced from TaskList)

    • 列 2:上下限寫成函式,五個檢查(359 與 481 不通過、360 與 480 通過、600 不通過),上限 480 → commit 59ec7c9
    • 列 1:「runner 套用這個檔」寫成函式,失敗訊息附上巢狀 runner 的結束碼與輸出尾段;沒有 timeout 檔的對照沙盒要逾時,失敗訊息裡看得到 runner 回報的逾時 → commit 59ec7c9
    • 列 6:時限檢查移到 trap cleanup EXIT 之後,沙盒放在 $WORK 底下 → commit 59ec7c9(當時另外加的兩個檢查在 ba79a72 拿掉,原因在下面第 2 點)
    • 說明文字(列 2、列 3):三處改成量到的數字與「觀察到一次、沒有重現」的寫法 → commit 59ec7c9;數字的出處與算法 → commit ba79a72
    • 跑 edit-run、run-all-tests-self 與整套測試 → 結果在下面

    Legend: - [x] done · - [~] skipped (may revisit) · - [-] won't fix (scope)
    idd-close will refuse to close if any - [ ] remains in this checklist.

    Changes

    Files Changed

     .claude/.idd/attachments/issue-519/_manifest.json  |  6 ++
     plugins/issue-driven-dev/CHANGELOG.md              | 23 ++++---
     plugins/issue-driven-dev/scripts/run-all-tests.sh  |  4 +-
     .../scripts/tests/edit-run/test.sh                 | 72 +++++++++++++++-------
     4 files changed, 73 insertions(+), 32 deletions(-)
    

    修正輪改了什麼(verify 第 1 輪的五列)

    1. 新加的檢查在 macOS 內建的 bash 3.2 上假失敗(MEDIUM)。那個檢查用 pipeline 讀 trap,bash 3.2 在 pipeline 的子 shell 裡印不出 trap。檢查拿掉了(見下一點)。現在 edit-run 在 bash 3.2 與 5.3 都是 254 項通過。
    2. 為列 6 加的兩個檢查測不到中斷(LOW)。兩個都拿掉:一個只確認幾行之前設定的 trap 還在,另一個比對的是前一行寫死的路徑,都不會因為中斷後留下東西而失敗。列 6 的做法不變:檢查排在清理設定之後,沙盒在工作目錄底下。所以列 6 在 suite 裡沒有檢查,依據是 suite 外量到的結果(下面「測試結果」的第 3 點)。要在 suite 裡測,得讓它啟動自己的一份副本再中斷,結果會取決於計時,這張不做。
    3. 「中斷時不留任何東西」說得比實際多(LOW)。註解改成實際的範圍:中斷時清掉的是工作目錄(沙盒在裡面),其他不清。runner 替替身 suite 寫在暫存目錄下的紀錄檔會留著([bug] run-all-tests.sh names each suite log in the system temp dir by suite name only, so runs overwrite each other (follow-up finding from #508) #518);訊號只送到這個 suite 的 shell 時,巢狀的 runner 不會被停掉,會跑到替身 suite 結束(開始後 3 秒)。先前那一則 Implementation Complete 的兩句話已就地更正(「改了什麼」的列 6,與測試結果裡送 TERM 的那一點)。59ec7c9 的 commit message 也有同一句,沒有改:第 1 輪的報告綁的是這個 commit,改了就對不上。合併時的 squash 訊息是另外產生的,那一句不會進 main。
    4. 「168 秒」沒有寫出處(LOW)。三處都註明是 [bug] idd-close: Step 6.3 says doc-sync runs before the issue is closed, Step 4 closes it first #512 記錄的那次整套測試(2026-11-12,負載 50 到 100,每個 suite 的時限放寬到 600 秒來跑)。
    5. 「24 個 CI job」對不上(INFO)。先前量的是當時最近的 24 次執行,說明文字卻寫成「2026-11-10 到 11-12 的 24 個」。那三天(UTC)有 28 次,補量了全部:job 從開始到結束最短 383 秒、最長 654 秒,最長的沒有變,所以「654 + 480 = 1134 秒」不變。註解與 CHANGELOG 改成「28 次裡最慢的 job 是 654 秒」,註解另外寫了怎麼查。CHANGELOG 加一句:這個餘裕是照那些執行算的,CI 變慢時要重新量。

    Diagnosis 的 Strategy 與 Implementation Plan 原本寫列 6 要加一個檢查路徑的檢查,也已就地更正。

    先失敗的檢查與測試結果

    1. 修正之前,用內建的 bash 3.2 只跑時限那一段:13 個通過、1 個失敗,失敗的就是讀 trap 的那個檢查(第 1 輪的 MEDIUM,重現了)。修正之後 bash 3.2 與 5.3 都是 12 個全過(原本 14 個,拿掉兩個)。
    2. edit-run 整個 suite 在 ba79a72 上:用內建的 bash 3.2 單獨跑,254 項通過;bash 5.3 是在下面的整套測試裡跑的,通過。
    3. 中斷(在 suite 外量的,跑的是這個 suite 從開頭到時限那一段結束為止,ba79a72):第一次巢狀執行途中對 suite 的 shell 送 TERM,bash 5.3 與 3.2 各一次。兩次都是結束碼 143,工作目錄被清掉,暫存目錄下沒有多出這個 suite 的目錄。留下的是 runner 寫的那個紀錄檔([bug] run-all-tests.sh names each suite log in the system temp dir by suite name only, so runs overwrite each other (follow-up finding from #508) #518)。
    4. ba79a72 上跑整套測試:74 個 suite、0 個失敗;spectra-archive-post-ic 141 項通過。用的是預設的每個 suite 180 秒時限,當時負載 20 到 30;edit-run 81 秒,merge-completeness 447 秒(它自己的時限是 3600 秒)。run-all-tests-self 另外用內建的 bash 3.2 跑一次:9 項通過。

    Scope Compliance

    Sister Bugs Filed (mid-impl)

    Filed: #527

    • runner 在沒有 timeout 指令的機器上,每個 suite 結束後留下一個計時用的 sleep,到時限才結束。這是查「suite 被中斷時巢狀的行程會怎樣」時量到的,是既有的行為,與這張的改動無關。

    Next: verification pending

  9. kiki830621 commented on Nov 13, 2026

    @kiki830621
    MemberAuthor

    Verify: #519

    第 2 輪,無人值守的最後一輪。審查範圍是整條 branch(兩個 commit)。

    Engine

    pai-ensemble 2.26.0 (canonical #207) — 4 IDD lenses + DA + Codex (gpt-6.1-sol, effort xhigh), model: opus
    6 / 6 reviewers completed

    Aggregate

    PASS — 0 blocking, 3 in-scope fix, 1 follow-up

    Reviewed: ac42c3a836ae6e771306fdc3a18dd016369c3b3c..ba79a721f32064b5f20bdf007c0d93b3aa4fb72c

    要求覆蓋率

    4 / 4 requirements addressed

    1. 列 1(檢查失敗時看得到原因):失敗訊息帶巢狀 runner 的結束碼與輸出尾段,另有不放 timeout 檔的對照。
    2. 列 2(上限改成保證得了的值,說明文字用量到的數字):上限 480 秒;數字註明了出處與算法。
    3. 列 6(中斷時清掉沙盒):靠程式的排列達成(沙盒在工作目錄底下、檢查排在清理設定之後)。suite 裡沒有檢查,見第 2 列;註解對 INT 的說法不對,見第 1 列。
    4. 列 3(說明文字改成觀察到的寫法):三處都改了。

    Findings(合併後)

    # Severity Finding Source Action
    1 LOW edit-run/test.sh 的註解說 bash 在收到 TERM、INT、HUP 時都會執行清理,所以被中斷的執行會清掉沙盒。INT 在巢狀執行期間中斷不了這個 suite:它照常跑完,結束時才清理。沙盒最後仍被清掉,列 6 的結果沒有錯;錯的是把 INT 列成會中斷的訊號。Implementation Complete 的中斷測試只量了 TERM。 agents:devils-advocate In-scope fix
    2 INFO 列 6 只靠程式的排列達成,suite 裡沒有任何檢查會因為中斷後留下沙盒而失敗。issue 要的是清掉沙盒,沒有要求檢查,所以不擋。 agents:requirements+devils-advocate In-scope fix
    3 INFO 同一個註解寫「高於 480 秒的時限留不下那一分鐘」,但註解前面沒有提過一分鐘(只有 CHANGELOG 寫了)。實際的餘裕是 1200 − 1134 = 66 秒。上下限的檢查與算術本身是對的。 agents:logic In-scope fix
    4 INFO 巢狀 runner 把紀錄寫到暫存目錄下固定、可預測的檔名;這個 diff 讓它每次跑兩次。既有的行為,原因與 #518 相同。 agents:security Follow-up

    查證

    • 第 1 列:重現了(bash 5.3 與內建的 bash 3.2,各在巢狀執行途中送訊號)。TERM 與 HUP 送到 suite 的 shell:suite 立刻結束(結束碼 143、129),工作目錄被清掉。INT 送到 shell,或送到整個 process group(等同按 Ctrl-C):suite 沒有停,跑完這一段的 12 個檢查,結束碼 0,結束時工作目錄被清掉。對照:同樣的 INT 送給一個只在等 sleep 的腳本,腳本立刻結束(130)並執行清理,所以不是量法的問題。原因在 runner:它用 timeout 指令跑每個 suite,timeout 自己在另一個 process group,INT 到不了替身 suite;bash 等前景的子行程結束,子行程不是被 INT 結束的,就繼續往下跑。
    • 順帶量到的既有行為,與這個 diff 無關:有 timeout 指令時(GNU 的或系統內建的),對 run-all-tests.sh 按 Ctrl-C 停不下來,兩個替身 suite 照樣跑完、回報 0 個失敗;沒有 timeout 指令時立刻停。記到 [bug] run-all-tests.sh: without a timeout command, each suite leaves a sleep process running until its limit (found during #519) #527(同一個函式)。
    • 第 2 列:屬實,第 2 則 Implementation Complete 已寫明。
    • 第 3 列:讀了註解,屬實。
    • 第 4 列:屬實,已在 [bug] run-all-tests.sh names each suite log in the system temp dir by suite name only, so runs overwrite each other (follow-up finding from #508) #518。

    logic 另外確認了這些是對的:上下限的函式對空值、非數字與邊界值的處理;時限那一段在 bash 3.2 與 5.3、有無 timeout 指令四種組合下都是 12 項全過;對照沙盒的失敗訊息一定帶得到 runner 回報逾時的那一列;28 次執行、最慢 654 秒、#512 記的 168 秒都與來源相符。regression 與 Codex 沒有發現問題;Codex 只做靜態審閱。security 沒有其他意見。

    規格對照(#480):宣告是 no behaviour change,連結檢查 ok,封存檢查 pass。regression 確認宣告成立:改到的是測試、註解與 CHANGELOG。

    Proposed Corrections

    這一輪是無人值守,下面一項只列出、沒有執行。它與第 1 列是同一句話,出現在 Diagnosis 裡。

    # Target Section 錯在哪 Command
    1 comment:6839721701 ### Root Cause / Analysis 「列 6」那一段寫 EXIT trap 在收到 TERM、INT、HUP 時都會執行。INT 在巢狀執行期間不會中斷這個 suite;量到會立刻中斷並清理的是 TERM 與 HUP /idd-edit comment:6839721701 --correct --section '### Root Cause / Analysis' --body-file '<執行時建的檔>'
    替換的句子

    該段其餘文字不變,只把「實測(bash 5.3):」開頭的那一句換成:

    實測(bash 5.3 與 3.2):suite 在巢狀執行途中收到 TERM 或 HUP 會立刻結束,EXIT trap 隨即執行;收到 INT 時不會中斷,照常跑完,結束時才執行 trap。兩種情況下,只要沙盒放在 $WORK 底下、檢查排在 trap 之後,沙盒都會被清掉。

    Scope Check

    diff 是 edit-run/test.sh、run-all-tests.sh 的檔頭註解、CHANGELOG 的 [Unreleased] 條目與附件清單,沒有範圍外的改動。diff 之外的寫入是 Diagnosis 與 Implementation Complete 裡的 audit 紀錄,以及 #527。

    接下來

    這一輪沒有 MEDIUM 以上的項目。In-scope 的三列是 LOW 或 INFO,不在這條 branch 上再改(合併的要是審過的 commit),與第 1 輪留下的「CI 的時間沒有監看」一起記進一張 follow-up issue。第 4 列補記在 #518。

  10. kiki830621 commented on Nov 13, 2026

    @kiki830621
    MemberAuthor

    Follow-up Findings Filed

    verify 第 2 輪(報告)與第 1 輪(報告):

    Filed: #529

  11. kiki830621 commented on Nov 13, 2026

    @kiki830621
    MemberAuthor

    Closing Summary

    Problem

    edit-run 這個測試 suite 有自己的時限(480 秒),suite 開頭有一段檢查這個時限的設定(#508 加的)。#508 的 verify 留下四個小項:這段檢查失敗時看不到原因;它放行到 600 秒,而 600 秒保證不了說明文字講的事(suite 卡住時,runner 來得及在 CI job 被取消之前回報);它排在清理設定之前,被中斷時沙盒目錄會留在暫存目錄;三處說明文字把一次沒有重現的觀察寫成原因。另外兩項(把更正套用到 #508 的 Diagnosis、要不要調高預設的 180 秒時限)由維護者在 2026-11-13 決定:前者已完成,後者不處理。

    Root Cause

    #508 的修正輪把上限取成 CI job 時限的一半(600 秒),依據是「其他 suite 最多跑九分鐘左右」的估計。實際量到最慢的 job 是 654 秒,再加 600 秒就超過 job 的 1200 秒。說明文字則把一次在 180 秒被砍、之後沒有重現的觀察寫成原因。這些在 #508 的 verify 第 2 輪都是 LOW 或 INFO,照規則不擋合併,留到這張。

    Solution

    • plugins/issue-driven-dev/scripts/tests/edit-run/test.sh:
      • 時限的上下限寫成一個函式,上限從 600 秒改成 480 秒。依據是 2026-11-10 到 11-12(UTC)的 28 次 CI:最慢的 job 是 654 秒,job 的時限是 1200 秒,所以 suite 卡住時 runner 大約在 1134 秒回報。
      • 檢查失敗時,失敗訊息帶巢狀 runner 的結束碼與輸出最後六行。另外加一個不放 timeout 檔的對照,必須逾時;這同時證明原本的檢查通過是因為那個檔。
      • 整段移到這個 suite 設定清理之後,沙盒放在清理會刪的工作目錄底下。
    • 三處說明文字(同一個檔的註解、scripts/run-all-tests.sh 的檔頭註解、CHANGELOG 的 [Unreleased] 條目)改成量到的數字,並註明出處。
    • edit-run/timeout 的值不變(480),runner 的程式沒有改。規格:宣告 no behaviour change(只改測試)。版號沒有動。

    Verification

    Changes

    PR #530 以 squash 合併成 6ed8dec。 branch 上的兩個 commit:

    • 59ec7c9 test: make the edit-run limit checks say why they fail, and bound the limit by measured CI time
    • ba79a72 test: drop two edit-run checks that could not catch a leftover sandbox, and say where the numbers come from

    改到的檔案:scripts/tests/edit-run/test.sh、scripts/run-all-tests.sh(只有檔頭註解)、CHANGELOG.md 與 .claude/.idd/attachments/issue-519/_manifest.json;共 4 個檔案。

    59ec7c9 的 commit message 有一句「被中斷的執行不留任何東西」,說得比實際多(第 1 輪指出的)。那個 commit 沒有改寫;合併用的是 squash,這一句沒有進 main。

    沒有在這張做的

    修正輪另外改的留言

    verify 第 1 輪之後,這張自己的四處文字就地更正了(舊版已歸檔):第 1 則 Implementation Complete 說「中斷時不留東西」的兩句,以及 Diagnosis 的 Strategy 與 Implementation Plan 裡「列 6 要加一個檢查」的那一項。更正的是這次 run 自己寫的內容;第 2 則 Implementation Complete 有說明。

    Closing Follow-ups Filed

    Residue Acknowledgement

    residue declared as (none) at diagnose time — no acknowledgement needed

    Doc-sync 檢查

    → doc-sync: 8 files checked, no staleness detected

    這一段是 issue 關閉之後才做、事後追加的(Step 6.3)。八份 README 與 CLAUDE.md 裡沒有提到 edit-run 的時限或那個上限;講這件事的三處(測試的註解、runner 的檔頭註解、CHANGELOG)都在同一個 PR 裡改了。

    Distribution Sync

    • Detected: plugin(issue-driven-dev;plugin 與 marketplace 在同一個 repo)
    • Choice: skip — 無人值守的 run 不發版
    • Outcome: 未發版。這次的改動在 CHANGELOG 的 [Unreleased],plugin.json 與 marketplace.json 仍是 4.0.1。改的只有測試與說明文字,裝了 plugin 的人不受影響。發版要先有一個升版號的 commit,版號由維護者決定
    • At: 2026-11-13T02:03:04Z
  12. kiki830621 commented on Nov 13, 2026

    @kiki830621
    MemberAuthor

    📝 Note

    Source: 結案之後 main 上的 CI(run 43349031364)
    Date: 2026-11-13

    論述

    結案摘要寫「main 上的 CI 在寫這則摘要時還在跑」。結果是:合併 commit 6ed8dec 的 CI 第一次失敗,重跑同一個 job 之後通過。

    失敗的是 edit-run 裡一個既有的檢查(「the first backup id stays once」,#424 加的),不是這張改的時限檢查。那個檢查在兩次更正落在同一秒時會誤判,2026-11-10 也在另一個 PR 上失敗過一次。同一棵 tree 在 PR #530 上的 CI 是通過的。原因與修法記在 #534。

  13. added a commit that references this issue on Nov 15, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions