Skip to content

[bug] edit-run suite is killed by the 180 s per-suite limit when the machine is busy #508

Closed

Description

@kiki830621

Problem

scripts/run-all-tests.sh 給每個 suite 180 秒,suite 目錄裡有 timeout 檔時取較大的值。edit-run 沒有 timeout 檔,而它在機器忙的時候會超過 180 秒被砍掉,整套測試就回報 1 個 suite 失敗,但沒有任何一項檢查真的失敗。

觀察(2026-11-11,/idd-all #499 的修正輪,macOS,load average 約 50):

哪一次執行 edit-run
整套測試,16:18 開始 通過,64 秒
整套測試,17:51 開始(修正後的工作樹) 通過
spectra-verify 的 agent 另外跑的整套測試,同一個工作樹 到 180 秒被砍,紀錄停在中途,沒有摘要也沒有失敗的檢查
同一個 agent 單獨跑 edit-run 通過,約 89 秒

edit-run 不讀那次改到的任何檔案,所以這不是回歸,是時限太緊。runner 的檔頭自己寫了 merge-completeness 在 Mac 上受負載影響的情況(#399),那個 suite 用 timeout 檔處理。

Type

bug

Expected

機器忙的時候,整套測試不會因為 edit-run 的執行時間而回報失敗。可以的做法:給 edit-run 一個 timeout 檔(runner 已經支援),值依它在高負載下量到的時間決定。同時看一下其他在正常情況就超過 60 秒的 suite(例如 verify-gate)要不要一起給。

Actual

run-all-tests.sh 印 suites: 73, failed: 1,失敗的是被時限砍掉的 edit-run。看結果的人或 agent 要自己去讀那個 suite 的紀錄,才知道沒有檢查失敗。

Impact

plugins/issue-driven-dev/scripts/tests/edit-run/(加 timeout 檔)。影響的是本機整套測試的可信度:ci.mode 是本機指令的 repo,這種逾時會擋住 push 或 merge。GitHub 上的 CI 在 Linux 跑,整套 6 到 10 分鐘,沒有觀察到這個問題。

Source: /idd-all #499 的修正輪,spectra-verify 對 change idd-499-fix1 的回報,2026-11-11。

Clarity Surface(idd-clarify run 2026-11-11T10:52:22Z, unattended)

Type Source Question for you Status Reason
ambiguity "值依它在高負載下量到的時間決定" edit-run 的時限要給多少秒?要不要連其他平常就超過 60 秒的 suite 一起給? resolved @ 2026-11-11T13:57:58Z (reason: 時限可以給寬,秒數由實作的人取;decision) unattended-auto-Step-4.6-deferred

Current Status

Phase: closed
Last updated: 2026-11-12 by idd-close
Dashboard: #508 (comment)

Key Decisions

Scope Changes

Blocking

  • (none)

Commits

Activity

  1. kiki830621 commented on Nov 11, 2026

    @kiki830621
    MemberAuthor

    🎯 Decision

    Original (2026-11-11):
    「508 可以九一點沒官系」

    原話讀作「可以久一點沒關係」。問的是:edit-run 的時限要給多少秒,其他平常就超過 60 秒的 suite 要不要一起給。

    決定

    edit-run 的時限可以給得寬,不必壓在剛好夠用。

    Rationale

    維護者沒有另外說明理由,也沒有指定秒數。以下由記錄的人整理。在 edit-run/ 加 timeout 檔,數字由實作的人取:正文記的高負載時間是 89 秒到超過 180 秒,merge-completeness 現在的值是 3600。其他平常就超過 60 秒的 suite 要不要一起給,原話沒有分開回答;照同一個方向處理時,在 PR 說明列出給了哪幾個。

  2. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    Diagnosis

    Type

    bug(label bug)

    Root Cause / Analysis

    我認為 root cause 是:edit-run 的執行時間大半是 CPU 時間,而 runner 的時限是牆上時間。機器忙的時候它會跑得比較久,接近或越過預設的 180 秒。拉長多少沒有簡單的比例,量到的數字在下面。

    證據(2026-11-12,18 核的 Mac):

    • 單獨跑 edit-run:load 約 20 時 84 秒(user 39.78、sys 24.69,CPU 時間約 64.5 秒);load 60 到 100 時 123 秒。
    • 三次整套測試裡,edit-run 是 80、82、92 秒。除了已有 timeout 檔的 merge-completeness(470 到 663 秒),沒有別的 suite 超過 60 秒;次高的是 mention-markdown(35 到 48 秒)、spec-change(38 秒)、actionability-gate(30 到 38 秒)、correct-flow(33 到 35 秒)。正文舉例的 verify-gate 三次都不到 30 秒。
    • load 約 150 時,actionability-gate 單獨跑 193 秒、mention-markdown 168 秒,是平常的四到五倍。
    • 正文記的那次失敗(在 180 秒被砍)沒有重現。當時 load 約 50,而且另一次整套測試同時在同一個工作樹跑;兩次執行互相干擾也是可能的原因([bug] run-all-tests.sh names each suite log in the system temp dir by suite name only, so runs overwrite each other (follow-up finding from #508) #518)。
    • 被砍掉的樣子重現過:讓 edit-run 在 20 秒時被 timeout 終止,結束碼是 124,紀錄裡沒有任何失敗的檢查,也沒有摘要行。scripts/run-all-tests.sh 把 124 以上的結束碼記成 TIMEOUT(<秒數>s),並算進 failed。

    edit-run 為什麼吃 CPU:它把 idd-edit 的每個步驟區塊各放進一個全新的 zsh 與 bash 執行,每一步再呼叫一次 Python helper(suite 檔頭寫明「one fresh shell per block」)。時間花在啟動行程上,這在 macOS 上本來就慢(runner 檔頭對 merge-completeness 記的是同一件事,#399)。

    runner 已經有對應的機制:suite 目錄裡的 timeout 檔,與預設值取較大者(run-all-tests.sh 第 54 到 58 行,#399 加的,run-all-tests-self 有測試)。在這張之前只有 merge-completeness 有這個檔。

    更正於 2026-11-13:執行時間隨負載拉長但沒有簡單的比例,量到的數字在本段;正文記的那次失敗沒有重現

    Existing work

    unknown:查詢已 merge 的 PR 時到達上限(100 筆),更早的沒有檢查到。open 的 PR 與 branch 沒有引用這張的。

    Impact

    • 影響的檔案:plugins/issue-driven-dev/scripts/tests/edit-run/timeout(新檔)、plugins/issue-driven-dev/scripts/tests/run-all-tests-self/test.sh(加檢查)、plugins/issue-driven-dev/scripts/run-all-tests.sh(檔頭的說明加一句)、plugins/issue-driven-dev/CHANGELOG.md。
    • 影響的流程:本機跑整套測試的人與 agent,以及 ci.command 設成本機指令的 repo(逾時會擋住 push 或 merge)。GitHub 上的 CI 不受影響。

    Strategy

    時限取 1800 秒。依據是維護者的決定(可以給寬,秒數由實作的人取):以 64.5 秒的 CPU 時間估算,1800 秒撐得住負載到核心數的 28 倍左右,也就是 runner 檔頭對 merge-completeness 寫的「load 500」那種情況。只給 edit-run:量到的資料裡沒有別的 suite 在正常情況超過 60 秒。

    • 先加一個會失敗的檢查:run-all-tests-self 檢查 edit-run 目錄有 timeout 檔,照 runner 的讀法取出的數字不小於 900(預設時限的 5 倍)
    • 加 plugins/issue-driven-dev/scripts/tests/edit-run/timeout,內容 1800
    • run-all-tests.sh 檔頭講 timeout 檔的那一段加一句 edit-run 的情況與 [bug] edit-run suite is killed by the 180 s per-suite limit when the machine is busy #508
    • CHANGELOG 加 [Unreleased] 的 Fixed 條目
    • 跑 run-all-tests-self 與整套測試

    Conflict Class

    A_parallel_safe
    四個檔案各自獨立,沒有共享的可變資源。CHANGELOG 的 [Unreleased] 與其他進行中的 PR 會改到同一段,所以這一批是一張一張依序做。

    Complexity

    Simple

    Layer 1 未命中(改的是測試設定與檢查,不是純文件);Layer 2 未命中(不新增對外介面)。Layer P 沒有訊號:檔案之間沒有順序依賴,做法只有一種(runner 既有的 timeout 檔)。

    Hard-gate: not triggered — 估計動 4 個檔(edit-run/timeout、run-all-tests-self/test.sh、run-all-tests.sh、CHANGELOG.md),不動任何被其他檔案引用的共用抽象;runner 讀 timeout 檔的邏輯不改。

    Risks

    • edit-run 真的卡住時,本機要等 30 分鐘才會被砍。GitHub 上的 tests job 自己的時限是 20 分鐘(tests.yml),會先到;那時整個 job 被取消,runner 的摘要表印不出來。merge-completeness 的 3600 秒已經是這樣。
    • 負載超過核心數 28 倍左右時仍會逾時。到那個程度,其他 suite 也會先後超過預設的 180 秒;這張不處理。

    Residue

    (none)

    Vagueness Pre-check

    • V1: 2 — 正文的 Expected 點名了做法(給 edit-run 一個 timeout 檔),留下的只有數字,而維護者已決定由實作的人取。
    • V4: 2 — 完成條件可以檢查:edit-run 有自己的時限、runner 會採用它;「要不要連其他 suite 一起給」由量到的資料回答(沒有別的超過 60 秒)。
    • Triggered: no — both axes ≤ 3

    Sister Concerns Filed (mid-diagnose)

    Skipped: (a) unactionable observation — GitHub 的 tests job 時限(20 分鐘)比 merge-completeness 的 suite 時限(3600 秒)短,卡住時會先被 job 的時限取消。這是既有的狀況,沒有另開 issue。edit-run 的時限最後定為 480 秒,比 job 的時限短,不在此列。

    更正於 2026-11-13:job 的時限比 suite 的時限短,只有 merge-completeness 如此;edit-run 的時限是 480 秒

  3. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    📊 For Reviewer / Collaborator

    現在:已結案。edit-run 有了自己的時限(480 秒)與對應的檢查,PR #520 合併成 005531b(Closing Summary)。
    Blocking:無。
    你該做什麼:無。後續在 #518 與 #519。

    last-updated by idd-close at → closed, 2026-11-12

  4. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    Implementation Plan

    Spec plan: no behaviour change (c)

    這張只改測試與測試的設定:edit-run 的 timeout 檔,以及 run-all-tests-self 的一個檢查。另外有 runner 檔頭的一句註解與 CHANGELOG。runner 讀 timeout 檔的程式不改,沒有任何 skill、script、hook、rule 的行為因此不同。

    • 修改 plugins/issue-driven-dev/scripts/tests/run-all-tests-self/test.sh:加一個檢查,edit-run 目錄有 timeout 檔,照 runner 的讀法(只取數字)取出的值不小於 900。先確認它失敗
    • 新增 plugins/issue-driven-dev/scripts/tests/edit-run/timeout,內容 1800
    • 修改 plugins/issue-driven-dev/scripts/run-all-tests.sh:檔頭講 timeout 檔的那一段加一句 edit-run 的情況(只改註解)
    • 修改 plugins/issue-driven-dev/CHANGELOG.md:[Unreleased] 加 Fixed 條目
    • 跑 run-all-tests-self 與整套測試
  5. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    Implementation Complete

    Spec: no behaviour change

    屬於契約第 2 步的 (c):只改測試與測試的設定。edit-run/timeout 是 runner 讀的 suite 設定,run-all-tests-self/test.sh 是測試,run-all-tests.sh 只改檔頭的註解,CHANGELOG 是文件。runner 讀 timeout 檔的程式沒有動。

    Checklist (synced from TaskList)

    • 修改 plugins/issue-driven-dev/scripts/tests/run-all-tests-self/test.sh:加四個檢查(edit-run 有 timeout 檔;檔案裡只有一個數字;數字不小於 900;runner 套用這個檔)。加檔案之前四個都失敗 → commit d125e5c
    • 新增 plugins/issue-driven-dev/scripts/tests/edit-run/timeout,內容 1800 → commit d125e5c
    • 修改 plugins/issue-driven-dev/scripts/run-all-tests.sh:檔頭講 timeout 檔的那一段加一句 edit-run 的情況(只改註解)→ commit d125e5c
    • 修改 plugins/issue-driven-dev/CHANGELOG.md:[Unreleased] 加 Fixed 條目 → commit d125e5c
    • 跑 run-all-tests-self 與整套測試 → 結果在下面

    Legend: - [x] done · - [~] skipped (may revisit) · - [-] won't fix (scope)
    idd-close will refuse to close if any - [ ] remains in this checklist.

    Changes

    Files Changed

     .claude/.idd/attachments/issue-508/_manifest.json         |  6 ++++++
     plugins/issue-driven-dev/CHANGELOG.md                     | 13 +++++++++++++
     plugins/issue-driven-dev/scripts/run-all-tests.sh         |  4 +++-
     plugins/issue-driven-dev/scripts/tests/edit-run/timeout   |  1 +
     .../scripts/tests/run-all-tests-self/test.sh              | 15 +++++++++++++++
     5 files changed, 38 insertions(+), 1 deletion(-)
    

    先失敗的檢查與測試結果

    • 加 timeout 檔之前,run-all-tests-self 新增的四個檢查都失敗(另外 9 個通過);加了之後 13 個全過。
    • 第四個檢查把真的 edit-run/timeout 檔交給 runner:一個要跑 3 秒的假 suite,在全域時限 1 秒之下,靠這個檔通過。
    • 把檔案換成錯的內容各試一次:數字後面多了文字時,「只有一個數字」那一項失敗;內容是 600 時,「不小於 900」那一項失敗。兩次試完都改回 1800。
    • d125e5c 上跑整套測試:73 個 suite、0 個失敗(edit-run 84 秒);spectra-archive-post-ic 141 項通過。

    Scope Compliance

    • 只動 Diagnosis 的 Strategy 列的四個檔,加上 diagnose 寫的 attachment manifest(這張沒有附件,檔案是空清單)。
    • 沒有給其他 suite timeout 檔:量到的資料裡,除了 merge-completeness,沒有別的在正常情況超過 60 秒。
    • 版號沒有動,CHANGELOG 加的是 [Unreleased] 條目。

    Sister Bugs Filed (mid-impl)

    (none surfaced)

    Next: verification pending

  6. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    Verify: #508

    第 1 輪。審查範圍是這條 branch 的一個 commit。

    Engine

    pai-ensemble 2.26.0 (canonical #207) — 4 IDD lenses + DA + Codex (gpt-6.1-sol, effort xhigh), model: opus
    6 / 6 reviewers completed

    Aggregate

    PASS — 0 blocking, 4 in-scope fix, 1 follow-up

    Reviewed: 1637fb661921a983dfbb3ceb76fc4b6a7696dc79..d125e5c451d4e425ce7ea96f09c9aa54d166de06

    要求覆蓋率

    3 / 3 requirements addressed

    Findings(合併後)

    # Severity Finding Source Action
    1 MEDIUM run-all-tests-self 新加的檢查在沙盒裡建了一個名叫 edit-run 的假 suite。runner 把每個 suite 的輸出寫到系統暫存目錄下、只以 suite 名稱命名的檔案(run-all-tests.sh 第 62 行),所以巢狀的那次 runner 會把真的 edit-run 的紀錄蓋成空檔。整套測試裡 edit-run 排在 run-all-tests-self 前面,跑完之後真的紀錄就沒了。#508 的 Actual 正是「要去讀那個 suite 的紀錄才知道沒有檢查失敗」。既有的假 suite(ok、bad、hang、slow)都不與真的 suite 同名,這個衝突是這次加的。 agents:logic+regression In-scope fix
    2 LOW 1800 秒比 GitHub 上 tests job 自己的時限(20 分鐘,tests.yml)長。改之前 edit-run 在 CI 上卡住時,runner 在 180 秒砍掉它、照樣印出摘要表;改之後 job 的時限先到,整個 job 被取消,沒有摘要。這對 edit-run 是這次的改動造成的。CHANGELOG 的條目沒有提這個代價。 agents:regression In-scope fix
    3 LOW run-all-tests-self 原本只用沙盒裡的假 suite,現在寫死了真的 edit-run/timeout 的路徑。edit-run 改名或移除時,runner 的自我測試會因為與 runner 無關的原因失敗。檢查可以放在 edit-run 自己的 test.sh。 agents:regression In-scope fix
    4 LOW Diagnosis 留言有兩句與這次的改動不一致:### Impact 說 GitHub 上的 CI 不受影響;Sister Concerns 那一行把「job 的時限比 suite 的時限短」說成既有的狀況、無法處理。對 merge-completeness 是既有的,對 edit-run 是 1800 秒造成的,而且秒數本來就由實作的人取。同一則的 ### Risks 寫的是對的。 agents:devils-advocate In-scope fix
    5 INFO runner 把紀錄寫到系統暫存目錄下固定、可預測的檔名(run-all-tests.sh 第 62 行)。這次只改了那個檔的檔頭註解,第 62 行沒有動;這是既有的狀況。 agents:security Follow-up

    查證

    第 1 列重現過:在 d125e5c 上跑完整套測試,真的 edit-run 的紀錄檔是 0 個位元組。第 2 列對照 tests.yml 的 timeout-minutes: 20。第 3 列讀新加的檢查。第 4 列對照 Diagnosis 留言的三段。第 5 列讀 runner 第 62 行與這次的 diff。

    requirements 這位 reviewer 沒有意見。regression 確認了宣告:runner 只改註解,其餘是測試設定、測試、CHANGELOG 與附件清單,沒有行為改動。logic 逐項看過新加的四個檢查,沒有發現會空過的情況。Codex 只做靜態審閱,沒有執行測試,沒有發現要修的問題。

    規格對照(#480):宣告是 no behaviour change,連結檢查 ok,封存檢查 pass。

    驗證期間另外量到一件事:機器的 load average 到 150 左右時,actionability-gate 單獨跑要 193 秒、mention-markdown 要 168 秒,也就是負載到這個程度,別的 suite 會先超過預設的 180 秒。這支持第 2 列的說法:edit-run 的時限不必長到 1800 秒。

    Scope Check

    diff 只有 Diagnosis 的 Strategy 列的四個檔與附件清單,沒有範圍外的改動。diff 之外的寫入只有 Diagnosis 與 Implementation Complete 裡的兩段 audit 紀錄,第 4 列就是對其中一段的意見。

    接下來

    第 1 列是 MEDIUM,所以這一輪不算乾淨。修正輪會做四件事:檢查搬到 edit-run 自己的 test.sh,假 suite 改用不與真 suite 同名的名字,並加一個檢查確認巢狀的 runner 不動真的紀錄;時限改短到 CI 上 runner 仍來得及回報的範圍;CHANGELOG 跟著改;新的 Implementation Complete 寫明 Diagnosis 裡以 1800 秒寫的幾段已被取代。之後跑第 2 輪。

  7. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    Follow-up Findings Filed

    verify 第 1 輪(報告)的第 5 列不在這張的範圍內,另開了 issue:

    Filed: #518

  8. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    Implementation Complete

    Spec: no behaviour change

    這一則是 verify 第 1 輪之後的版本,取代先前那一則。仍屬於契約第 2 步的 (c):只改測試與測試的設定。現在的 diff 是 edit-run/timeout(suite 設定)、edit-run/test.sh(測試)、run-all-tests.sh 檔頭的註解、CHANGELOG 與附件清單。run-all-tests-self/test.sh 與 main 相同。

    Checklist (synced from TaskList)

    • plugins/issue-driven-dev/scripts/tests/edit-run/test.sh 開頭加六個檢查:有 timeout 檔;檔案裡只有一個數字;不小於 360;不大於 600;假 suite 的名字不是真的 suite;runner 套用這個檔 → commit 66c0cd6(第一版放在 run-all-tests-self,commit d125e5c,修正輪搬走)
    • 新增 plugins/issue-driven-dev/scripts/tests/edit-run/timeout,內容 480 → commit d125e5c、66c0cd6
    • 修改 plugins/issue-driven-dev/scripts/run-all-tests.sh:檔頭講 timeout 檔的那一段加一句 edit-run 的情況(只改註解)→ commit d125e5c
    • 修改 plugins/issue-driven-dev/CHANGELOG.md:[Unreleased] 加 Fixed 條目 → commit d125e5c、66c0cd6
    • 跑 edit-run、run-all-tests-self 與整套測試 → 結果在下面

    Legend: - [x] done · - [~] skipped (may revisit) · - [-] won't fix (scope)
    idd-close will refuse to close if any - [ ] remains in this checklist.

    Changes

    Files Changed

     .claude/.idd/attachments/issue-508/_manifest.json  |  6 +++++
     plugins/issue-driven-dev/CHANGELOG.md              | 16 +++++++++++++
     plugins/issue-driven-dev/scripts/run-all-tests.sh  |  4 +++-
     .../scripts/tests/edit-run/test.sh                 | 28 ++++++++++++++++++++++
     .../scripts/tests/edit-run/timeout                 |  1 +
     5 files changed, 54 insertions(+), 1 deletion(-)
    

    修正輪改了什麼(verify 第 1 輪的四列)

    1. 假 suite 蓋掉真的紀錄(MEDIUM):檢查搬到 edit-run 自己的 test.sh,沙盒裡的假 suite 改叫 er-limit,並加一個檢查:假 suite 的名字不能是真的 suite。runner 只用 suite 名稱命名紀錄檔,這個根本原因記在 [bug] run-all-tests.sh names each suite log in the system temp dir by suite name only, so runs overwrite each other (follow-up finding from #508) #518。
    2. 1800 秒比 CI job 的時限長(LOW):時限改成 480 秒,並檢查它不大於 600 秒(CI job 時限 20 分鐘的一半)。GitHub 上其他 suite 最多跑九分鐘左右,edit-run 卡住時 runner 仍來得及在 job 被取消之前回報並印出摘要。
    3. runner 的自我測試依賴真的 suite(LOW):run-all-tests-self/test.sh 改回原樣。
    4. Diagnosis 裡與改動不一致的兩句(LOW):時限改成 480 秒之後,CI job 的時限比它長,Diagnosis ### Impact 說的「GitHub 上的 CI 不受影響」成立。Diagnosis 的 ### Strategy(時限取 1800 秒)、### Risks 第一點與 Sister Concerns 那一行是以 1800 秒寫的,由這一則取代:「job 的時限先到」現在只剩 merge-completeness,那是既有的狀況。

    先失敗的檢查與測試結果

    • 修正輪的六個檢查,在改時限與改名之前有兩個失敗(上限、假 suite 與真的同名),改之後六個全過。把 timeout 換成 1800、180、480 s 各試一次,分別被上限、下限、「只有一個數字」三個檢查抓到,試完改回 480。
    • edit-run 整個 suite:248 項通過(原有 242 項加這六項)。
    • 66c0cd6 上跑整套測試:73 個 suite、0 個失敗;spectra-archive-post-ic 141 項通過。當時機器負載高(load 40 到 200),所以這次把預設的每個 suite 時限放寬到 600 秒來跑;實際上除了 merge-completeness(1694 秒,它自己的時限是 3600 秒),最慢的是 edit-run 的 107 秒,沒有 suite 超過 180 秒。
    • 量到的時間(同一台 18 核的機器):edit-run 在 load 約 20 時 84 秒(CPU 時間約 65 秒),load 60 到 100 時 123 秒。load 約 150 時 actionability-gate 單獨跑 193 秒、mention-markdown 168 秒,也就是到那個負載,整套測試已經會因為別的 suite 超過預設時限而失敗。

    Scope Compliance

    Sister Bugs Filed (mid-impl)

    (none surfaced)

    Diagnosis 的 Sister Concerns 那一行是以 1800 秒寫的。時限改成 480 秒之後,它對 edit-run 不再適用(見上面「修正輪改了什麼」第 4 點)。verify 第 1 輪的 follow-up 已開成 #518,記在另一則留言。

    Next: verification pending

  9. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    Verify: #508

    第 2 輪(修正輪之後)。審查範圍是整條 branch(兩個 commit)。

    Engine

    pai-ensemble 2.26.0 (canonical #207) — 4 IDD lenses + DA + Codex (gpt-6.1-sol, effort xhigh), model: opus
    6 / 6 reviewers completed

    Aggregate

    PASS — 0 blocking, 6 in-scope fix, 1 follow-up

    Reviewed: 1637fb661921a983dfbb3ceb76fc4b6a7696dc79..66c0cd61286cb4932f00dfcf78b282e87a554f00

    要求覆蓋率

    3 / 3 requirements addressed

    Findings(合併後)

    # Severity Finding Source Action
    1 LOW 「runner 套用這個檔」那個檢查失敗時看不到原因:巢狀 runner 的輸出寫進沙盒目錄,下一行就把目錄刪掉。失敗訊息只有結束碼,分不出是逾時、沙盒沒建好,還是別的原因。 agents:logic In-scope fix
    2 LOW 上限檢查(不大於 600 秒)保證不了註解與 CHANGELOG 說的事。GitHub 上「Run all fixture suites」這一步最近六次是 358 到 532 秒,更早有超過 600 秒的;時限若是 600 秒,加起來就超過 job 的 20 分鐘。現在的 480 秒還有餘裕,但把值改成 600 也會通過檢查。註解寫的「nine minutes」與 CHANGELOG 的「under half」(檢查允許剛好一半)也跟著不準。 agents:devils-advocate+logic In-scope fix
    3 LOW CHANGELOG 把「執行時間隨負載拉長,load 50 時到達 180 秒」寫成原因,Diagnosis 還用 CPU 時間乘以負載倍數推出 180 秒。修正輪自己量到的是 load 60 到 100 時 123 秒,照那個算法應該是 215 到 358 秒。#508 那次在 180 秒被砍沒有重現;當時另有一次整套測試同時在同一個工作樹跑。 agents:devils-advocate In-scope fix
    4 LOW Diagnosis 留言裡以 1800 秒寫的 ### Strategy、### Risks 與 Sister Concerns,只由後面的 Implementation Complete 說明已被取代,原文沒有改。只讀 Diagnosis 的人或 agent 會讀到舊的時限與舊的判斷。 agents:devils-advocate In-scope fix
    5 LOW 新的檢查讓巢狀的 runner 多寫一個固定檔名的紀錄(假 suite er-limit 的),每跑一次留下一個檔。原因與 #518 相同,這個 diff 不必改。 agents:security+regression Follow-up
    6 INFO 時限的檢查排在這個 suite 設定清理用的 trap 之前。巢狀 runner 執行中被中斷時,沙盒目錄會留在暫存目錄裡。 agents:logic In-scope fix
    7 INFO 第 2 則 Implementation Complete 的 Sister Bugs 寫「(none surfaced)」,同一則卻記了 load 約 150 時 actionability-gate 單獨跑就超過預設的 180 秒。那是同一類問題,應該寫成略過並附理由,或開 issue。 agents:devils-advocate In-scope fix

    查證

    第 1、6 列讀 edit-run/test.sh 新加的那一段。第 2 列查了最近六次 CI 執行裡那一步的時間(358、472、373、477、515、532 秒)。第 3 列對照 CHANGELOG、Diagnosis 與修正輪量到的數字。第 4 列讀 Diagnosis 留言,三段都還是原文。第 5 列在跑過 edit-run 之後看到那個紀錄檔。第 7 列對照第 2 則 Implementation Complete 的兩段。

    第 1 輪的四列都已處理:假 suite 改名並加了同名檢查(第 1 列)、時限改成 480 秒(第 2 列)、run-all-tests-self 改回原樣(第 3 列)、新的 Implementation Complete 說明 Diagnosis 被取代的部分(第 4 列,這一輪的第 4 列認為這樣還不夠)。

    requirements 這位 reviewer 沒有意見。regression 確認宣告成立:runner 只改註解,其餘是測試設定、測試、CHANGELOG 與附件清單。Codex 只做靜態審閱,沒有執行測試,沒有發現要修的問題。

    規格對照(#480):宣告是 no behaviour change,連結檢查 ok,封存檢查 pass。

    Proposed Corrections

    這一輪是無人值守,下面兩項只列出、沒有執行。第 4 列提到的 ### Strategy 與 ### Risks 是實作途中換掉的做法,不是寫錯的敘述,這類內容要不要寫回 Diagnosis 記在 #474。

    # Target Section 錯在哪 Command
    1 comment:6813952563 ### Root Cause / Analysis 用 CPU 時間乘以負載倍數推出 180 秒的那個論證,後來的量測不支持;那次失敗沒有重現 /idd-edit comment:6813952563 --correct --section '### Root Cause / Analysis' --body-file '<執行時建的檔>'
    2 comment:6813952563 ### Sister Concerns Filed (mid-diagnose) job 的時限比 suite 的時限短,只對 merge-completeness 成立;edit-run 最後的時限是 480 秒 /idd-edit comment:6813952563 --correct --section '### Sister Concerns Filed (mid-diagnose)' --body-file '<執行時建的檔>'
    第 1 項的替換內容

    我認為 root cause 是:edit-run 的執行時間大半是 CPU 時間,而 runner 的時限是牆上時間。機器忙的時候它會跑得比較久,接近或越過預設的 180 秒。拉長多少沒有簡單的比例,量到的數字在下面。

    證據(2026-11-12,18 核的 Mac):

    • 單獨跑 edit-run:load 約 20 時 84 秒(user 39.78、sys 24.69,CPU 時間約 64.5 秒);load 60 到 100 時 123 秒。
    • 三次整套測試裡,edit-run 是 80、82、92 秒。除了已有 timeout 檔的 merge-completeness(470 到 663 秒),沒有別的 suite 超過 60 秒;次高的是 mention-markdown(35 到 48 秒)、spec-change(38 秒)、actionability-gate(30 到 38 秒)、correct-flow(33 到 35 秒)。正文舉例的 verify-gate 三次都不到 30 秒。
    • load 約 150 時,actionability-gate 單獨跑 193 秒、mention-markdown 168 秒,是平常的四到五倍。
    • 正文記的那次失敗(在 180 秒被砍)沒有重現。當時 load 約 50,而且另一次整套測試同時在同一個工作樹跑;兩次執行互相干擾也是可能的原因([bug] run-all-tests.sh names each suite log in the system temp dir by suite name only, so runs overwrite each other (follow-up finding from #508) #518)。
    • 被砍掉的樣子重現過:讓 edit-run 在 20 秒時被 timeout 終止,結束碼是 124,紀錄裡沒有任何失敗的檢查,也沒有摘要行。scripts/run-all-tests.sh 把 124 以上的結束碼記成 TIMEOUT(<秒數>s),並算進 failed。

    edit-run 為什麼吃 CPU:它把 idd-edit 的每個步驟區塊各放進一個全新的 zsh 與 bash 執行,每一步再呼叫一次 Python helper(suite 檔頭寫明「one fresh shell per block」)。時間花在啟動行程上,這在 macOS 上本來就慢(runner 檔頭對 merge-completeness 記的是同一件事,#399)。

    runner 已經有對應的機制:suite 目錄裡的 timeout 檔,與預設值取較大者(run-all-tests.sh 第 54 到 58 行,#399 加的,run-all-tests-self 有測試)。在這張之前只有 merge-completeness 有這個檔。

    第 2 項的替換內容

    Skipped: (a) unactionable observation — GitHub 的 tests job 時限(20 分鐘)比 merge-completeness 的 suite 時限(3600 秒)短,卡住時會先被 job 的時限取消。這是既有的狀況,沒有另開 issue。edit-run 的時限最後定為 480 秒,比 job 的時限短,不在此列。

    Scope Check

    diff 是 edit-run/timeout、edit-run/test.sh、run-all-tests.sh 的檔頭註解、CHANGELOG 與附件清單,沒有範圍外的改動。diff 之外的寫入是 Diagnosis 與兩則 Implementation Complete 裡的 audit 紀錄,以及 #518;第 4、7 列是對前者的意見,#518 的內容與紀錄一致。

    接下來

    這一輪沒有 MEDIUM 以上的項目。In-scope 的六列都是 LOW 或 INFO,不在這條 branch 上再改(合併的要是審過的 commit),合成一張 follow-up issue。第 5 列補記到 #518。

  10. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor
  11. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    Closing Summary

    Problem

    edit-run 這個 suite 在機器忙的時候會超過 scripts/run-all-tests.sh 預設的 180 秒被砍掉。整套測試因此回報 1 個 suite 失敗,但沒有任何一項檢查真的失敗,要去讀那個 suite 的紀錄才看得出來。

    Root Cause

    edit-run 的執行時間大半是 CPU 時間(約 65 秒):它把 idd-edit 的每個步驟區塊各放進一個全新的 shell 執行。runner 的時限是牆上時間,機器忙的時候它跑得比較久:load 約 20 時 84 秒,load 60 到 100 時 123 秒。runner 本來就有給個別 suite 放寬時限的機制(suite 目錄裡的 timeout 檔),edit-run 沒有這個檔。

    正文記的那次在 180 秒被砍沒有重現。當時 load 約 50,而且另一次整套測試同時在同一個工作樹跑;Diagnosis 用「CPU 時間乘以負載倍數」推出 180 秒的那個論證,後來的量測不支持。

    Solution

    • plugins/issue-driven-dev/scripts/tests/edit-run/timeout:這個 suite 自己的時限,480 秒。
    • edit-run/test.sh 開頭加六個檢查:檔案存在;只有一個數字;不小於 360;不大於 600;沙盒裡的假 suite 不與真的 suite 同名;runner 會套用這個檔。
    • run-all-tests.sh 只改檔頭的註解;CHANGELOG 加 [Unreleased] 的條目。版號沒有動。
    • 規格:宣告 no behaviour change(只改測試與測試設定)。
    • 時限原本取 1800 秒,verify 第 1 輪之後改成 480 秒:1800 秒比 GitHub 上 tests job 自己的 20 分鐘還長,edit-run 在 CI 上卡住時整個 job 會先被取消、印不出摘要。Diagnosis 的 ### Strategy、### Risks 與 Sister Concerns 是以 1800 秒寫的,以這裡與第 2 則 Implementation Complete 為準。

    Verification

    Changes

    PR #520 以 squash 合併成 005531b。branch 上的兩個 commit:

    • d125e5c fix: give the edit-run suite a time limit of its own
    • 66c0cd6 fix: keep the edit-run limit under the CI job limit and check it in the suite itself

    改到的檔案:plugins/issue-driven-dev/scripts/tests/edit-run/timeout(新檔)、scripts/tests/edit-run/test.sh、scripts/run-all-tests.sh(只有註解)、CHANGELOG.md,以及 .claude/.idd/attachments/issue-508/_manifest.json;共 5 個檔案。

    沒有在這張做的

    Closing Follow-ups Filed

    Residue Acknowledgement

    residue declared as (none) at diagnose time — no acknowledgement needed

    Doc-sync 檢查

    → doc-sync: 8 files checked, no staleness detected

    Distribution Sync

    • Detected: plugin(issue-driven-dev;plugin 與 marketplace 在同一個 repo)
    • Choice: skip — 無人值守的 run 不發版
    • Outcome: 未發版。這次的改動在 CHANGELOG 的 [Unreleased],plugin.json 與 marketplace.json 仍是 4.0.1。發版要先有一個升版號的 commit,版號由維護者決定;這次只改測試,不影響裝了 plugin 的人
    • At: 2026-11-12T05:58:26Z
  12. kiki830621 commented on Nov 12, 2026

    @kiki830621
    MemberAuthor

    📝 Note

    Source: 維護者 2026-11-13 的決定(紀錄在 #519)
    Date: 2026-11-13

    論述

    結案摘要寫著 verify 第 2 輪列的兩項更正「沒有執行」。維護者在 2026-11-13 決定套用,兩項已經就地更正在這張的 Diagnosis 裡。結案摘要是當時的紀錄,沒有改:它提到 Diagnosis 的那個推論,以及「沒有執行」,說的都是更正之前的狀況。這張沒有 reopen,因為這是更正紀錄,不是重啟工作。

    Details

    • ### Root Cause / Analysis:換成第 2 輪報告公布的替換內容,逐字。後來的量測不支持的那個推論拿掉了,補上量到的數字,並寫明正文記的那次失敗沒有重現。
    • ### Sister Concerns Filed (mid-diagnose):同一份報告公布的替換內容。job 的時限比 suite 的時限短,只有 merge-completeness 如此;edit-run 的時限是 480 秒。
    • 兩段的段尾各有一行「更正於 2026-11-13」。
    • 沒有改的部分:Diagnosis 的 ### Strategy 與 ### Risks 仍是以 1800 秒寫的。那是實作途中換掉的做法,不是寫錯的敘述,以結案摘要與第 2 則 Implementation Complete 為準。
  13. added a commit that references this issue on Nov 15, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't working

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions