Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
1 change: 1 addition & 0 deletions .githooks/plugin-shell-versions.txt
Original file line number Diff line number Diff line change
Expand Up @@ -26,3 +26,4 @@ plugin 0.13.10 1ef1b007c9319a35a5ac18339535b055bd103b89697b0fcac0b2097e100d16f3
plugin 0.13.11 1068c7a2921269065a4ead8079d4fc12b242d5ec707dc9608d3fae03c2c317f9
plugin 0.13.12 3c9aed7dc601ce97d62c861d576f644303cc4111b85b0962d08b76201e05918f
plugin 0.13.13 3171c0b774f05023109b16004f691c4512405947ebf3dfa8c04c84542c3665e6
plugin 0.13.14 b5a6f4f73a785f17754cc039362a4b4bce4c406331ee6d91037c69e50835977a
2 changes: 1 addition & 1 deletion Sources/AkashicSkillTools/BotSignals.swift
Original file line number Diff line number Diff line change
Expand Up @@ -293,7 +293,7 @@ public enum BotSignals {
///
/// **這條規則擋得住什麼、擋不住什麼**(#613 R2 verify 第 5、28、29 則):它擋的是**之後的轉址**——文章站把分頁送到另一個主機,
/// 那個主機要人驗證。它**擋不住文章站本身**:文章站就是 doi.org 解析到的主機,而那是 DOI 註冊者決定的,所以註冊者自己架的假 CAPTCHA 頁
/// (要使用者貼上指令到終端機那一類)落在文章站上仍是等人驗證(結束碼 8)——使用者的裁決是文章站算,行為照裁決;網址有登入頁長相的那一頁例外,整批暫停(使用者 2026-11-04 第 6 則,`FulltextFetch.onSiteStop`;網址由文章站決定,這是判斷真登入頁的經驗法則,不是防線)。那一格唯一的防線是
/// (要使用者貼上指令到終端機那一類)落在文章站上仍是等人驗證(結束碼 8)——使用者的裁決是文章站算,行為照裁決;網址有登入頁長相的那一頁例外,整批暫停(使用者 2026-11-04 第 6 則,`FulltextFetch.onSiteStop`;連 `document.contentType` 都讀不到的分頁不適用;網址由文章站決定,這是判斷真登入頁的經驗法則,不是防線)。那一格唯一的防線是
/// **使用者自己看頁面**:程式與 agent 都看不到頁面,所以結束碼 8 的訊息要 agent 請使用者看、頁面要求貼上或執行任何東西就整批停、
/// 只在使用者說完成之後接著走。
static let knownVerificationHosts: [String] = ["challenges.cloudflare.com", "hcaptcha.com", "recaptcha.net"]
Expand Down
11 changes: 7 additions & 4 deletions Sources/AkashicSkillTools/FulltextFetch.swift
Original file line number Diff line number Diff line change
Expand Up @@ -30,12 +30,14 @@ import AkashicStoreIO
/// 沒有命中驗證/封鎖/登入的封閉清單——那不代表它不是登入頁)與 `doi-not-resolved`(停在 doi.org,而且看得到 doi.org 自己的
/// 查無證據)。
/// 8 等人驗證:出現 CAPTCHA/人類檢查/Cloudflare「Just a moment」/按住驗證,**而且在文章站本身或已知的驗證服務上**
/// (`BotSignals.isKnownVerificationService`;其他主機上的驗證字樣是結束碼 6;文章站上網址有登入頁長相的那一頁命中等人驗證的訊號也是 6,使用者 2026-11-04 第 6 則,見 `onSiteStop`;連 `document.contentType` 都讀不到的分頁不適用,照 `judgeUnreadable`)。暫停這一篇;使用者驗證完,以
/// (`BotSignals.isKnownVerificationService`;其他主機上的驗證字樣是結束碼 6;文章站上網址有登入頁長相的那一頁命中等人驗證的訊號也是 6,使用者 2026-11-04 第 6 則,見 `onSiteStop`;連 `document.contentType` 都讀不到的分頁不適用,照 `judgeUnreadable`。待使用者裁決(#777):要不要把第 6 則延伸到那一格(第 2 件);
/// Atypon 的 `/action/showLogin` 不是登入長相、那裡的 CAPTCHA 仍是 8(第 1 件);PDF 連結路徑恰好有 `auth`、`login` 的挑戰頁被當成
/// 登入長相、是 6 不是 8(第 3 件))。暫停這一篇;使用者驗證完,以
/// `--resume-tab`/`--resume-origin`(導航之後的驗證另帶 `--resume-stage followed`)在**同一個分頁**接著走(不重新載入)。分頁留著。
/// 9 這個站今天已經 10 次嘗試(Asia/Taipei):停這個站,隔天再跑。沒有導航到 PDF。分頁留著。
/// 6 **整批暫停**(SKILL.md〈中止條款〉):其他起疑訊號——封鎖頁、HTTP 403/429、異常流量、PMC 的下載前驗證頁、ScienceDirect
/// 的「Preparing your download」、其他主機上的驗證字樣、分頁跑到別的網站而那一頁是登入/驗證頁的長相、DOI 落地頁的網址是登入頁
/// 的長相、導航之後(含 `--resume-stage followed`)文章站上網址有登入頁長相的那一頁命中等人驗證的訊號(使用者 2026-11-04 第 6 則)、讀不到的分頁停在登入主機的長相上(只看主機)、卡住(落地頁、導航之後、別的主機上的頁面約 60 秒沒落定)、停在 doi.org
/// 的長相、導航之後(含 `--resume-stage followed`)文章站上網址有登入頁長相的那一頁命中等人驗證的訊號(使用者 2026-11-04 第 6 則;邊界待裁見上面結束碼 8,#777)、讀不到的分頁停在登入主機的長相上(只看主機)、卡住(落地頁、導航之後、別的主機上的頁面約 60 秒沒落定)、停在 doi.org
/// 卻看不到它自己的查無證據(使用者 2026-10-05 第 1 則)、落定的網頁讀不到頁面文字而無從檢查(導航之前的文章頁、導航之後文章站上
/// 落定的 HTML 頁、別的主機上落定的頁面;連 `document.contentType` 都讀不到的分頁是 7 `unverifiable`)。分頁留著給使用者看。
/// 3 頁面上找不到 PDF 連結。分頁留著:這個命令不關任何分頁(#768)
Expand Down Expand Up @@ -85,7 +87,7 @@ public final class FulltextFetch {
/// 不判別的 profile、讀連結會重跑、第八版同一個位置兩列不停、換頁之後不等落定),都沒有發布(CLI 沒有發布版);第 0 步要求 9 之後一律被擋下。
/// 9=#613 b49(2026-11-09):導航之後(含 `--resume-stage followed`)文章站上網址有登入頁長相的那一頁寫著 CAPTCHA 時整批暫停(先前是 8,等人驗證;導航之前自 b37 起就是 6);`/sign-on`、`/single-sign-on`
/// 與單字寫法的 `signon`、`singlesignon` 算登入頁(落地頁是它們時整批暫停,先前照一般網頁讀;導航之後落在別的主機上的這種頁面整批暫停,
/// 先前交給人 `left-site`;主機最左邊的標籤是 `signon`、`sign-on`、`single-sign-on` 也算登入主機)。2026-11-06 到 b49 之間從 main 建的 CLI 印 8,碰到這兩種頁面照舊的判斷,所以要調(使用者 2026-11-09)。
/// 先前交給人 `left-site`;主機最左邊的標籤是 `signon`、`sign-on`、`single-sign-on`、`singlesignon` 也算登入主機——第 8 則的副作用,是否保留待使用者裁決,#777 第 4 件)。2026-11-06 到 b49 之間從 main 建的 CLI 印 8,碰到這兩種頁面照舊的判斷,所以要調(使用者 2026-11-09)。
/// 前三版的 CLI 沒有 `contract` 子命令——數字只是給歷史一個名字,第 0 步擋它們靠的是「沒有這個子命令」。
public static let contractVersion = 9

Expand Down Expand Up @@ -585,7 +587,8 @@ public final class FulltextFetch {

/// 同站頁面上命中訊號之後的停法。等人驗證的訊號落在**登入頁的長相**上時整批暫停,不降成等人驗證(使用者 2026-11-04 第 6 則,b38 INFO 17:
/// 導航之後落定的同站 `/login` 頁寫著 CAPTCHA,先前得 8)。導航之前的檢查在這之前就已經對登入長相整批暫停,所以這一條只改變導航之後與
/// `--resume-stage followed` 的判斷;沒有訊號的同站登入頁仍交給人 `html-page`。
/// `--resume-stage followed` 的判斷;沒有訊號的同站登入頁仍交給人 `html-page`。連 `document.contentType` 都讀不到的分頁不經過這裡,
/// 照 `judgeUnreadable` 判(路徑有登入長相而主機不是登入主機、帶 Cloudflare 挑戰或按住驗證的標記(`cloudflare-challenge`、`perimeterx-press-and-hold`)時仍是 8(其他四個標記本來就是 6);要不要延伸第 6 則待使用者裁決,#777 第 2 件)。
private func onSiteStop(for hit: BotSignals.Hit, _ snap: PageSnapshot, _ site: String) -> Stop {
if hit.response == .humanVerification, BotSignals.urlGateLook(snap.url) == "login" {
return botStop("\(hit.label) on a page on the article site that has the look of a login page → \(FulltextFetch.plainURL(snap.url)) (login page)", site)
Expand Down
5 changes: 4 additions & 1 deletion Tests/AkashicKitTests/FulltextB37Tests.swift
Original file line number Diff line number Diff line change
Expand Up @@ -199,7 +199,8 @@ final class FulltextB37Tests: XCTestCase {
XCTAssertEqual(run(s), 7, errText)
}

/// b49 第 8 則的副作用(BotSignals 註解與 changelog 寫明):主機最左邊的標籤是 `signon`、`sign-on`、`single-sign-on` 也算登入主機。
/// b49 第 8 則的副作用(SKILL 版本 9 那段、`FulltextFetch.contractVersion` 的註解與 b49 changelog 寫明;要不要保留待使用者裁決,#777 第 4 件):
/// 主機最左邊的標籤是 `signon`、`sign-on`、`single-sign-on` 也算登入主機。
func testASignOnHostLabelIsALoginHost() {
for u in ["https://signon.uni.example/x", "https://sign-on.uni.example/x", "https://single-sign-on.uni.example/x"] {
XCTAssertEqual(BotSignals.urlGateLook(u), "login", u)
Expand All @@ -209,6 +210,7 @@ final class FulltextB37Tests: XCTestCase {

/// 第 6 則的邊界(b51 verify 釘住):連 `document.contentType` 都讀不到的同站分頁走 `judgeUnreadable`,不看路徑的登入長相(使用者
/// 2026-10-02,保護 PDF 檢視器的分頁);標題是 Cloudflare 的「Just a moment...」就照驗證服務的標記,仍是等人驗證(8)。
/// 這是現行行為;要不要把第 6 則延伸到這一格待使用者裁決(#777 第 2 件),裁決改了這一支跟著改。
func testAnUnreadableSameSiteTabAtALoginPathWithAServiceMarkerStillWaits() {
var s = Scenario(); s.afterNavURL = "https://pub.example/login"; s.afterNavTitle = "Just a moment..."; s.afterNavJSFails = true
XCTAssertEqual(run(s), 8, errText)
Expand All @@ -221,6 +223,7 @@ final class FulltextB37Tests: XCTestCase {
var s = Scenario(); s.afterNavURL = "https://other.example/sign-on"; s.afterNavTitle = "Welcome"; s.afterNavContentType = "text/html"
XCTAssertEqual(run(s), 6, errText)
XCTAssertTrue(errText.contains("STOP THE WHOLE RUN"), errText)
XCTAssertTrue(errText.contains("(login page)"), errText) // 停的是登入長相那一支
var control = s; control.afterNavURL = "https://other.example/welcome"
XCTAssertEqual(run(control), 7, errText)
XCTAssertTrue(outText.contains("handover: left-site"), outText)
Expand Down
4 changes: 2 additions & 2 deletions Tests/AkashicKitTests/FulltextB39Tests.swift
Original file line number Diff line number Diff line change
Expand Up @@ -148,8 +148,8 @@ final class FulltextB39Tests: XCTestCase {
XCTAssertTrue(errText.contains("(login page)"), errText)
}

/// 待使用者裁決的代價(`### Blocking` 第 1 項;b38 Z2 第 3、12 則量到;使用者 2026-11-04 第 1 則裁決維持收,這一支照舊是正例):`shibboleth` 是英文字,標題 slug 帶它的落地頁整批暫停。
/// SKILL「代價」寫著這個例子;裁決為不收時這一支改成負例(`changelog/2026-10-15-b39-p2-fixes-613.md` 的清單第 4 項)。
/// 已裁決的代價(使用者 2026-11-04 第 1 則:IdP 四個名字維持收進複合路徑段;b38 Z2 第 3、12 則量到):`shibboleth` 是英文字,
/// 標題 slug 帶它的落地頁整批暫停。SKILL「代價」寫著這個例子。這一支是正例,釘住裁決後的行為。
func testAnIdPNameInATitleSlugStillPausesTheLanding() {
XCTAssertEqual(BotSignals.urlGateLook("https://www.cambridge.org/core/journals/psychometrika/article/the-p-value-shibboleth/AB12CD"), "login")
}
Expand Down
2 changes: 1 addition & 1 deletion Tests/AkashicKitTests/FulltextOffSiteTests.swift
Original file line number Diff line number Diff line change
Expand Up @@ -273,7 +273,7 @@ final class FulltextOffSiteTests: XCTestCase {

// MARK: 等人驗證的訊息(R2 verify 第 5 則)

/// 文章站本身由 DOI 註冊者決定:落在那裡的假 CAPTCHA 仍得 8(使用者裁決:文章站算;網址有登入頁長相的那一頁例外,2026-11-04 第 6 則)。所以訊息要 agent 請**使用者**看頁面——agent 看不到;
/// 文章站本身由 DOI 註冊者決定:落在那裡的假 CAPTCHA 仍得 8(使用者裁決:文章站算;網址有登入頁長相的那一頁例外,2026-11-04 第 6 則;連 `document.contentType` 都讀不到的分頁不適用)。所以訊息要 agent 請**使用者**看頁面——agent 看不到;
/// 頁面要求貼上或執行任何東西就整批停;只在使用者說完成之後接著走。
func testTheVerificationMessageHandsTheJudgementToTheUser() {
var s = Scenario(); s.landingFinal = "https://evil-publisher.example/article/123"
Expand Down
Loading
Loading