Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
15 commits
Select commit Hold shift + click to select a range
70f0eca
docs: propose idd-777-fulltext-login-look-rulings (#777)
kiki830621 Nov 11, 2026
5633795
feat: /action/showLogin 算登入頁、讀不到的同站登入路徑帶挑戰標記時整批暫停 (#777)
kiki830621 Nov 11, 2026
81e2363
feat: 取全文契約版本 9 → 10,四件裁決寫進 SKILL 與註解 (#777)
kiki830621 Nov 11, 2026
e6fed8a
docs: #777 的 changelog、plugin 殼 0.13.14 → 0.13.15 (#777)
kiki830621 Nov 11, 2026
cd5e442
chore: idd-777-fulltext-login-look-rulings 的 tasks 全部勾完 (#777)
kiki830621 Nov 11, 2026
b8f4598
chore: archive idd-777-fulltext-login-look-rulings (#777)
kiki830621 Nov 11, 2026
912ebaa
test: 讀不到的分頁那一格補三支測試——按住驗證、別的主機、封鎖標記 (#777)
kiki830621 Nov 11, 2026
b5919b7
docs: propose idd-777-fix1——規格補導航之前的兩格、百分比解碼與驗證頁長相的路徑 (#777)
kiki830621 Nov 11, 2026
de64070
test: 導航之前的兩格、百分比編碼、驗證頁長相的路徑與第 3 件各補一支測試 (#777)
kiki830621 Nov 11, 2026
ed3ec14
docs: 第 1 輪 verify 指出的文字——讀不到的分頁那一句、落地頁的實際效果、版本 10 註解逐格寫 (#777)
kiki830621 Nov 11, 2026
8069777
chore: idd-777-fix1 的 tasks 全部勾完 (#777)
kiki830621 Nov 11, 2026
4448eff
docs: idd-777-fix1 的規格收緊兩句——解不開的跳脫序列、沒有標記時交給人的範圍 (#777)
kiki830621 Nov 11, 2026
953cc46
chore: archive idd-777-fix1 (#777)
kiki830621 Nov 11, 2026
3eff8f4
docs: 兩句寫精確——SKILL 指向〈讀不到的分頁〉的那一句、版本 10 註解的「先前」 (#777)
kiki830621 Nov 11, 2026
752a3da
merge: 併入 main(PR #783 的 CLI 過期檢查),plugin 殼改成 0.13.16 (#777)
kiki830621 Nov 12, 2026
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
1 change: 1 addition & 0 deletions .githooks/plugin-shell-versions.txt
Original file line number Diff line number Diff line change
Expand Up @@ -28,3 +28,4 @@ plugin 0.13.12 3c9aed7dc601ce97d62c861d576f644303cc4111b85b0962d08b76201e05918f
plugin 0.13.13 3171c0b774f05023109b16004f691c4512405947ebf3dfa8c04c84542c3665e6
plugin 0.13.14 b5a6f4f73a785f17754cc039362a4b4bce4c406331ee6d91037c69e50835977a
plugin 0.13.15 0d77d4d1b72078218157f378bc547ffc1472ef0238522c0f4a1feb60516ad10f
plugin 0.13.16 acf8a5f6d54ff90ff76b324a5f9c408ab4bc38a38ff0fc9ce3ff5e5af1ef986b
9 changes: 7 additions & 2 deletions Sources/AkashicSkillTools/BotSignals.swift
Original file line number Diff line number Diff line change
Expand Up @@ -193,6 +193,11 @@ public enum BotSignals {
/// **這兩對只管複合段**(b38 Z2 第 28 則):整段的比法是另一條——整段去掉**所有**連字號與底線再比 `compoundLoginWords`,所以整段的
/// `/log-on`、`/open-athens`、`/lo-gin` 都算,而同樣的字在較長的 slug 裡(`please-log-on`、`open-athens-redirect`)不算。
static let compoundLoginJoins: [(first: String, second: String)] = [("sign", "in"), ("log", "in")]
/// 只給**路徑**用的登入段——**封閉列舉,只有這一個**(使用者 2026-11-11,#777 第 1 件:Atypon 平台(Wiley、T&F、SAGE)的登入頁
/// `/action/showLogin` 算登入頁長相)。整段(`PathSegment.bare`:百分比解碼、小寫、去掉 `;` 之後的路徑參數與一個網頁副檔名)就是它才算;較長 slug 裡的
/// `showlogin`(`how-to-showlogin-errors`)不算。**不放進 `loginTokens` 或 `compoundLoginWords`**:那兩份清單也給主機用(`hostLoginLook`),
/// 而裁決只講路徑——主機標籤 `showlogin.<網域>` 不算登入主機(主機那一格使用者沒有裁過)。不得依「看起來也是登入頁的路徑」類推第二個。
static let pathOnlyLoginSegments: Set<String> = ["showlogin"]
/// 路徑的一段可以帶的網頁副檔名(**封閉清單**)。`cas.12345`、`cas.12345.pdf` 的「副檔名」不在這裡,所以那一段不是 `cas`。
/// b34 加 `cfm`、`cfml`、`xhtml`、`jsf`、`jspx`、`faces`、`shtml`、`phtml`(使用者 2026-10-05 第 2 則:ColdFusion、JSF、SSI 的動態頁)。
static let pageExtensions: Set<String> = ["php", "asp", "aspx", "jsp", "do", "action", "cgi", "htm", "html", "pl",
Expand All @@ -215,7 +220,7 @@ public enum BotSignals {
for raw in parts.path.split(separator: "/") {
let segment = pathSegment(String(raw))
pathWords.formUnion([segment.bare, segment.unhyphenated])
if loginTokens.contains(segment.bare) || compoundLoginWords.contains(segment.unhyphenated)
if loginTokens.contains(segment.bare) || pathOnlyLoginSegments.contains(segment.bare) || compoundLoginWords.contains(segment.unhyphenated)
|| !segment.compound.isDisjoint(with: compoundLoginWords) { pathLogin = true }
}
if pathLogin { return "login" }
Expand Down Expand Up @@ -293,7 +298,7 @@ public enum BotSignals {
///
/// **這條規則擋得住什麼、擋不住什麼**(#613 R2 verify 第 5、28、29 則):它擋的是**之後的轉址**——文章站把分頁送到另一個主機,
/// 那個主機要人驗證。它**擋不住文章站本身**:文章站就是 doi.org 解析到的主機,而那是 DOI 註冊者決定的,所以註冊者自己架的假 CAPTCHA 頁
/// (要使用者貼上指令到終端機那一類)落在文章站上仍是等人驗證(結束碼 8)——使用者的裁決是文章站算,行為照裁決;網址有登入頁長相的那一頁例外,整批暫停(使用者 2026-11-04 第 6 則,`FulltextFetch.onSiteStop`;連 `document.contentType` 都讀不到的分頁不適用;網址由文章站決定,這是判斷真登入頁的經驗法則,不是防線)。那一格唯一的防線是
/// (要使用者貼上指令到終端機那一類)落在文章站上仍是等人驗證(結束碼 8)——使用者的裁決是文章站算,行為照裁決;網址有登入頁長相的那一頁例外,整批暫停(使用者 2026-11-04 第 6 則,`FulltextFetch.onSiteStop`;連 `document.contentType` 都讀不到的分頁只在 Cloudflare 挑戰或按住驗證的標記命中時適用,使用者 2026-11-11,#777 第 2 件,`FulltextFetch.judgeUnreadable`;網址由文章站決定,這是判斷真登入頁的經驗法則,不是防線)。那一格唯一的防線是
/// **使用者自己看頁面**:程式與 agent 都看不到頁面,所以結束碼 8 的訊息要 agent 請使用者看、頁面要求貼上或執行任何東西就整批停、
/// 只在使用者說完成之後接著走。
static let knownVerificationHosts: [String] = ["challenges.cloudflare.com", "hcaptcha.com", "recaptcha.net"]
Expand Down
32 changes: 22 additions & 10 deletions Sources/AkashicSkillTools/FulltextFetch.swift
Original file line number Diff line number Diff line change
Expand Up @@ -30,14 +30,15 @@ import AkashicStoreIO
/// 沒有命中驗證/封鎖/登入的封閉清單——那不代表它不是登入頁)與 `doi-not-resolved`(停在 doi.org,而且看得到 doi.org 自己的
/// 查無證據)。
/// 8 等人驗證:出現 CAPTCHA/人類檢查/Cloudflare「Just a moment」/按住驗證,**而且在文章站本身或已知的驗證服務上**
/// (`BotSignals.isKnownVerificationService`;其他主機上的驗證字樣是結束碼 6;文章站上網址有登入頁長相的那一頁命中等人驗證的訊號也是 6,使用者 2026-11-04 第 6 則,見 `onSiteStop`;連 `document.contentType` 都讀不到的分頁不適用,照 `judgeUnreadable`。待使用者裁決(#777):要不要把第 6 則延伸到那一格(第 2 件);
/// Atypon 的 `/action/showLogin` 不是登入長相、那裡的 CAPTCHA 仍是 8(第 1 件);PDF 連結路徑恰好有 `auth`、`login` 的挑戰頁被當成
/// 登入長相、是 6 不是 8(第 3 件))。暫停這一篇;使用者驗證完,以
/// (`BotSignals.isKnownVerificationService`;其他主機上的驗證字樣是結束碼 6;文章站上網址有登入頁長相的那一頁命中等人驗證的訊號也是 6,使用者 2026-11-04 第 6 則,見 `onSiteStop`;連 `document.contentType` 都讀不到的同站分頁命中
/// Cloudflare 挑戰或按住驗證的標記、而路徑有登入長相時也是 6,見 `judgeUnreadable`;Atypon 的 `/action/showLogin` 算登入長相;PDF 連結路徑
/// 恰好有 `auth`、`login` 的挑戰頁算登入長相、是 6——三件都是使用者 2026-11-11 的裁決,#777)。暫停這一篇;使用者驗證完,以
/// `--resume-tab`/`--resume-origin`(導航之後的驗證另帶 `--resume-stage followed`)在**同一個分頁**接著走(不重新載入)。分頁留著。
/// 9 這個站今天已經 10 次嘗試(Asia/Taipei):停這個站,隔天再跑。沒有導航到 PDF。分頁留著。
/// 6 **整批暫停**(SKILL.md〈中止條款〉):其他起疑訊號——封鎖頁、HTTP 403/429、異常流量、PMC 的下載前驗證頁、ScienceDirect
/// 的「Preparing your download」、其他主機上的驗證字樣、分頁跑到別的網站而那一頁是登入/驗證頁的長相、DOI 落地頁的網址是登入頁
/// 的長相、導航之後(含 `--resume-stage followed`)文章站上網址有登入頁長相的那一頁命中等人驗證的訊號(使用者 2026-11-04 第 6 則;邊界待裁見上面結束碼 8,#777)、讀不到的分頁停在登入主機的長相上(只看主機)、卡住(落地頁、導航之後、別的主機上的頁面約 60 秒沒落定)、停在 doi.org
/// 的長相、導航之後(含 `--resume-stage followed`)文章站上網址有登入頁長相的那一頁命中等人驗證的訊號(使用者 2026-11-04 第 6 則;2026-11-11 的延伸見上面結束碼 8,#777)、讀不到的分頁停在登入主機的長相上(只看主機;同站而命中
/// Cloudflare 挑戰或按住驗證的標記時,路徑的登入長相也算)、卡住(落地頁、導航之後、別的主機上的頁面約 60 秒沒落定)、停在 doi.org
/// 卻看不到它自己的查無證據(使用者 2026-10-05 第 1 則)、落定的網頁讀不到頁面文字而無從檢查(導航之前的文章頁、導航之後文章站上
/// 落定的 HTML 頁、別的主機上落定的頁面;連 `document.contentType` 都讀不到的分頁是 7 `unverifiable`)。分頁留著給使用者看。
/// 3 頁面上找不到 PDF 連結。分頁留著:這個命令不關任何分頁(#768)
Expand Down Expand Up @@ -84,12 +85,16 @@ public final class FulltextFetch {
/// 本身也不可使用(第一版還會關分頁,第三版導航時會在前景視窗開出新分頁)。
/// 8=#768 第五版起(2026-11-04~05):記號鎖帶 `--profile`、別的 profile 的視窗開著就停(開頭、接續、每一眼)、頁面文字這類讀取的鎖找不到分頁時
/// 重跑一次、PDF 連結的答案綁在判過的那一頁上、接續可帶 `--resume-mark`。第五到第八版的開發建置也印 8 而行為不同(第五版有版本閘、第六版接續
/// 不判別的 profile、讀連結會重跑、第八版同一個位置兩列不停、換頁之後不等落定),都沒有發布(CLI 沒有發布版);第 0 步要求 9 之後一律被擋下。
/// 不判別的 profile、讀連結會重跑、第八版同一個位置兩列不停、換頁之後不等落定),都沒有發布(CLI 沒有發布版);第 0 步的門檻升到 9 之後(現在是 10)一律被擋下。
/// 9=#613 b49(2026-11-09):導航之後(含 `--resume-stage followed`)文章站上網址有登入頁長相的那一頁寫著 CAPTCHA 時整批暫停(先前是 8,等人驗證;導航之前自 b37 起就是 6);`/sign-on`、`/single-sign-on`
/// 與單字寫法的 `signon`、`singlesignon` 算登入頁(落地頁是它們時整批暫停,先前照一般網頁讀;導航之後落在別的主機上的這種頁面整批暫停,
/// 先前交給人 `left-site`;主機最左邊的標籤是 `signon`、`sign-on`、`single-sign-on`、`singlesignon` 也算登入主機——第 8 則的副作用,是否保留待使用者裁決,#777 第 4 件)。2026-11-06 到 b49 之間從 main 建的 CLI 印 8,碰到這兩種頁面照舊的判斷,所以要調(使用者 2026-11-09)。
/// 先前交給人 `left-site`;主機最左邊的標籤是 `signon`、`sign-on`、`single-sign-on`、`singlesignon` 也算登入主機——第 8 則的副作用,使用者 2026-11-11 裁決保留,#777 第 4 件)。2026-11-06 到 b49 之間從 main 建的 CLI 印 8,碰到這兩種頁面照舊的判斷,所以要調(使用者 2026-11-09)。
/// 10=#777(2026-11-11):Atypon 的 `/action/showLogin` 算登入頁(`BotSignals.pathOnlyLoginSegments`,只看路徑;既有的 8 個呼叫點都跟著算——
/// 導航之後同站寫著 CAPTCHA 的那一頁 8 → 6;別的主機上落定的頁面 7(交給人 `left-site`)→ 6;落地頁與導航之前的同站頁先前照一般網頁讀
/// (頁面文字有起疑訊號就照訊號,沒有的多半等不到 PDF 連結、以 3 結束),現在 6);連 `document.contentType` 都讀不到的同站分頁命中
/// Cloudflare 挑戰或按住驗證的標記、而路徑有登入長相時整批暫停(先前 8)。這幾格的結束碼變了,所以要調。
/// 前三版的 CLI 沒有 `contract` 子命令——數字只是給歷史一個名字,第 0 步擋它們靠的是「沒有這個子命令」。
public static let contractVersion = 9
public static let contractVersion = 10

public struct Options {
public var window: Int
Expand Down Expand Up @@ -588,7 +593,7 @@ public final class FulltextFetch {
/// 同站頁面上命中訊號之後的停法。等人驗證的訊號落在**登入頁的長相**上時整批暫停,不降成等人驗證(使用者 2026-11-04 第 6 則,b38 INFO 17:
/// 導航之後落定的同站 `/login` 頁寫著 CAPTCHA,先前得 8)。導航之前的檢查在這之前就已經對登入長相整批暫停,所以這一條只改變導航之後與
/// `--resume-stage followed` 的判斷;沒有訊號的同站登入頁仍交給人 `html-page`。連 `document.contentType` 都讀不到的分頁不經過這裡,
/// 照 `judgeUnreadable` 判(路徑有登入長相而主機不是登入主機、帶 Cloudflare 挑戰或按住驗證的標記(`cloudflare-challenge`、`perimeterx-press-and-hold`)時仍是 8(其他四個標記本來就是 6);要不要延伸第 6 則待使用者裁決,#777 第 2 件)。
/// 照 `judgeUnreadable` 判(同站、帶 Cloudflare 挑戰或按住驗證的標記(`cloudflare-challenge`、`perimeterx-press-and-hold`)、路徑有登入長相時同樣整批暫停——使用者 2026-11-11 把第 6 則延伸到那一格,#777 第 2 件;其他四個標記本來就是 6)。
private func onSiteStop(for hit: BotSignals.Hit, _ snap: PageSnapshot, _ site: String) -> Stop {
if hit.response == .humanVerification, BotSignals.urlGateLook(snap.url) == "login" {
return botStop("\(hit.label) on a page on the article site that has the look of a login page → \(FulltextFetch.plainURL(snap.url)) (login page)", site)
Expand Down Expand Up @@ -717,7 +722,9 @@ public final class FulltextFetch {
/// 2. **主機**是登入主機的長相(`BotSignals.hostLoginLook`:最左邊的標籤、或 IdP 服務的名稱)→ 整批暫停(使用者 2026-10-02:登入頁維持
/// 整批暫停;PDF 不從 IdP 主機出來)。只看主機,路徑與標題不看(`/auth/12345.pdf`、`Login behaviour in …`)。
/// 3. 標題與網址帶著驗證服務自己的標記(`BotSignals.serviceMarker`,封閉的六個標籤):照訊號處理(文章站上的人類檢查是等人驗證;
/// 其他主機一律整批暫停)。
/// 其他主機一律整批暫停)。**例外**(使用者 2026-11-11,#777 第 2 件):文章站上的人類檢查(`cloudflare-challenge`、
/// `perimeterx-press-and-hold`)而網址的**路徑**有登入長相 → 整批暫停,與 `onSiteStop` 同一條(第 6 則)。路徑只在標記命中之後才看;
/// 沒有標記的讀不到分頁照舊不看路徑(使用者 2026-10-02,PDF 檢視器的路徑常有 `auth`、`validate`)。
/// 其他 → 交給人(`unverifiable`),訊息說讀不到、什麼都沒檢查。判斷用同一次 `documents` 的(網址,標題);那一下網址不是 `url` 就回 nil,
/// 回去等。
private func judgeUnreadable(_ url: String, _ site: String) throws -> Stop? {
Expand All @@ -730,7 +737,12 @@ public final class FulltextFetch {
if BotSignals.hostLoginLook(url) {
return botStop("page-unreadable on a host with the look of a login page → \(FulltextFetch.plainURL(url)) (login page)", site)
}
if let hit = BotSignals.serviceMarker(snap.title + "\n" + url) { return stop(for: hit, site, context: context, at: url) }
if let hit = BotSignals.serviceMarker(snap.title + "\n" + url) {
if hit.response == .humanVerification, sameSite(url, site), BotSignals.urlGateLook(url) == "login" {
return botStop("\(hit.label) on an unreadable page on the article site that has the look of a login page → \(FulltextFetch.plainURL(url)) (login page)", site)
}
return stop(for: hit, site, context: context, at: url)
}
return handover(.unverifiable, at: url)
}

Expand Down
31 changes: 24 additions & 7 deletions Tests/AkashicKitTests/FulltextB37Tests.swift
Original file line number Diff line number Diff line change
Expand Up @@ -199,7 +199,24 @@ final class FulltextB37Tests: XCTestCase {
XCTAssertEqual(run(s), 7, errText)
}

/// b49 第 8 則的副作用(SKILL 版本 9 那段、`FulltextFetch.contractVersion` 的註解與 b49 changelog 寫明;要不要保留待使用者裁決,#777 第 4 件):
/// #777 第 1 件落到導航之前:DOI 落地頁就是 Atypon 的 `/action/showLogin`(站把沒登入的讀者轉過去)時整批暫停,不導航、不記嘗試
/// ——先前照一般網頁讀。
// spec-example: fulltext-gate-look / A landing page at showLogin pauses the run
func testALandingPageAtShowLoginPausesTheBatch() {
var s = Scenario(); s.landingFinal = "https://pub.example/action/showLogin?redirectUri=%2Fdoi%2F10.1%2Fx"
assertLoginStop(run(s))
}

/// 同一件事在讀頁面的當中:落地頁通過網址檢查之後,分頁轉到同站的 `/action/showLogin`,那一頁寫著 CAPTCHA——照登入長相整批暫停,
/// 不照頁面文字降成等人驗證。
// spec-example: fulltext-gate-look / A page that turns into showLogin before navigation pauses the run
func testALandingThatTurnsIntoShowLoginWhileBeingReadPauses() {
let s = Scenario()
let code = run(s, hook: Self.movesToALoginPageWhileReading(onRead: 1, to: "https://pub.example/action/showLogin?redirectUri=x"))
assertLoginStop(code)
}

/// b49 第 8 則的副作用(SKILL 版本 9 那段、`FulltextFetch.contractVersion` 的註解與 b49 changelog 寫明;使用者 2026-11-11 裁決保留,#777 第 4 件):
/// 主機最左邊的標籤是 `signon`、`sign-on`、`single-sign-on` 也算登入主機。
func testASignOnHostLabelIsALoginHost() {
for u in ["https://signon.uni.example/x", "https://sign-on.uni.example/x", "https://single-sign-on.uni.example/x"] {
Expand All @@ -208,13 +225,13 @@ final class FulltextB37Tests: XCTestCase {
XCTAssertNil(BotSignals.urlGateLook("https://www.signon.example/x"), "第二個標籤不算")
}

/// 第 6 則的邊界(b51 verify 釘住):連 `document.contentType` 都讀不到的同站分頁走 `judgeUnreadable`,不看路徑的登入長相(使用者
/// 2026-10-02,保護 PDF 檢視器的分頁);標題是 Cloudflare 的「Just a moment...」就照驗證服務的標記,仍是等人驗證(8)。
/// 這是現行行為;要不要把第 6 則延伸到這一格待使用者裁決(#777 第 2 件),裁決改了這一支跟著改。
func testAnUnreadableSameSiteTabAtALoginPathWithAServiceMarkerStillWaits() {
/// 第 6 則延伸到讀不到的分頁(使用者 2026-11-11,#777 第 2 件):連 `document.contentType` 都讀不到的同站分頁走 `judgeUnreadable`;
/// 標題是 Cloudflare 的「Just a moment...」(`cloudflare-challenge` 標記)而網址的路徑有登入長相時整批暫停(6),不再等人驗證
/// (b51 verify 釘住的 8)。沒有標記時仍不看路徑(使用者 2026-10-02,保護 PDF 檢視器的分頁),見 `FulltextLoginLookRulingsTests` 的負控。
// spec-example: fulltext-gate-look / Unreadable same-site login path with a Cloudflare marker pauses
func testAnUnreadableSameSiteTabAtALoginPathWithAServiceMarkerPauses() {
var s = Scenario(); s.afterNavURL = "https://pub.example/login"; s.afterNavTitle = "Just a moment..."; s.afterNavJSFails = true
XCTAssertEqual(run(s), 8, errText)
XCTAssertTrue(outText.contains("--resume-stage followed"), outText)
assertSameSiteLoginCaptchaStop(run(s))
}

/// 第 8 則落到別的主機上:導航之後分頁落在別的主機的 `/sign-on`(HTML)——整批暫停(版本 8 是交給人 `left-site`);
Expand Down
Loading
Loading