Skip to content

fix(research): preserve citation scope and localized numeric fidelity - #7428

Open
loopx-agent wants to merge 2 commits into
mainfrom
codex/research-episode-citation-schema-20261027
Open

loopx-agent wants to merge 2 commits into
mainfrom
codex/research-episode-citation-schema-20261027

Conversation

@loopx-agent

@loopx-agent loopx-agent commented Oct 26, 2026 •

Copy link
Copy Markdown
Collaborator

A research analysis could finish generating JSON and then fail because a metric cited another episode's evidence. Localized prose could also lose a leading + or add %, correctly causing an original-text fallback. This change repairs generation within the existing assessment owner while keeping strict qualification.

New CLI preparations and default registrations select output schema revision 2, deriving valid episode/metric/source combinations from the declared input. An explicitly selected display encoding v3 asks for exact numeric spellings and source-supported referents. Frozen configurations retain their original prompts, keys, schemas and saved artifacts; reads and language changes never execute or upgrade analysis. No additional translator, provider, settings screen or solver execution is introduced.

At c05c8e269ef22a4f7f0faf7815c0ff392dd30423, 57 process/store tests, 33 TypeScript owner tests and 22 HTTP API tests pass, along with typecheck, Ruff and compilation. The standard premerge run passed six direct and 15 selected automatic checks; the exact-scope quality receipt is valid. The benchmark-sensitive maintainer review and merge authorization remain separate.

One bounded native-provider qualification on the same complete, authorized read-only snapshot produced 654/654 accepted display fields, compared with 649/654 in the previous version. The five previous fallbacks now translate without relaxing literal checks. All 146 events retain their original identity, status, order and source text. A non-statistical reading of 47 stratified fields plus all previous fallbacks still found ambiguous terminology and awkward prose: this is generation-contract qualification, not whole-page semantic, installed-App or independent research acceptance. Original artifacts, failures and usage remain private and unchanged. Schema validity and source membership do not prove entailment or net efficiency.

Presentation evidence: the eight changed paths affect preparation, configuration types, tests and the contract reference; no frontend layout or static interface text changes. No installed App or browser capture is claimed. The original whole-page readability work remains open. CI was not consulted under the review policy; this proposal is not merged or installed.

中文:修复既有研究生成入口的来源配对及数字重述。新准备/默认登记使用格式第2版;展示编码v3由原输入整理者明确选择,旧版本不自动升级或执行。真实同快照产物从649/654提升到654/654字段通过,146条原记录不变;抽查仍有术语与表达问题,完整页面可读性和正式App采用继续待验。现有严格字面/来源校验、原文、失败历史和取消重试路径保留,不以覆盖率声称完整理解或成本收益。

Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · gpt-6.1-sol · OpenAI · runtime_reported · max

Approval conclusion (author-owned PR; GitHub blocks formal self-approval)

动机

使用研究分析的用户在生成完成后才遇到来源越界,会付出完整分析成本却读不到结果。同一片段的指标误引另一片段来源时,旧请求可生成完整JSON却无法保存;新请求在生成格式中限制来源配对。错误配对在生成格式中被排除,合法结果仍由原有严格校验保存和读回。本PR不宣称整页翻译完成、理解速度提升或独立科研收益。部分正文回退、术语语义核对和正式App采用仍待原研究工作继续验证。这里的“片段”指输入已声明的一组研究问题及允许引用的材料;限制来自原合同,不是新加的评测标准。

改动思路

片段来源关系仍由现有TypeScript输入拥有,生成格式只推导该关系;Python只选择配置版本,校验和进程生命周期没有第二个owner。本PR交付生成契约修复及真实入口验证,完整正文质量和正式App采用继续由原研究工作承担。具体做法是复用原有指标行与引用定义,按已声明片段生成可选格式分支,让片段、适用指标和来源一起匹配。合法行继续进入原校验,未知判断仍可保留;错误引用不会通过格式约束来扩大证据范围。新准备和默认登记选择版本2,已有冻结配置未声明版本时继续使用旧格式与旧身份。再加一段提示不能机械阻止这次错误;放宽校验或事后改引用反而会破坏证据,因此保留现有owner中的窄范围修复。

具体改动

规格依据为 docs/reference/trajectory-assessment.md,固定修订 22196e81db063cbfabb4ca5591fbb83c7bc987c0。Researcher synthesis in the existing reader 的单片段来源边界、Explicit execution and readback 的明确执行及失败保留、Register a fixed case for the research workbench 的冻结输入与配置身份,在本head均为 implemented;独立语义与科学验证仍沿原合同保持分离。

关键代码讲解

  • episodeAssessmentSchema 从现有输入推导每个片段的允许指标和来源,复用基础行及引用结构,并排除无适用指标的片段。没有新建来源清单或第二个判定器。
  • prepareTrajectoryAssessment 严格接受显式格式版本2并纳入配置身份;缺省时完整保留冻结的提示、格式与缓存键。原 qualifyTrajectoryAssessment 仍负责引用范围、完整性及结果资格。
  • prepare 与 register_pack 只负责新请求的版本选择,进程、独占锁、取消、超时、明确重试和旧产物读回仍走原路径。测试在英文、中文及合成报告模式下用独立JSON Schema校验器检查配对,覆盖兄弟片段、展示专用和不存在的来源,以及错误片段、不适用指标和未知判断。

对主干的风险

新的默认仅作用于新准备和默认登记;已有显式配置不是自动升级对象。冻结身份、禁用分支的完整请求、严格结果及原文读回均有对应证据,不以“没有启用对象”推断隔离。格式按片段展开会增加请求结构大小,不能据一次成功宣称更省token;大样本的提供方限制仍须随真实请求验证。来源ID合法也不代表引用真的支持判断,中文完整性及理解仍需要单独检查。

本head的53项进程/存储、32项TypeScript与22项真实HTTP测试通过,类型检查、Ruff、编译及已提交RFC成对检查通过;标准预合并6项直接、15项自动检查无失败。真实本机提供方在隔离存储上接受了新格式并保存、重新读回结果,部分译文字面检查失败仍回退原文。原先失败的生成及其用量保持记录。依本任务策略未查询或等待CI;benchmark-sensitive人工审阅和合并授权仍是独立门。

语义与 CI 对齐

本次在既有分析配置中加入一个明确的局部格式版本,沿现有输入、指标和来源词汇推导关系。差异语义建议和完整漂移检查均已执行;没有在通用调度或结算规则中加入领域术语,也没有把硬约束称为建议。CI状态未用作这份评审的证据。

我的整体评价

同意此精确head 7e743214c8136054b9b8c94531f0dbf1a93d8278 作为有用的有限修复进入维护者审阅,发布的是作者自评,不能冒充独立评审或正式GitHub批准。长期继续工作的既有取消、失败重试、冻结配置及旧产物读回保持;未证明净成本或长期效果改善。现有分析入口、原文与失败恢复保持可达;生成约束修复不能替代整页可读性验收。本次六个路径是TS生成器、Python准备和存储适配器、测试及契约文档,未改渲染布局或界面文案。部分正文回退、术语语义核对和正式App采用仍待原研究工作继续验证。结构变化集中在现有生成器,兼容分支服务已持久化的独立配置,保留理由充分;复用基础定义的局部整理已完成,更大的格式框架没有必要。CQR精确范围有效,但本结论不解除人工门、不授权合并、安装或发布。

English verdict: APPROVE — 7e74321. The new versioned generation schema binds metrics to their declared episode sources, preserves frozen configurations, and retains strict qualification. Local owner/process/HTTP checks and a bounded native-provider readback passed. Semantic translation completeness, installed-App adoption and maintainer merge gates remain separate.

Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
@loopx-agent loopx-agent changed the title fix(research): bind generated citations to episode evidence fix(research): preserve citation scope and localized numeric fidelity Oct 26, 2026

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · gpt-6.1-sol · OpenAI · runtime_reported · max

Approval conclusion (author-owned PR; GitHub blocks formal self-approval)

动机

使用研究分析的用户需要读到忠实的中文结果。分析生成后可能因引用了别的研究片段而无法保存;数字重述也可能丢掉正号或多加百分号,导致正文回退原文。新请求提前约束来源配对,显式新版指导忠实重述;同一完整快照的有效译文字段从649增至654,原记录及严格校验保留。本PR不宣称整页已经易读、术语都已解释正确或研究净效率已提升。部分术语仍有歧义、正文仍有生硬表达,正式App采用与完整页面可读性仍待原任务验证。这里的研究片段指输入已声明的问题及其允许使用的材料,来源合法并不等于语义已经获得独立验证。

改动思路

来源配对由原输入推导,数值指引只进入明确选择的版本;既有校验、执行和读回owner继续唯一。本PR交付既有生成器的来源约束和显式忠实性指引;完整页面理解与正式App采用继续由原研究工作验收。来源配对属于既有证据不变量,直接从原片段推导生成格式;数值忠实性属于明确版本的模型指导。两者均由原TypeScript准备器拥有,Python仍只选择新准备的格式版本并承担原进程/文件I/O。拒绝放宽校验、事后改写引用或另起翻译作业。已有原文、失败、取消、重试和语言读回全部沿原入口;无需新增账号设置或强制确认。

触发 当前结果
新准备/默认登记 生成格式第2版限制片段、指标和来源的组合
原输入整理者明确选择展示v3 核对正负号、精度、百分号和有证据的所指,生成独立版本
旧配置、旧语言或普通读取 原提示、缓存及产物保持;读取不执行模型
数字重述不合格 原严格校验拒绝该译文,完整原文仍可读

此表是对 c05c8e269ef22a4f7f0faf7815c0ff392dd30423 已检查代码的说明,不代替执行证据。

具体改动

规格依据为 docs/reference/trajectory-assessment.md,固定修订 22196e81db063cbfabb4ca5591fbb83c7bc987c0。Researcher synthesis in the existing reader 的单片段证据边界、Explicit execution and readback 的明确执行及失败保留、Register a fixed case for the research workbench 的冻结身份、Whole-history presentation language 的完整历史及字面保护,在本head的生成/读回边界均为 implemented。原文已经区分机械完整性、上下文与独立语义验证,本PR没有重写规格来认证自身。

关键代码讲解

  • episodeAssessmentSchema 复用原指标行与引用结构,从原输入推导合法组合;未知判断仍允许,最终引用范围和完整性由原资格校验负责。
  • prepareTrajectoryAssessment 将格式第2版绑定到新准备的身份,并只为明确选择的展示v3追加忠实性指引。旧版本所有既有条款保留;实际完整v2请求在新旧代码中一致。
  • prepareDisplay 沿原别名、字面值和字段语境机制构造v3请求,未改变数字校验、字段身份或原文回退。TypeScript配置联合类型只扩展已有编码词汇。
  • prepare 和 register_pack 沿现有CLI与HTTP调用链选择新准备/默认登记的格式版本;已有显式冻结配置不升级。测试覆盖兄弟片段、展示专用和不存在的来源,额外覆盖正负号丢失、百分号借用、精度变化及上下文有无的进程/存储路径。

对主干的风险

没有发现阻塞此有限代码修复的问题。最强反例是格式和字面值全对,文字仍误解原始所指。实际同快照产物654个字段均通过,而作者对47个分层字段及全部旧回退项的非统计核读,仍见含糊上限、可能被理解为追加时长的表达及生硬原词;不能把覆盖率当完整理解。代码明确称其为指导,未放松任何校验,也未将该产物发布为正式App验收。

当前57项后端进程/存储、33项TypeScript、22项真实HTTP测试通过;类型检查、Ruff、编译和RFC成对检查通过。标准预合并6项直接、15项自动检查通过;新head的CQR已记录有效,随后quick复核6项直接和4项自动通过,仅保留benchmark-sensitive人工门。首次测试预期漏掉受保护原词的句点,按完整原文修正测试后通过,未改产品校验。旧模型失败及其用量继续保留。当前策略未查询或等待CI。

语义与 CI 对齐

扩展的是既有分析编码词汇和明确的局部格式版本。逐条比较了原语言、字面值、语境和数量指引;新指引没有移除来源、未知、否定、执行顺序或权限边界。无展示v3时真实完整旧请求保持一致,有v3时同一严格反例仍拒绝。增加的1205字节和按片段展开的格式有成本,单次成功不能证明token节约或长期效率;完整漂移和差异建议已检查,未改通用调度/结算词汇。

我的整体评价

同意精确head c05c8e269ef22a4f7f0faf7815c0ff392dd30423 作为有实际生成及读回证据的有限改进进入维护者审阅;这是作者自评,不能冒充独立评审或GitHub正式批准。取消、明确重试、旧版本读回和失败保留继续可用;本次未证明长期效果或完整成本收益。沿原分析入口交付可读回的产物;没有增加用户确认、账号设置或逐卡操作,但整页理解仍待验证。已检查本次准备器、配置类型及既有读者路径;未改前端布局或静态界面文案,未声称正式页面视觉验收。部分术语仍有歧义、正文仍有生硬表达,正式App采用与完整页面可读性仍待原任务验证。保留显式兼容分支有持久化配置这一真实消费者,复用原owner的局部整理足够;不需要新框架。CQR有效并不解除人工门,也不授予合并、安装或发布权。

English verdict: APPROVE — c05c8e2. Versioned generation preserves episode evidence scope and requests exact localized numeric spelling while keeping strict qualification and frozen requests. Current owner/process/HTTP checks and a complete native snapshot readback passed. Semantic wording, whole-page readability, installed-App adoption and maintainer merge gates remain separate.

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant