Skip to content

六维评分行为锚点标尺:中/英 prompt 从一句名称提示升级为四档可判定描述(试点) #114

Closed

Description

@fxbin

背景

Easel 调研 C3(圆桌 4/4 trial,裁决原文见 docs/research/easel-borrowability-2026-10-07.md,本地文件):LLM 打分的六维字段(analysis.py scores 块 quality/hot/freshness/creator/viral/risk)只有一句名称提示、无锚点,导致打分跨样本、跨语种不可比;TopicEye 核心卖点是可解释打分,而可解释的前提是「同一个 85 分在任何一天意味着同一件事」。

裁决约定:严格排在 C1(#110,已合并)之后启动,以试点口径交付。

方案(按裁决 firstStep)

  1. scoring_caliber.py 新增六维 × 四档行为锚点常量(档位 0-30/40-60/70-85/90-100,每档一句可判定的行为描述而非抽象程度词;中文为口径原文,英文同一标尺译文)。
  2. 中/英两套 prompt 从该常量渲染「六维评分锚点」段落(拼接方式同 fix(scoring): 评分口径单一真相源:三处矛盾收拢为 scoring_caliber 单点声明 #111 的口径文本)。
  3. 论文版不并入首期(它是独立的四维精读价值体系,C3 核查结论),「映射复用 or 独立声明」单独决策。
  4. 扩展 tests/test_scoring_caliber.py:锚点段落与 caliber 常量逐字一致、档位边界一致、论文版不含锚点段(锁住范围决策)。
  5. 附对照跑分工具(试点语义:全量前确认分布迁移幅度,在 admin/scoring-dashboard 按 analyzed_at 分界观察)。

行为影响

中/英 prompt 增加锚点段落会移动 LLM 分数分布(预期收敛到锚点定义的档位)——这正是试点要观察的对象;跑分对照的基线是「去掉锚点段」的当前 prompt。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions