全部文章

襷の系譜:数据治理 Agent 产品需求文档

个人项目Read in English

襷の系譜:数据治理 Agent 产品需求文档

更新:2026-11-18。本文描述当前 V2 的有效产品约定,取代早期试点计划和过时状态。演进原因和历史效果保存在优化记录,实现与限制见技术方案。

1. 目标与边界

赛事增量导入是主要入口。每个区或组作为治理批次,依次读取当前数据库、治理本次及受影响的存量数据、提交结果,再进入下一批。无需先扫描全库。允许对已导入数据定向补跑 Membership。

目标是在正确性、执行时间、模型费用和维护难度之间保持可解释的取舍,不追求穷尽网络信息。人主要修订规则、模型边界和少量疑难决策,不逐条审批普通导入。操作者不能手工替代 Graph 处理后再把收益记为自动治理效果。

赛事系列、届次、日期、地点、项目、区组与 Source 由本机依据官方资料准备,经确定性脚本创建或复用。此阶段不写选手、Membership、PB 或成绩。普通赛事与 NCG 等独立竞赛语义分开;不同届次不混并。导入范围须明确,不能因来源混有女子项目就扩大既定男子导入范围。

2. 数据与组织约定

正式组织与参赛名称

输入类型/语义当前处理
junior_high_school、high_school、university来源明确为学校时可建立正式组织和有来源的 Membership
corporate_team来源确认的稳定实业团可建立正式组织和 Membership;跨届、多名选手的稳定参赛事实可供确认
club、company、unknown不创建正式组织、组织页或 Membership;成绩保存原始参赛名称纯文本
地方代表、选拔队、主办者保留各自赛事语义;参赛代表关系本身不构成选手 Membership,不强行归类为学校或实业团

不能为消除 unknown 而猜测学校或实业团类型。现有正式组织优先复用其规范名、简称、别名和来源映射;学校同好会不等于大学本身。成绩中的 organizationNameSnapshot 保存参赛名称,与正式组织外键分开;未确认名称不提供组织链接。下线迁移必须先保全名称和来源,再解除关联,不丢成绩。

人物姓名与身份

含汉字的日文/中文姓名移除中间空格;非汉字姓名折叠空白但保留分隔。显示名规范只统一格式,不代表同名即同人。来源原文保留用于追溯。

同读音只用于召回候选。汉字差异大、没有其他联系时可判定不同人;疑似缺字、OCR 或同音字误录可经轻量解释分流,必要时深入研究。不得仅按字形相似合并。姓名、假名、学校阶段、历史成绩、日期和来源共同支持身份判断;学校从高中到大学的正常衔接、缺少 Membership 本身不是冲突。

未确认组织不能单独阻断人物归一化:本批次该组织键只有一行、只有一个同姓名候选且没有出生日期冲突时,可按唯一人物规则复用。若出现不同学校的同名候选或其他实质冲突,再进入判断,不无限研究暂时无法验证的参赛名称。

DNS、DNF、DQ 都保留比赛记录。DNS 不证明出场,DNF/DQ 表示出场但未完成或成绩无效;它们不决定是否可以记录来源明确的学校/实业团关系。当前 DNS 行无需为身份疑难进入轻量/重型研究,无法安全匹配时保留来源限定人物档案;历史 DNS 仍可作报名身份线索。

3. 完整治理流程

官方资料 → 本机准备赛事壳与标准输入
  → 组织规则 → 整组组织轻量判断
  → 选手规则 → 整组选手轻量判断
  → 一次交叉校验 → 必要的组织补充裁决
  → 单组织网络核验 → 受影响选手重评一次
  → 剩余严重人物疑难的定向研究
  → Membership 治理 → 按需人物事实核验
  → 统一事务写入 → 观测/通知 → 下一区组

这是固定 DAG,没有组织/人物互相调用的循环。节点按需跳过,不要求每批调用模型。轻量判断不联网,分别覆盖本组各领域规则未解决对象,不额外拆小批。交叉校验审查两侧判断与独立证据,不自由编排、不直接写库。组织修正只重评受影响选手一次,不能循环到所有疑问消失。

决策与落库

每条有效来源记录都必须有明确处理结果:复用人物、新建独立来源人物或有证据的修正,并保存成绩与来源。正常证据不足、预算用尽不等于整批失败;可以保留独立人物及 unresolved,不能因此静默丢行或只保存无争议成绩。

对可靠既有值的修改、合并和拆分必须可追溯。技术错误、结构损坏、越界目标和事务失败必须暴露为失败,不能包装成业务 unresolved。修复后从未完成批次恢复,已成功批次不重复写入。

完整性要求与现有限制须分开:当前实现对身份 unresolved 的来源行会暂跳 Membership 和人物事实;成绩及来源限定人物仍保存。该行为不能宣称为所有相关治理都已完成,复核身份后需安排补跑;产品目标仍是所有适用数据有明确写入或未写入理由。

4. Membership 治理

  • 来源明确的学校或正式实业团,即使没有显式 memberships 数组,也应由参赛组织产生履历观察。
  • 不要求先有学年或已有 Membership。来源只有所属时先保存关系,起止日期可为空;DNS/DNF 不排除此过程。
  • 同人物、同组织、同关系且无新信息时不重复创建。多段同组织履历不能盲目折叠。
  • 日期按日本 4 月学年边界和可靠年级/日期锚点推算。允许对已确认的高中、大学阶段双向补空;不虚构学校、学年或毕业事实。
  • 来源日期可以纠正推算日期;推算只补空。缺结束时间不等于 ongoing;新实业团不自动结束旧关系。
  • 常规处理以规则为主。仅同一阶段的学校矛盾、明确互斥关系或无法解释的时间冲突才考虑 LLM/网络研究;不能把所有组织重叠都当作冲突。
  • 已导入的新旧选手均纳入。membership_only 复用既有身份,只补履历,不重复写成绩或重跑整套归一化。

5. 人物事实与研究边界

人物事实节点只消费实际提供的出身地、PB 等字段。来源可靠且旧值为空时可补资料;清晰可比的更好 PB 按来源门槛更新,不因“时间更新”覆盖更好成绩。无输入可跳过,不为了补普通空值主动搜索。DNS 行和身份未决行的事实核验当前会跳过。

重型研究用于严重人物/组织归属疑难或实质 Membership 冲突,按单个对象定向联网。检索支持、引用和置信度必须有可追溯证据;模型自己的轻量假设不是独立证据。资料不足或继续搜索价值低时停止,记录原因、当前采用结果及后续复核对象。

研究有持久预算、超时和有限重试。网络/协议故障与“证据不足”分别记录;不无限重试、不静默降级为成功。规则命中、LLM 调用、重型对象与搜索次数分别统计,不能混为同一指标。

6. 观测与通知

运行记录独立于业务实体,能定位赛事、批次、attempt、Agent、模型请求、finding、变更和通知。默认显示人可读摘要,按需展开原始指标;未知费用/用量不能显示为零。

观测至少覆盖:总耗时、排队/执行/重试时间;规则和各阶段解决/剩余对象;轻量与重型请求、搜索、模型及输入输出 tokens;估算费用与单位行成本;计划/实际变更、导入行数、未决原因和失败节点。失败任务也保留已发生调用和阶段进度。对比保持相同输入范围、统计口径和规则版本,并区分自动结果与人工修正。

区组默认不发邮件,严重未决或技术失败才告警;普通判定和修复不逐组发信。告警标题包含赛事和区组。赛事任务结束后发赛事总结,标题包含赛事名,概述完成/未完成、写入、修复和 unresolved。邮件失败不回滚数据,投递可重试;告警阈值仍应结合实际运行复盘。

7. 当前交付与维护

V2 已部署并用于第333回日体大增量导入及 Membership 补跑。该赛事任务最终未决清零包含人工复核和生产修正,不能解释为 Graph 自动解决率 100%,也不能由此推断新赛事无风险。

后续赛事按完整流程逐区组执行,阻碍项停下修复,正常疑难保留决策与证据。优化记录本轮封板;新问题另开记录。PRD 保持当前业务约定,技术方案保持当前实现和明确限制,不再夹带过期开发步骤或“尚未上线”的历史状态。

襷の系譜:数据治理 Agent 产品需求文档 | Xuhuan / Gelatoni