全部文章

襷の系譜:数据治理 Agent 优化记录

个人项目Read in English

襷の系譜:数据治理 Agent 优化记录

更新:2026-11-13。本文补记此前数轮优化,保留失败与未验证的状态,不用新版设计覆盖历史。PRD 维护当前需求,技术方案维护当前实现,本文维护“为什么改、依据什么、验证到哪里”。日期按提交与运行记录记述;跨时区时间统一标注 UTC。

关联:PRD · 技术方案。10 月的批处理优化记录属于旧架构,不与本轮数据混作基线。

本轮边界

目标始终是第 333 回日体大普通赛事男子 5000m 第 1 组,共 44 条;第 332 回是既有数据,不作为本次增量目标。普通赛事与 NCG 保持不同语义。操作者只提交标准输入与修复流程,不手工代 Agent 匹配实体来制造效果。

历史任务、attempt、响应与审计保留,重跑形成新的可追溯记录,不抹掉失败基线。每次对比说明输入、数据库版本、规则/策略及模型;原来的结果也不是正确性的金标准。DNS 与实际出场、计划与实际写入、轻量待判断对象与重型研究对象分别计数。

本次交付仅开发、测试、部署和文档同步,没有提交任务、重试、dry_run、真实模型调用或成绩导入。以下历史真实运行不是本次新增执行。

1. 从逐项研究到整组轻量判断与有界交叉校验

问题:规则难表达一些简单组织变体;选手判断又会暴露组织问题,直接让两个 Agent 互相调用容易形成循环。44 条中出现 17 条身份待确认,不能直接解读为 17 个严重冲突或 17 次重型研究。

Case:“大東第1高校 / 大東大一高校”不适合写成通用字符串替换;选手历史所属与本次组织归一化存在依赖。

方案:组织规则 → 整组组织轻量判断 → 选手规则 → 整组选手轻量判断 → 一次 LLM 交叉校验 → 必要的组织补充裁决及受影响选手重评各一次 → 剩余严重疑难深入研究。固定 DAG、无回边;组织等价必须有独立证据,禁止循环论证。不新增小批拆分或批量大小配置。

效果/状态:已实现并部署,阶段与请求数可观测;结构性回归通过。最新首组运行尚未走到交叉校验,不能宣称整条链路已在真实数据上成功。实现见 Agent PR #6。

2. 模型协议、请求诊断与超时配置

问题:非法响应或“重试上限”只有笼统错误,不能据此判断 API 不通;约 25 秒失败也需要区分应用超时与提供方限制。

Case:模型 unresolved 输出夹带 targetId;请求失败缺少可用于对照中转站的响应标识;线上虽配置 120000 ms,runner 仍可能使用 25000 ms 默认值。

方案:对 unresolved 多余目标记录 warning 并忽略,不授权匹配;保留结构及候选范围校验。按请求持久保存安全诊断:stage、callId、错误阶段、耗时及提供方实际返回的 request ID、response ID/status、输出类型等,不承诺每次都有提供方 ID。修复超时参数透传;线上显式配置 pro 路由 gpt-6.1-sol、120000 ms。协议及结构化 schema 适配以请求代码为准,不把示例值视为有效线上配置。

效果/状态:已部署;配置和参数路径已核验。不能把所有历史失败都归因于 API 超时,也不以服务健康推断模型判断质量。记录见 PR #9 与超时修复提交。

3. 邮件与观测:失败也要说明已经做了什么

问题:失败邮件几乎没有数据,读者容易以为没有执行;标题缺少赛事和组别,页面主要堆原始 JSON,难以理解处理进展。

方案:批次告警标题带赛事及区/组,赛事总结标题带赛事名。失败时由持久请求日志和已完成节点补齐阶段与调用统计,并避免重复计入已保存的 AgentExecution。个人站先显示自然语言状态、阶段漏斗、调用及问题摘要,再按需展开原始指标。缺失数据留空,dry_run 的实际业务写入保持为 0。

效果/状态:已部署,见 Agent PR #13、个人站 PR #16;邮件标题改动包含在 Agent PR #6。完整独立 attempt 层下钻和所有费用项仍不能视为已完成。邮件是否改善下一次真实失败的阅读体验,待后续运行观察。

4. 交叉校验输入去重与证据筛选

问题:重复候选与历史上下文使交叉校验请求超过自身大小防护;这不是已经发到 API 后的超时。

方案:使用共享人物、组织和证据 catalog,去重并筛选相关证据;保留全组来源行、组织、概况、覆盖计数和截断提示。不增加工具调用,不默默拆组,不移除 512000 字符防护。

效果/状态:已部署,见 Agent PR #15。对同一份保存上下文的离线序列化比较如下:

指标修改前修改后
字符数676807119650
UTF-8 字节数735743128270
本组来源行4444
来源组织2020

字符数减少 82.32%。这不等于实测 tokens、费用或时延减少相同比例;最新运行在更早的人物轻量节点停止,尚未验证真实交叉校验是否成功。

5. 最近一次真实运行的失败基线

历史 task:38e0ea4c-2d2a-405b-a286-c43848c2605c;attempt:3ecd5e94-5980-4980-befc-e6f2110c0c55。时间:2026-11-13 01:16:38.198—01:17:14.181 UTC。模式 dry_run,业务写入未启用。

对象/阶段观测结果
输入44 条、20 个来源组织
组织规则16 个匹配、2 个暂定新建,2 个进入轻量判断
组织轻量1 个匹配、1 个 unresolved
选手规则2 个匹配、25 个无候选暂定新建、17 个进入轻量判断
选手轻量原响应16 个 unresolved、1 个 match;该 match 引用不足,整批校验失败
实际 LLM 请求2 次;组织 7990 ms、选手 26001 ms
Tokens输入 23155、输出 1652;网络查询 0
后续阶段未执行交叉校验或重型研究,无最终计划、无业务写入

失败原因:羽生祥成的 match 只引用本次 source:1189,没有引用提供给模型的独立历史人物证据。程序抛出 Normalization person match has no independent identity evidence,导致同批其他结果也不能继续。这是证据校验拒绝,不是 API 超时,也不是已经发生 17 次重型研究。

6. 历史报名身份规则与单条轻量降级(本次修复)

问题:缺少 Membership 被过度用作身份不确定的信号;一条轻量结果引用不足又阻断整个批次。

Case:

  • 羽生祥成等候选有精确汉字姓名、假名及同 canonical 组织的历史完赛记录,但没有 Membership。
  • 村中悠隼的历史记录是 DNS;它仍能说明报名身份,不能说明出场。
  • 伊藤亘輝 / 伊藤光輝、吉田大雅 / 吉田大河属于同音异字竞争;不能仅因弱候选存在就把强证据对象推入重型研究。
  • 杉野主宙、竹原勇生的组织名称变体,以及澤田聡太的组织 ID 差异,仍需独立组织判断;不直接手工归并。
  • 飯田翔真的历史所属为法政大学第二,本次为小田原 NR,不满足同组织规则;若仍需判断,原因是身份依据与所属变化,不是 DNS 本身。

方案:新增 exact_name_kana_historical_organization,要求唯一精确汉字/假名强候选、来源明确的历史记录、不同赛事且历史日期不晚于本场、两侧同一既有 canonical 组织 ID;已有学年矛盾或其他 Membership 候选竞争时不通过。历史 DNS 可用,但不生成实际参赛或 Membership 事实。弱候选保留给交叉校验。

人物轻量 match 未引用目标独立证据、且没有明确一致生日时,仅该条改为 unresolved 并保存原目标、原因和引用;合法条目继续。交叉校验接收组织/选手轻量判断、规则命中、弱候选和告警。生日冲突、未知引用、越界目标、结构损坏等仍阻断。没有降低身份安全门槛,也没有增加工具调用。

效果/状态:已部署,见 Agent PR #17。规则 2026-11-13.1、策略 whole-group-cross-check/4。36 项单元测试与 15 项隔离 PostgreSQL 集成测试通过;覆盖 DNS 正例、同音弱候选,以及假名缺失、组织不同、未来/本场历史、来源缺失、重复强候选、学年矛盾、单条引用不足和交叉校验否决等反例。CI 发现的三处测试可选字段类型问题已修正,检查通过后合并。

实际收益未测:没有重跑,因此尚不能给出轻量/重型减少人数、调用成本、总时长、最终成功率或新增事实的数值。下一轮需按用户节奏运行同组后补记,不能把测试或候选推测写成生产效果。

7. 后续 V2 优化与本轮封板(2026-11-17—2026-11-18)

上一节记录的是规则修复后的“尚未重跑”状态。随后几轮完成了 V2 的实际落地和生产复核,结果与测试状态分开记录如下。

7.1 组织来源与人物归一化解耦

club、company、unknown 统一按未确认参赛名称处理:不创建正式 Organization,不创建 Membership,也不把它们作为人物身份的单独所属证据;RaceResult 保留 organizationNameSnapshot。地方陸協、大学同好会和临时代表名称遵循同一边界。未确认组织如果在本批次只对应一名选手、数据库只有一个同姓名候选且没有出生日期冲突,可以直接归一化人物。

这条规则解决了 松戸市陸協 阻断人物归一化的问题:松井俊介已归并到规范人物,成绩和来源引用保留,未创建组织或 Membership。对应 Agent 规则已测试、合并并部署;业务修正脚本记录在 Agent PR #41 和业务仓库修正记录中。

7.2 Membership 独立治理与姓名契约

赛事来源能证明学校或正式实业团时,Membership 可以在赛事导入后单独重跑;缺少学年不再阻止写入没有起止日期的来源关系,只有同一阶段存在多个组织候选时才需要身份判断。赛事组织信息不再因为没有 Membership 就自动判定为不同人物。

姓名导入契约统一日本姓名的空格处理:汉字姓名去除中间空格,来源原文仍保存在来源证据中。该契约已补入导入器和测试,后续老数据按同一规范治理。

7.3 333 回最终生产复核

第333回全赛事增量治理最终复核中,两个保留 finding 按证据做了明确决策:

  • 2189 野翔太郎:假名、法政大学履历和历史成绩连续,来源姓名只是缺少 﨑/崎 的变体;两个临时档案及成绩归并到 野﨑翔太郎。
  • 2352 佐藤広人:与 佐藤大翔 只有同读音且所属冲突,与 佐藤広知 假名也不一致;单独保留为新人物,不强行合并。

两条 finding 均写入审计并标记为 resolved,任务汇总的 unresolved 最终为 0。这表示保留的冲突都形成了明确业务决策;不等于每个决策都由 Graph 自动完成,人工复核和数据修正仍保留独立审计记录。

本轮封板结论

本轮 V2 的稳定边界已经形成:先完整写入赛事成绩和来源名称,再按规则、轻量判断、一次有界交叉校验和必要的重型研究分流;研究失败或证据不足时保留 finding 和上下文,不静默丢数据,也不把临时参赛名称升级成正式组织。后续东日本实业团駅传等新赛事属于新的运行和优化周期,另开文档记录,不回写本文件的历史结论。

后续记录方式

每轮在此追加“问题—case—方案—效果”,同步将稳定需求和实现回补 PRD、技术方案。效果区分别写离线测试、部署核验和真实运行;未产生的数据保持待验证。复盘时检查是否有可解释通用规则、实体专属别名或仍需模型判断的内容,不强求每轮产生新规则。

下一次运行重点观察:规则匹配数及依据、组织/选手轻量对象数、交叉校验否决与组织修正、受影响重评、重型实际对象/请求数、最终计划/写入、unresolved、耗时、tokens 和已知费用。本轮在部署与文档更新后停止。

襷の系譜:数据治理 Agent 优化记录 | Xuhuan / Gelatoni