docs(W19): D2.6 答辩报告同步演示前核验 + D1.6/D2.1 落档；修边界脚本自碰撞
一、D2.6 答辩报告（客服agent\D2.6） * 新增 §6.4「演示前最后一次全量核验（W19）」：demo.ps1 五项自检全过（退出码 0）/ pytest 1917 passed / portal_api_check 35 通过 0 失败 / e2e_smoke_test 31/31 / http_probe 11/11 / 边界 12/12 / _consistency 失效锚点 0 / check_authoritative_docs 54 无冲突 / /internal/health/ready 三依赖全绿；并记两条可当面演示的实证（画像题有数据可依、跨主体会话隔离）。 * §6.3 两行补 W19 复跑值；§9 新增两条教训（误删文件的清理判据、边界用例标识必须每次唯一）； §10 新增两条已知边界（D-2 重复问句漂移 / D-4 英文落 E5b）并更正 M-2b 口径； §12 一页速览的数字更新为 1917；头部新增 W19 状态更新行。 二、脚本修复 * _fe_boundary_http.py：「session_id 恰好 64」原用固定串，第二次跑必然 404 SESSION_NOT_ACCESSIBLE（访客令牌每次是新主体，会话号与主体绑定）⇒ 改为 64 字且每次唯一； 该"误撞"同时固化为用例说明（跨主体会话隔离生效）。复跑 12/12。 三、落档 * D1.6 新增 §4.47 的「演示前全量核验」与「画像题真机复验」两行；D2.1 新增 v6.34 第 12/13 条。 四、门禁 * _consistency.py exit 0；tools/check_authoritative_docs.py 54 文档无编号冲突（exit 0）。
This commit is contained in:
张胜宇
@@ -64,6 +64,7 @@
|
||||
| 9 | 📌 **版本位同步**：`D2.2` v2.7 / `D2.4` v1.7 / `D3.1` v2.6 / `D3.2` v1.6；`D1.1` 头部 **v1.8 → v1.9** + 四处版本位同步（含两处历史遗留：`D2.4` 的 `v1.3`、`D2.2` 的日期列） | `D1.1` §28 |
|
||||
|
||||
| 10 | ✅ **真机入参边界复验 12/12**（8 条越界 → 422 `AGENT_INPUT_INVALID`；4 条合法边界 → 202）：`_fe_boundary_http.py`（**重建件**，原件于本轮被误删）—— 证据 `_fe_boundary_http_result.json` | 本轮真机实测 |
|
||||
| 13 | ✅ **演示前全量核验全绿 + `D2.6` 答辩报告同步（`W19` 收尾）**：`demo.ps1` 五项自检全过、`portal_api_check` 35 通过 / 0 失败、`e2e_smoke_test` 31/31、`http_probe` 11/11、边界 12/12；`D2.6` 新增 **§6.4 演示前核验** + §9 两条教训 + §10 两条已知边界（`D-2` 重复问句漂移 / `D-4` 英文落 `E5b`）+ §12 数字更新 | 本轮实测 |
|
||||
| 12 | ✅ **画像题真机复验通过**（补 `v6.33` 的登记缺口）：`fin_customer_profile` 直查 **6 行**，「我够哪一档？」/「我的风险测评结果是什么」均 `transfer=false`、`tools=['query_customer_profile']`，答出 C1 + **客户分层 普通** ⇒ `H-03` / `D-04` 由「查不到档案」变为**有数据可依** | 本轮真机实测 |
|
||||
| 11 | ⚠️ **自我失误留痕**：本轮清理临时文件时判据过宽，误删 `_consistency.py`（已原样恢复）、`_legacy_customer_service.py`（已按 `f72a545` 逐字节重建，40,554 字节）、`_fe_boundary_http.py`（**原件不可恢复**，已按既有判据重建并实跑 12/12）与若干历史轮次原始日志；结论均在文档表格内，原始输出不可追。教训：按「本轮新建清单」逐个删，禁用通配判据 | `D1.6` §4.47 五 |
|
||||
**看板状态更新**：`D-1` / `D-3` **✅ 已落地**；**建议 B ✅ 已完成**（原挂「演示后做」）。
|
||||
|
||||
@@ -6,6 +6,7 @@
|
||||
> **口径**：本文所有数字均为**真机实测**（`_eval_harness` 46 条金标 + `http_probe` 全链路 + `e2e_smoke_test` 宽链路冒烟 + 12 条真机边界用例），**修复前基线如实并列**，不修饰。
|
||||
> **配套**：架构依据 `D3.6`（五出口 + 安全不变量）；判分规则 `D3.7`（46 条金标 / 10 项指标 / 4 项零容忍）；演示脚本与账号 `D2.5`；执行看板 `D2.1`；密钥轮换 `D3.8`；会话留痕 `D1.6` §4.36 与 §4.37—§4.39。
|
||||
> **状态更新（2026-09-20 · `W12`/`W13`）**：本文的**结论与金标数字全部不变**（金标仍是同一套用例、同一台机器）。但有三处外部事实需要并读：① **投顾模块已随合并恢复**（组员新功能取代「整体清除」，见 `D4.5` 顶部状态更新与 `D4.7`）—— 对本客服 Agent 的能力与门禁**无影响**；② 权威文档目录（`客服agent\` 24 份 / `开发文档\` 52 份）**已入库**，全量回归在其后复跑（**1909 passed / 3 skipped**，见 §6.3）；③ 增加了**模型密钥轮换工具** `tools/rotate_api_keys.py`（操作手册 `D3.8`），§10 第 4 项由「手工 4 步」升级为「跑一个脚本」。
|
||||
> **状态更新（2026-09-20 · `W19` · 演示前最后一次全量核验）**：本文**结论未变**，新增一次**演示前实测**（见 §6.4）与两项**已知边界**（见 §10 第 8/9 条）。另：原「建议 B（`embedding` 端点唯一性配置守卫）留到演示后做」**已于本轮闭环**（`app\service\model_gateway.py` + 2 条单测）；`D-1`（**分层体系与门槛属公开宣传口径**，`D2.4` v1.7）与 `D-3`（**`M-2b` 分母统一为 18**，`D3.7` §3）**已落进文档**。
|
||||
|
||||
---
|
||||
|
||||
@@ -183,13 +184,31 @@
|
||||
|
||||
| 门禁 | 结果 |
|
||||
|---|---|
|
||||
| 全量单测 + 契约测 + 集成测（`W12` 权威文档入库后复跑） | **1909 passed / 3 skipped / 0 failed**（`W11` 时为 1856 / 2 skipped —— 差额为本轮新增用例） |
|
||||
| 全量单测 + 契约测 + 集成测（`W12` 权威文档入库后复跑） | **1909 passed / 3 skipped / 0 failed**（`W11` 时为 1856 / 2 skipped —— 差额为本轮新增用例）；🆕 **`W19` 演示前复跑：1917 passed / 3 skipped / 0 failed**（+2 = 新增 `embedding` 端点唯一性守卫单测） |
|
||||
| 宽链路 HTTP 冒烟（`e2e_smoke_test --read-only`） | **31/31 通过** |
|
||||
| HTTP 全链路探针（`http_probe.py`，含访客线 + 客户线 + 反诈/账户/代办/画像/费率/多轮） | **11/11 succeeded** |
|
||||
| 静态检查 / 类型检查 | `ruff` **20**（远端分支本身为 22；本地客服线基线 19，**未引入新债**）、`mypy` **2**（= 既有基线） |
|
||||
| 跨文档一致性 | `_consistency.py` **GATE PASS** |
|
||||
| 门户接口清单 | `tools/portal_api_check.py` 40 项：**通过 35 / 失败 0 / 跳过 5**（空集按 `SKIP` 而非 `FAIL`） |
|
||||
| 真机入参边界（12 条） | **12/12 符合预期**（超限一律 `422` + 字段级错误，不再落库 500） |
|
||||
| 真机入参边界（12 条） | **12/12 符合预期**（超限一律 `422` + 字段级错误，不再落库 500）；🆕 **`W19` 复跑 12/12**（脚本为重建件，见 §6.4 与 §9 第 6 条） |
|
||||
|
||||
### 6.4 演示前最后一次全量核验（2026-09-20 · `W19`）
|
||||
|
||||
| 门禁 | 结果 | 说明 |
|
||||
|---|---|---|
|
||||
| 一键启动五项自检（`demo.ps1 -SkipStart -NoBrowser`） | **五项全过、退出码 0** | 端口 / Milvus 三集合计数（150 / 191 / 288）/ Worker 在跑 / 行情 15 分钟窗口 / 本地向量库开关为空 |
|
||||
| 全量单测（`pytest -q -p no:cacheprovider`，**跑前停常驻 Worker**） | **1917 passed / 3 skipped / 0 failed** | 与 `W12` 基线 1909 相比 **+8**（新增用例），**0 失败** |
|
||||
| 门户接口清单（`tools/portal_api_check.py`） | 40 项：**通过 35 / 失败 0 / 跳过 5** | 与基线一致；空集按 `SKIP` 不计失败 |
|
||||
| 宽链路冒烟（`tools/e2e_smoke_test.py --read-only`） | **31/31 通过** | 与基线一致 |
|
||||
| HTTP 全链路探针（`_eval_harness/http_probe.py`） | **11/11 succeeded** | 访客 FAQ / C—R 规则 / `P0` 反诈（**建单**）/ `P1` 账户（**不建单**、引导登录）/ `P2` 代办（建单）/ `E2e` 画像 / `E2a` 费率试算 / 显式转人工 / 合规禁答 / 多轮两条 |
|
||||
| 真机入参边界（`_fe_boundary_http.py`） | **12/12 符合预期** | 8 条越界 → `422 AGENT_INPUT_INVALID`；4 条合法边界 → `202` |
|
||||
| 跨文档一致性（`_consistency.py`） | **失效锚点 0、交叉引用全 ✅** | 需求 ↔ 计划 ↔ Todolist ↔ 知识库 |
|
||||
| 权威文档编号（`tools/check_authoritative_docs.py`） | **54 文档无编号冲突**（exit 0） | — |
|
||||
| 服务健康 | `/internal/health/ready` **mysql / redis / milvus 全绿** | 复跑后已重启 API + Worker |
|
||||
|
||||
> **两条当面演示可用的实证（本轮新增）**
|
||||
> ① **画像题有数据可依**：`fin_customer_profile` 直查 **6 行**；「我够哪一档？」与「我的风险测评结果是什么」均 `transfer=false`、`tools=['query_customer_profile']`，答出「风险测评等级 保守型（C1）… **客户分层 普通**」—— 字段级只读作答生效，且**不含**任何越权字段。
|
||||
> ② **跨主体会话隔离**：同一 `session_id` 换一个主体再发 → **`404 SESSION_NOT_ACCESSIBLE`**（会话与主体绑定，不可复用）。这条是**安全属性**，本轮在边界脚本里被误撞出来后已固化为用例。
|
||||
|
||||
---
|
||||
|
||||
@@ -224,6 +243,8 @@
|
||||
| 3 | 记下「前端端点表 ↔ OpenAPI 对照 **100 项全 MISS**」 | 是**对照脚本自己的 bug**（取的是 `app.routes`，前缀归一化失败）。改用 `app.openapi()["paths"]` 后 **100/100 命中** | 工具报的"全红/全绿"要先自证工具本身；**全量 MISS 通常意味着脚本坏了，不是代码坏了** |
|
||||
| 4 | `G-03` 再导出第一版写成普通 `from x import y` | `ruff` 多 8 项（`E402` + 7 `F401`）、`mypy` 多 1 项 —— 严格 mypy（`implicit_reexport = False`）与 ruff `F401` 都只认 **`X as X`**，且 ruff isort 要求**每个别名各占一行** | "再导出"在严格 mypy + ruff 下**只有一种合规写法**；已写进 `knowledge_contracts.py` 注释防重犯 |
|
||||
| 5 | 前端 `maxlength="8000"` 被我当成"已经限住了" | 它只是**体验层截断**；服务端请求模型**无上限**，绕过前端可提交任意长度并落库 | 前端校验不是防线（`INV-5`）；真正的边界必须在服务端，且**上限必须 ≤ 落库列宽** |
|
||||
| 6 | `W19` 收尾时我写了个「顶层 `_*.py` / `_*.txt` 一律删」的清理命令 | **误删 3 类不该删的文件**：`_consistency.py`（已原样恢复）、`_legacy_customer_service.py`（已按 `f72a545` **逐字节重建**，40,554 字节）、`_fe_boundary_http.py`（**原件不可恢复**，已按既有判据重建同名脚本并复跑 12/12），并丢失若干历史轮次原始日志 | **清理必须按「本轮新建清单」逐个删，绝不能用通配判据**；标为「可重建」的证据，也要先确认它**真的**能从 git 重建 |
|
||||
| 7 | 我重建的边界脚本里，`session_id 恰好 64 字` 用了**固定字符串** | 第二次跑必然 **404 `SESSION_NOT_ACCESSIBLE`** —— 访客令牌每次是**新主体**，而会话号与主体绑定 | 用例里的**标识必须每次唯一**；同时这条「误撞」反而证实了**跨主体会话隔离**生效（已固化为正式用例） |
|
||||
|
||||
---
|
||||
|
||||
@@ -233,11 +254,13 @@
|
||||
|---|---|---|---|
|
||||
| 1 | `G-02` 身份轴（方案甲） | **按裁定挂起**，等 MVP 演示通过后再做 | 访客角色仍走 RBAC 的 `visitor` 角色（`actor.py` 单点构造），当前行为正确，只是"身份轴"这一层抽象未引入 |
|
||||
| 2 | `E-07` | 按裁定挂起 | — |
|
||||
| 3 | `M-2` / `M-2b` 剩余近分（28/31、15/18） | 按裁定**不做家族加权** | 剩余未命中是"同族多块打平"类，属检索区分度问题，不影响出口与事实正确率（均 100%） |
|
||||
| 3 | `M-2` / `M-2b` 剩余近分（28/31、15/18） | 按裁定**不做家族加权** | 剩余未命中是"同族多块打平"类，属检索区分度问题，不影响出口与事实正确率（均 100%）。**口径已更正（`W19`）**：`M-2b` 的分母是 **18**，而「难例」的定义式总数是 **32**（改写 8 + 口语 16 + 多轮 4 + 禁忌 4）—— 二者不矛盾，详见 `D3.7` §3 |
|
||||
| 4 | 两把 API key 轮换 | 需登服务商控制台操作（**控制台建新 key 这一步无法自动化**），且已在会话中出现过明文 | 🆕 **已就绪：跑一个脚本** —— `tools/rotate_api_keys.py`（先 `--check` 体检，再交互式输入；自动备份 + 三个 Qwen 变量同值 + 两个 DeepSeek 变量同值）。完整 5 步见 **`D3.8`** 操作手册；任何文档不落 key 值 |
|
||||
| 5 | `A-10` 组 3 / 组 4 的**签字** | ~~需你本人签字~~ → ✅ **2026-09-20 已补签受理**（`甲-3` 本人会签 + 逐项留痕；组 1—组 4 全部 ☑ 受理，见 `D2.1` v6.23 第 8 条与 `docs\49-底座会签申请单-2026-09-19.md`） | 本项**已闭环**，不再是未做项 |
|
||||
| 6 | 长期记忆召回 / 画像写入 | `DEC-19` 合规裁定：短期会话记忆＝开、**长期记忆召回＝关**、画像＝客户侧字段级只读 | 这是**合规要求不是缺陷**；被问到时按 `DEC-19` 口径回答 |
|
||||
| 7 | `dependency_health_check.py` 把 neo4j 当硬前置 | 属底座工具，改动需另立会签 | 演示前五项自检用替代判据（`D2.5` §1），**不用它**判"环境没准备好" |
|
||||
| 8 | **同会话重复同一模糊问句会漂移**（轮1 澄清 → 轮2 改答候选第 2 项 → 轮3 落 chitchat，**100% 可复现**） | 裁定**只登记不修**：根因未定（旁证是澄清提示词作为 assistant 轮进了下一轮上下文） | **演示避开**：同一话题**换个问法**，或**刷新开新会话**；赛后做「澄清轮不写入上下文」的定点修复 |
|
||||
| 9 | **纯英文问句落 `E5b`**（部分作答 + 引导，**不建单**） | 判定**不改**：`E5b` 是安全出口，不会误导访客 | 属**已知边界**；被问到时如实说「英文问法走部分作答 + 引导，未命中关键实体」 |
|
||||
|
||||
---
|
||||
|
||||
@@ -265,5 +288,5 @@
|
||||
| 方案 | 出口 **2 → 5**（`E1` 澄清 / `E2` 计算 / `E3` 直返 / `E4` 证据约束生成 / `E5` 分级回退） |
|
||||
| 安全 | 5 条不变量（`INV-1`—`INV-5`）+ 转人工白名单 4 类 + 档位物理隔离；**安全只增不减** |
|
||||
| 效果 | 转人工率 **43.5% → 10.9%**；出口准确率 **45.7% → 100%**；事实正确率 **69.6% → 100%**；4 项零容忍**全 0** |
|
||||
| 验证 | 46 条金标 11 项全达标 + **1909** 单测 0 failed + 31/31 宽链路冒烟 + 11/11 HTTP 探针 + 12/12 真机边界 + 门户接口 35 通过 / 0 失败 |
|
||||
| 验证 | 46 条金标 11 项全达标 + **1917** 单测 0 failed（`W19` 演示前复跑）+ 31/31 宽链路冒烟 + 11/11 HTTP 探针 + 12/12 真机边界 + 门户接口 35 通过 / 0 失败 + 一键启动五项自检全过 |
|
||||
| 纪律 | 白名单（`A-09`）+ 会签单（`A-10`，4 组）+ 零 DDL + 跨文档一致性 GATE PASS |
|
||||
|
||||
@@ -3087,6 +3087,7 @@ pytest **2 failed / 1577 passed / 2 skipped**（= `T0` 基线同两项）、ruff
|
||||
| 全量回归 | 见会话末尾汇报（跑前停常驻 Worker、跑后重启 API + Worker） |
|
||||
| 版本位 | `D2.2` **v2.6 → v2.7**、`D2.4` **v1.6 → v1.7**、`D3.1` **v2.5 → v2.6**、`D3.2` **v1.2 → v1.6**；`D1.1` 头部 **v1.8 → v1.9** + 四处版本位同步；`D2.1` 新增 **v6.34** 段 |
|
||||
| 顺带修正 | `D1.1` §4.0 / §4.1 里 `D2.4` 的版本位**长期停在 `v1.3`**（实际早已 `v1.6`）⇒ 更正为 `v1.7`；§4.2 的 `D2.2` 日期列 `2026-09-17` ⇒ `2026-09-20` |
|
||||
| 演示前全量核验（本轮） | ① `demo.ps1 -SkipStart -NoBrowser` **五项自检全过（退出码 0）**；② `pytest -q` **1917 passed / 3 skipped / 0 failed**；③ `tools/portal_api_check.py` 40 项 **通过 35 / 失败 0 / 跳过 5**；④ `tools/e2e_smoke_test.py --read-only` **31/31**；⑤ `_eval_harness/http_probe.py` **11/11 succeeded**（`P0` 建单 / `P1` 不建单 / `P2` 建单三条行为未变）；⑥ `_fe_boundary_http.py` **12/12**；⑦ `_consistency.py` 失效锚点 0；⑧ `check_authoritative_docs.py` 54 文档无编号冲突；⑨ `/internal/health/ready` 三依赖全绿 |
|
||||
| 画像题真机复验（补上 `v6.33` 登记的缺口） | `v6.33` 曾登记「`fin_customer_profile` **0 行** ⇒ `H-03` / `D-04` 未真正评到」。本轮直查该表已有 **6 行**，遂真机复验两条：**「我够哪一档？」** 与 **「我的风险测评结果是什么」** 均 `succeeded`、`transfer=false`、`tools=['query_customer_profile']`，答出「风险测评等级 保守型（C1）/ 投资期限偏好 短期（1 年以内）/ 交易频率 较低 / 偏好资产类别 货币基金 / **客户分层 普通**」—— 即①**字段级只读作答**生效、②**未泄露越权内容**、③`H-03` 的「未编造档位」由**有数据可依**取代 |
|
||||
| 真机边界复验 | `_fe_boundary_http.py`（**重建件**，见下行）**12/12 符合预期**：越界 8 条（`message` 空串 / 纯空白 / 8001 字、`session_id` 空串 / 65 字、`idempotency_key` 15 字 / 65 字、多余字段）→ **422 + `AGENT_INPUT_INVALID`**；合法边界 4 条（`message` 8000 字 / 1 字、`session_id` 64 字、`idempotency_key` 64 字）→ **202**。证据 `_fe_boundary_http_result.json` |
|
||||
| ⚠️ **自我失误留痕（必读）** | 本轮清临时文件时，我的删除判据写得过宽（「顶层 `_*.py` / `_*.txt` 一律删」），**误删了不该删的文件**：① `_consistency.py` —— 从 `客服agent\_build\_consistency.py`（同一份、已入库）**原样恢复**；② `_legacy_customer_service.py` —— 按「从 `git HEAD` 导出」的原始口径，从 `f72a545:app/service/agent/implementations/customer_service.py`（748 行、**无** `E5b`，即旧实现）**逐字节重建**（40,554 字节），并核对 `probe_legacy.py` 的加载契约（`CustomerServiceAgent` + 5 个终端方法）通过；③ `_fe_boundary_http.py` —— **原件不可逐字恢复**（不在 git、非回收站可还原），已按文档记载的判据**重建同名脚本并实跑 12/12**，文件头显式标注「重建件、非原件」；④ 另丢失若干**历史轮次的原始日志**（`_regress_pytest*.txt` / `_verify_all.txt` / `_pre_commit_pytest.txt` / `_commit_msg.txt` / `_merge_msg.txt`）—— 其**结论都在文档表格里**，但**原始输出已不可追**。**教训**：清理必须按「本轮新建的文件清单」逐个删，不能用通配判据 |
|
||||
|
||||
Reference in New Issue
Block a user