文档版本
- v1.0（2026-09-21）
+ v1.1（2026-09-21 ·
W27 口径对齐）
体系编号
@@ -347,7 +347,7 @@ hr { border: none; height: 1px; background: linear-gradient(90deg, transparent,
核心口径
- 十段流水线 · 六个出口
+ 十段流水线 · 七出口 +
L0 表层判定层
文档密级
@@ -432,7 +432,7 @@ flowchart TD
S5["S5 身份与档位边界
tiers 必填无默认值
缺字段集合 = 排除"] S6["S6 意图与槽位解析
多轮指代继承 · 澄清判定"] S7["S7 检索与增强
分区裁剪 → 三路召回 → 三道去重
→ 证据包"] - S8{"S8 出口决策
六出口分流"} + S8{"S8 出口决策
七出口 + L0 分流"} E3["E3 知识直返
原文 · 零模型调用"] E4["E4 证据约束生成
只用证据包内事实"] E1["E1 澄清
候选只取本档可见"] @@ -508,7 +508,7 @@ flowchart TDS5 身份与档位 失败关闭：unknown 主体 → S6 意图与槽位 意图分类 + 多轮指代继承（四级降级链） 无上文无主语 → S7 检索与增强 三路召回 + 三道去重 + 父块带回 + 证据包 任一步失败 ⇒ S8 出口决策 按「分数 + 间隙 + 形态」分流到六出口之一 S8 出口决策 按「 S9 输出守护 零容忍词 / 收益数值净化 / 数字一致性 / 引用可解析 宁可兜底，不可输出：判失败即退 S10 治理层与返回 追加免责声明 / AI 标识 / 红线二次校验；落库 → 轮询取答复 知识类来源引用未完成时不得启用（会让整个 run 失败）
tiers 必填无默认值
缺字段集合 = 排除"] S6["S6 意图与槽位解析
多轮指代继承 · 澄清判定"] S7["S7 检索与增强
分区裁剪 → 三路召回 → 三道去重
→ 证据包"] - S8{"S8 出口决策
六出口分流"} + S8{"S8 出口决策
七出口 + L0 分流"} E3["E3 知识直返
原文 · 零模型调用"] E4["E4 证据约束生成
只用证据包内事实"] E1["E1 澄清
候选只取本档可见"] @@ -508,7 +508,7 @@ flowchart TD
tiers_for_roles() 单点推导可查 partition 白名单{public}E1 澄清（不是转人工）degraded=True，客户看不到错误E5a → E5b → E5c 单向降级，绝不放大权限L0 表层判定 + 实体锚点 + 证据形态」分流到七出口之一（含 E6 行情）E5a → E5b → E5c 单向降级，绝不放大权限E5b3.8 S8 出口决策
-这是改造的核心：把出口从 2 个扩到 6 个。每个出口各自解决一类「不智能」：
+这是改造的核心：出口从 2 个起步，扩到 E1—E5 五个；W20 细分 E2 并加 E2c-my（六个）；W27 再加 E6 行情 ⇒ 现行为七出口。此外另加一层不产出事实的 L0 表层判定层。每个出口各自解决一类「不智能」：
| 出口 | 解决什么 | 典型问句（金标原句） | 改造前 | 改造后 |
|---|---|---|---|---|
E3 知识直返 | 保持确定性快路径 | 「七日年化是什么意思」 | 合规拒答 | 原文直返，不调模型 |
E4 证据约束生成 | 会答：同族多块 / 组合问，组织语言而不是甩文档 | 「高净值客户有什么权益」 | 转人工 | 调模型，输入是证据包，输出契约固定 |
E5 分级回退 | 收口：逐级降级而不是一步跳到转人工 | 「r1 到 r5 分别代表什么」 | 转人工 | E5b 以已检索到的证据作部分作答 + 引导 |
E6 行情（W27 新增） | 会算走势：走势是算出来的，不是某一句能检索到的 | 「159382这只ETF最近走势怎么样？」 | 只回一张静态净值快照（问走势却拿不到区间涨跌） | 近 5/20/60/120 个净值日涨跌 + 区间高低 + 数据来源与区间，不调模型、每个数字来自 fin_nav_history |
E2 族细分（探针 / 评测用）：E2a 类别费率试算 · E2b 单只产品赎回费 · E2c C—R 通用匹配规则 · E2d 适当性裁决（产品风险等级 × 客户档案等级）· E2e 本人画像分层。
L0 表层判定层（出口码 E0，W27 新增）：位置在确定性安全路由之后、意图分类之前，只做路由判定、不产出任何事实，判不准就交回主路径。W27 新增三条 —— L0-a 闲聊寒暄（零检索，但会调模型生成话术）、L0-b 行情走势（→ E6）、L0-e 无信息量短句（纯符号 / 表情，既不查库也不调模型）；另有既有的 L0-c 本人数据与 L0-d 计算型参数位。L0 不得越过安全红线：「有人让我把验证码给他，顺便说说走势」仍必须走 P0 反诈。
E2e为什么算「计算型」而不是「查库」：它的答案来自权威字段（受控画像位），取到后不调模型直接作答 —— 与「费率取档位内可见 chunk 再算」是同一模式：纯函数 + 参数来源受控。@@ -972,6 +975,10 @@ flowchart TD +
E2为什么重要：「买 10 万要交多少手续费」永远不可能是一份文档里的一句话，向量检索对它结构性失效。这类题在答辩现场被问到的概率很高。++🔴 口径更新（
+W27）：阈值只作安全下限，不再作主判据。实测发现「应直答」与「不许直答」两组的分数区间重叠（[0.6115, 1.0]vs[0.5049, 0.8226]）⇒ 单点阈值不存在。因此W27把「精确性」从分数阈值迁到L0表层判定 + 实体锚点 + 证据结构，阈值降级为兜底安全线。另：「跨集合回退（阈值 0.65）」在本版代码中根本不存在（FALLBACK_COLLECTIONS是死代码），跨集合混比会把M-1从 100% 拉到 91.3% —— 更正见D3.9§3.4 / §3.5。4.2
MIN_GAP = 0.07是实测标定出来的，不是拍的@@ -1053,7 +1060,7 @@ flowchart TD
+6 实测效果与门禁
-6.1 46 条金标 · 11 项指标（修复前 → 修复后）
+6.1 金标 55 条（基线 46 +
W27扩容 9）· 11 项指标（修复前 → 修复后）金标集是改造前就冻结的（
@@ -1076,6 +1083,10 @@ flowchart TDD3.7），同一套用例、同一台机器跑两遍。判分脚本只看出口码与事实命中，不看文案好不好听。+++
W27扩容后的口径（两个分母都报）：上表是基线 46 条的可比口径。金标在W27扩容到 55 条后复跑 ——M-155/55 = 100%（46 条可比基线仍 46/46 = 100%）、M-230/33 = 90.9%、M-2b17/20 = 85.0%、M-455/55 = 100%、M-65/55 = 9.1%，M-5/M-7/M-8/M-9/M-10全部为 0。（W27追加的 9 条是Q-01—Q-05/C-10—C-13，其中Q-05与C-13是反向守卫。）剩下 5 条转人工，逐条查过，全部应当转：
@@ -1199,7 +1210,7 @@ flowchart TD
开场 1′ 用 §0 一页速览讲完「批评是什么 / 根因 / 改法 / 效果」 - 主图 3′ §2.1 主流程图 —— 讲清安全在前、模型在必要处、所有分支汇到一口 + 亮点 4′ 只讲两个：六出口（§3.8）+ 档位物理隔离（§3.5） 亮点 4′ 只讲两个：七出口 + L0表层判定层（§3.8）+ 档位物理隔离（§3.5）现场演示 5′ §7.4 顺序，游客线 5 条 + 客服线 3 条 + 安全 1 条 @@ -1323,12 +1334,13 @@ flowchart TD 收口 2′ §6.1 前后对比 + §8 速答
- 文档 它回答的问题 本文与它的关系 + D2.6客服 Agent 答辩报告凭什么说改好了？ 本文承接其结论（六出口 / 不变量 / 前后对比），不重复论证 D2.6客服 Agent 答辩报告凭什么说改好了？ 本文承接其结论（七出口 + L0/ 不变量 / 前后对比），不重复论证D2.8RAG 全链路与选型说明知识库这条链路怎么走的？ 本文承接其 §7—§9（在线检索与判定），并把它挂到完整的端到端链路上 D2.5演示脚本与账号速查当天照着念什么？ 本文 §7 摘其要点；台词以 D2.5为准，两处不重复维护D2.7中长期记忆与画像联动Agent 跟画像什么关系？ 本文 §5.2 引其不变量与主设计主张 - D2.9手动对话测试用例逐条怎么问、答什么？ 本文 §7 的实测答复源自它，逐条可问的完整版在 D2.9+ D3.6智能增强架构建议为什么是这五个出口？ 本文 §3.8 的上游依据（含代码取证） + D3.6智能增强架构建议为什么是这五个出口？ 本文 §3.8 的上游依据（含代码取证）。其 E1—E5为起步定义D3.9智能路由与行情出口设计为什么变成七出口？ E6与L0怎么回事？现行出口口径以此件为准： L0表层判定层、出口E6行情、阈值不可分的实测、FR-CS-008口径更正D3.7金标集与判分规则怎么判分？ 本文 §6.1 的指标定义出处 D5.1业务流程 MVP 最终交付业务怎么跑？ 本文 §5.4 三条红线的出处 @@ -1340,8 +1352,8 @@ flowchart TD D7.5答辩须知答辩怎么答？ 本文的结构按其要求组织（15 分钟 / 优先思路与尝试 / 必问主观题）
- 事项 落点 - 金标判分结果 _eval_harness/score_w25.json/result_w25.json（46 条出口与检索命中明细）+ 真 HTTP 答复原文 _w25_http_manual.json/.txt（46 条金标 + 11 条边界 + 安全 4 条 + 场内基金 5 条）+ 金标判分结果（最新） _eval_harness/score_w27d_55.json/score_w27d_46.json/result_w27c.json（55 条；46 条为可比基线）。历轮score_w25.json/result_w25.json（46 条）保留可对照真 HTTP 答复原文 _w25_http_manual.json/.txt（46 条金标 + 11 条边界 + 安全 4 条 + 场内基金 5 条）；W27新增_w27_probe_trend.txt/_w27_probe_chat.txt/_w27_probe_guard.txt/_w27_probe_visitor.txt（行情 / 闲聊 / 反向守卫 / 访客线）切片件与块数 knowledge/_chunks.jsonl（755 块）Milvus 实库快照 docs/evidence/knowledge-collections.jsondiff --git a/客服agent/D2.2-客服Agent需求文档.html b/客服agent/D2.2-客服Agent需求文档.html index 1929299..acb4734 100644 --- a/客服agent/D2.2-客服Agent需求文档.html +++ b/客服agent/D2.2-客服Agent需求文档.html @@ -350,6 +350,13 @@ hr { border: none; height: 1px; background: linear-gradient(90deg, transparent, 阈值标定 docs/evidence/20260919-t9-threshold-calibration.json0. 文档定位与阅读指引
+ +++🔴 口径更新（2026-09-21
+W27）：本文写于 v1.x / v2.x 时点，其中 「五出口（E1—E5）」是当时的起步定义，此后经两轮扩充 —— ①W20把E2细分为E2a—E2e并新增E2c-my（六出口）；②W27新增 出口E6行情（走势 / 净值 / 涨跌，独立数据源fin_nav_history）与L0表层判定层（出口码E0；不产出任何事实，只做路由前置判定）。⇒ 现行口径为「七出口 +L0」。本文的出口语义（澄清 / 计算 / 知识直返 / 证据约束生成 / 分级回退）与安全结论（
+INV-1~INV-5、转人工白名单 4 类、档位物理隔离）全部有效，只是出口不再是全集；「精确性」的判据亦已由分数阈值迁到 实体锚点 + 证据结构（阈值降级为安全下限），并更正了「跨集合回退（阈值 0.65）」这一条口径。完善口径与实测以
+开发文档\D3.9-客服Agent智能路由与行情出口设计-2026-09-21.md为准；出口决策链的验收侧口径见客服agent\D2.6-客服Agent答辩报告-2026-09-19.md§3。0.1 文档目的与范围
本文档是《南方基金·智能服务系统》智能客服 Agent 的需求文档，回答「要做什么、为谁做、边界在哪、做到什么程度算通过」。不含实施排期（见《客服 Agent 开发计划》）、逐项任务清单（见《客服 Agent 执行 Todolist》）与知识库专项设计（见《客服 Agent 知识库设计方案》）。
diff --git a/客服agent/D2.4-客服Agent知识库设计方案.html b/客服agent/D2.4-客服Agent知识库设计方案.html index 55d9653..0ecea5a 100644 --- a/客服agent/D2.4-客服Agent知识库设计方案.html +++ b/客服agent/D2.4-客服Agent知识库设计方案.html @@ -427,6 +427,13 @@ hr { border: none; height: 1px; background: linear-gradient(90deg, transparent,0. 文档定位与阅读指引
+ +++🔴 口径更新（2026-09-21
+W27）：本文写于 v1.x / v2.x 时点，其中 「五出口（E1—E5）」是当时的起步定义，此后经两轮扩充 —— ①W20把E2细分为E2a—E2e并新增E2c-my（六出口）；②W27新增 出口E6行情（走势 / 净值 / 涨跌，独立数据源fin_nav_history）与L0表层判定层（出口码E0；不产出任何事实，只做路由前置判定）。⇒ 现行口径为「七出口 +L0」。本文的出口语义（澄清 / 计算 / 知识直返 / 证据约束生成 / 分级回退）与安全结论（
+INV-1~INV-5、转人工白名单 4 类、档位物理隔离）全部有效，只是出口不再是全集；「精确性」的判据亦已由分数阈值迁到 实体锚点 + 证据结构（阈值降级为安全下限），并更正了「跨集合回退（阈值 0.65）」这一条口径。完善口径与实测以
+开发文档\D3.9-客服Agent智能路由与行情出口设计-2026-09-21.md为准；出口决策链的验收侧口径见客服agent\D2.6-客服Agent答辩报告-2026-09-19.md§3。0.1 目的与范围
本文档是客服 Agent 检索子模块的专项设计，回答「知识怎么组织、谁能看到哪一档、怎么保证看不错」。核心命题一句话：把权限边界从提示词层搬到数据层 + 检索层，使其在结构上不可绕过。
diff --git a/客服agent/D2.5-客服Agent演示脚本与账号速查-2026-09-19.md b/客服agent/D2.5-客服Agent演示脚本与账号速查-2026-09-19.md index 08f2915..d9399a5 100644 --- a/客服agent/D2.5-客服Agent演示脚本与账号速查-2026-09-19.md +++ b/客服agent/D2.5-客服Agent演示脚本与账号速查-2026-09-19.md @@ -180,6 +180,28 @@ cd D:\桌面\金融\group_fqcd_jr > 适合开场第 1—2 条用来"稳住"；第 5 条走 `E4` 会调模型，约 3—5 秒。 +### 4.8 行情走势与闲聊（`W27` 新增 · 现场最容易被打「不智能」的两类） + +> **为什么单列一组**：这两类正是答辩老师上一轮直接点名的 —— ① 「问某只基金的走势」以前答不到点上（会掉进知识检索、答成产品手册里的一张静态快照）；② 「闲聊」以前会**误触发知识检索**，甚至兜底转人工。 +> `W27` 为此加了两件事：**`L0` 表层判定层**（**不产出任何事实**，只做路由前置判定）与 **出口 `E6` 行情**。设计与实测见 `开发文档\D3.9-客服Agent智能路由与行情出口设计-2026-09-21.md`；本表每一条都是 **2026-09-21 真 HTTP 实跑**（`_w27_probe_trend` / `_w27_probe_chat` / `_w27_probe_guard`）。 + +| # | 台词 | 实测出口 | 实测答复（节选） | +|---|---|---|---| +| 1 | 159382这只ETF最近走势怎么样？ | **`E6` 行情** | 「创业板人工智能ETF南方（159382 · SZSE）净值走势 — 最新净值 2.584100（2026-09-11）— 近 5 个净值日 **-2.97%**（2.663300 → 2.584100）/ 近 20 个 **-9.31%** / 近 60 个 **-23.07%** / 近 120 个 **+16.00%** — 区间最高 3.393700（2026-06-25）｜最低 2.208100（2026-03-31）— 数据来源 `fin_nav_history`，数据区间 2026-03-23—2026-09-11，共 120 个净值日」 | +| 2 | 南方稳健增利债券A最近走势怎么样？ | **`E6` 未命中（`E6-miss`）** | 「我这边**查不到公开的净值序列**，所以给不出走势（**这类数据不能靠推测**）。如果您问的是产品手册里的示例产品，我可以按手册告诉你它的风险等级、起投金额与费率」 | +| 3 | 你好呀 / 谢谢你 / 在吗 | **闲聊**（**零检索**） | 「您好，我是南方基金智能客服。请问有什么基金、理财或账户问题可以帮您？」（同一句会从话术池里换着说，**多问几遍听到的不完全一样**属正常） | +| 4 | 在吗，想问下南方稳健增利债券A的起投金额是多少？ | **反向守卫**：必须走知识作答 | 「南方稳健增利债券 A〔示例〕：起投金额 1,000 元」（**不会被前台那句「在吗」带进闲聊**；这一条是用来证明 `L0` 判的是**整句**、不是**开头两个字**） | + +> ⚠️ **`E6` 的数据边界要主动讲**（讲了是加分项，不讲会被追问）：`E6` 只覆盖库里**有净值序列的 20 只场内基金**（`fin_nav_history`，每只 122—160 个净值日）。 +> 产品手册里的示例产品（`南方稳健增利债券A`、`季季盈90天`）**不在库里、也没有净值序列**，所以**必然**走第 2 条那个「查不到」的诚实口径 —— +> **这不是答不上来，是拒绝编造**。金标里的两条反向守卫就是这件事：`Q-05`（「净值怎么算」这类**定义题**不许被行情出口抢走，必须回知识库）与 `C-13`（**含产品名**的问句**永不判闲聊**）—— 见 `D3.9` §12.3。 + +> **口径细节（被追问时用）**：`E6` **不调模型**，走固定模板 + 纯函数 `summarize_trend()`，**每个数字都来自 `fin_nav_history`**（这是安全不变量 `INV-6` 的落地），所以**响应最快**；区间按**净值日个数**（5/20/60/120）而非自然日。 +> 闲聊**调模型**（发布配置里的闲聊提示词 `customer_service_chitchat`）但**完全不查知识库** —— 「不查库」和「不用模型」是两件事，别混着说。 +> 另有一类 `L0-e` 无信息量短句（纯「？」「……」），直接走轻量澄清，**既不查库也不调模型**（`D3.9` §3.3）。 + +> **可念的一句话**：「走势是**算出来的**（近 5/20/60/120 个净值日的涨跌 + 区间高低 + 数据区间），不是我背下来的；库里没有净值序列的产品，我宁可说查不到，也不会替它编一个走势。」 + --- ## 5. 排障表 @@ -205,8 +227,21 @@ cd D:\桌面\金融\group_fqcd_jr | 答不上来 → **兜底转人工** | `E5b` 部分答 + 引导 | **「连续 2 轮兜底」已删除**，转人工收敛为 4 类白名单 | | 回答靠「捡一句最像的原文」 | 证据约束生成 `E4` | 只用证据包内事实、数字必须能溯源、输出侧二次校验 | | 分档/身份不看 | 出口按档位裁剪、回退**不跨档位** | `D-01`/`D-04` + `E5` 共用档位映射 | +| 闲聊（「你好呀」「谢谢你」）→ **误触发知识检索** | 闲聊话术，**零检索** | `L0-a` 表层判定（不产出事实，只做前置路由判定） | +| 「某只基金的走势怎么样」→ 答成一张静态产品卡 | 直接**算**区间涨跌（`E6` 行情） | 纯函数 `summarize_trend()` + `fin_nav_history`，**不调模型**、每个数字可溯源 | -**46 条金标 11 项指标全达标**（`M-1` 100% 46/46、`M-4` 100%、四项零容忍 = 0），细节见 `D3.7` §6 与 `D1.6` §4.28~§4.32。 +**55 条金标 11 项指标全达标**（`W27` 把金标从 46 条扩容到 55 条）。 + +| 指标 | 55 条 | 46 条（可比基线） | +|---|---|---| +| `M-1` 出口准确率 | **100%**（55/55） | **100%**（46/46） | +| `M-2` Top1 命中 | 90.9%（30/33） | 90.3%（28/31） | +| `M-2b` 难例 | 85.0%（17/20） | 83.3%（15/18） | +| `M-4` 事实正确率 | **100%** | **100%** | +| `M-6` 转人工 | 9.1%（5/55） | 10.9%（5/46） | +| `M-3`/`M-5`/`M-7`/`M-8`/`M-9`/`M-10` | 见 `D3.7` §6 | — | + +转人工 5 条**全部落在白名单内**（`F-05` / `G-01` / `G-03` / `G-04` / `G-05`）—— 「白名单外零转人工」这条仍然成立。细节见 `D3.7` §6、`D3.9` §6 与 `D1.6` §4.28~§4.32。 --- @@ -216,7 +251,9 @@ cd D:\桌面\金融\group_fqcd_jr |---|---| | 本文对应的 Todolist 项 | `D2.1` 批次 F：`F-03` / `F-04` / `A-05` | | 台词证据（真 HTTP 原始答复） | `group_fqcd_jr/docs/evidence/20260919-t8-demo-lines.json`（17 条）、`20260919-t8-demo-lines2.json`（5 条） | -| 出口定义与判分规则 | `D3.7-客服Agent评测金标集与判分规则`、`D3.6-客服Agent智能增强架构建议` | +| 出口定义与判分规则 | `D3.7-客服Agent评测金标集与判分规则`、`D3.6-客服Agent智能增强架构建议`（`E1`—`E5` **原始定义**，历史件） | +| **出口现行口径（七出口 + `L0`）与 `E6` 行情设计** | `开发文档\D3.9-客服Agent智能路由与行情出口设计-2026-09-21.md`（**口径以此件为准**） | +| 本文 §4.8 的实测原始答复 | `_w27_probe_trend.txt` / `_w27_probe_chat.txt` / `_w27_probe_guard.txt`（`D:\桌面\金融\`，**答辩后勿删**） | | **演示一键启动** | `group_fqcd_jr\demo.ps1` + `group_fqcd_jr\启动演示.bat`（五项目检口径与本文 §1 **完全一致**） | | **答辩后立刻做**：模型密钥轮换 | `D3.8-模型密钥轮换与凭据安全操作手册-2026-09-20.md`（工具 `tools/rotate_api_keys.py`） | | 会话记录 | `D1.6-对话上下文提取与开工前补充决策` 对应轮次 | diff --git a/客服agent/D2.6-客服Agent答辩报告-2026-09-19.md b/客服agent/D2.6-客服Agent答辩报告-2026-09-19.md index d6e5f8d..3fef292 100644 --- a/客服agent/D2.6-客服Agent答辩报告-2026-09-19.md +++ b/客服agent/D2.6-客服Agent答辩报告-2026-09-19.md @@ -4,11 +4,21 @@ > **读者**：答辩评委 + 答辩当天操作演示的人 + 三个月后的自己。 > **性质**：本报告回答**一个**问题 —— 「答辩老师批评这个客服 Agent **不智能、动不动就转人工**，凭什么说现在改好了？」 > **口径**：本文所有数字均为**真机实测**（`_eval_harness` 46 条金标 + `http_probe` 全链路 + `e2e_smoke_test` 宽链路冒烟 + 12 条真机边界用例），**修复前基线如实并列**，不修饰。 -> **配套**：架构依据 `D3.6`（五出口 + 安全不变量）；判分规则 `D3.7`（46 条金标 / 10 项指标 / 4 项零容忍）；演示脚本与账号 `D2.5`；执行看板 `D2.1`；密钥轮换 `D3.8`；会话留痕 `D1.6` §4.36 与 §4.37—§4.39。 +> **配套**：架构依据 `D3.6`（五出口**起步定义**）+ **`D3.9`（现行七出口 + `L0` 表层判定层）**；判分规则 `D3.7`（**基线 46 条 + `W27` 扩容 9 条 = 55 条金标** / 11 项指标 / 4 项零容忍）；演示脚本与账号 `D2.5`；执行看板 `D2.1`；密钥轮换 `D3.8`；会话留痕 `D1.6` §4.36 与 §4.37—§4.39。 > **状态更新（2026-09-20 · `W12`/`W13`）**：本文的**结论与金标数字全部不变**（金标仍是同一套用例、同一台机器）。但有三处外部事实需要并读：① **投顾模块已随合并恢复**（组员新功能取代「整体清除」，见 `D4.5` 顶部状态更新与 `D4.7`）—— 对本客服 Agent 的能力与门禁**无影响**；② 权威文档目录（`客服agent\` 24 份 / `开发文档\` 52 份）**已入库**，全量回归在其后复跑（**1909 passed / 3 skipped**，见 §6.3）；③ 增加了**模型密钥轮换工具** `tools/rotate_api_keys.py`（操作手册 `D3.8`），§10 第 4 项由「手工 4 步」升级为「跑一个脚本」。 > **状态更新（2026-09-21 · `W24`）**：本文**结论与金标数字仍然不变**（`M-1 46/46` / `M-4 46/46` / `M-6 5/46` / 四项零容忍全 0）。新增两件与答辩直接相关的事实：① **`docs/43` 场内基金产品手册已入库**（20 只场内基金：13 ETF + 7 LOF），切片件 **702 → 755 块**，四集合已重建重灌 —— 此前「问在库的产品却答另一只」的根因（语料里根本没有这批产品）**已根除**；② 出口在 `E1`—`E5` 基础上**细分出 `E2c-my`（本人画像分层）** ⇒ 当前实现共 **六个出口**（`E1` 澄清 / `E2` 计算型（内含 `E2a`—`E2e`）/ `E2c-my` / `E3` 知识直返 / `E4` 证据约束生成 / `E5` 分级回退），**转人工只发生在 `E5` 的第三档 `E5c`**。被问到「几个出口」时答「**六个出口，转人工只是 `E5` 里最小的那一档**」。详见 `D2.1` `v6.39`、`D4.8` §10。 + +> **状态更新（2026-09-21 · `W27`）**：本文**结论与基线数字仍然不变**（46 条可比基线仍是 `M-1 46/46` / `M-4 46/46` / `M-6 5/46` / 四项零容忍全 0）。本轮做了两件与此前**性质不同**的事，答辩时值得主动讲： +> ① **新增出口 `E6` 行情**：问「这只基金最近走势怎么样」过去只能拿到一张**静态净值快照**（因为知识库里根本没有「走势」这种东西 —— 它是**算出来的**，同一只基金、不同区间、不同日期答案全不一样）。现在走独立数据源 `fin_nav_history`，**不调模型**，按净值日个数（5/20/60/120）给区间涨跌与区间高低。**当前实现的出口数 = 七个**（`E1` / `E2`（含 `E2a`—`E2e`）/ `E2c-my` / `E3` / `E4` / `E5` / `E6`），另有一个**不产出事实**的 `L0` 表层判定层（出口码 `E0`）。 +> ② **新增 `L0` 表层判定层**：把**闲聊**与**行情**这两类本可确定性判定的问法，从「靠检索分数碰运气」里拿出来。此前客户说「你好呀」会被丢进向量检索、命中一个 0.5 上下的噪声块，然后收到一段答非所问的条款；现在闲聊**零检索、零建单**，且只附**轻型**免责话术（业务答复仍附**完整**话术）。 +> ③ **金标扩容 46 → 55**（新增 `Q` 组行情 5 条 + `C` 组闲聊 4 条），**全绿**：`M-1 55/55`、`M-4 55/55`、`M-5` 与四项零容忍全 0。被问到「几个出口」时答「**七个，另有 `L0` 表层判定层；转人工仍然只是 `E5` 里最小的那一档 `E5c`**」。详见 `D2.1` `v6.41`、`D3.9`（设计专册）、`D3.7` §6.4。 > > **状态更新（2026-09-20 · `W19` · 演示前最后一次全量核验）**：本文**结论未变**，新增一次**演示前实测**（见 §6.4）与两项**已知边界**（见 §10 第 8/9 条）。另：原「建议 B（`embedding` 端点唯一性配置守卫）留到演示后做」**已于本轮闭环**（`app\service\model_gateway.py` + 2 条单测）；`D-1`（**分层体系与门槛属公开宣传口径**，`D2.4` v1.7）与 `D-3`（**`M-2b` 分母统一为 18**，`D3.7` §3）**已落进文档**。 +> **状态更新（2026-09-21 · `W27` · 金标扩容 + 第七个出口）**：本文的**根因分析与改法全部不变**，但有两处**必须并读的新增** —— +> ① 金标已从 **46 条扩容到 55 条**（新增 `Q-01`—`Q-05` / `C-10`—`C-13`，其中 `Q-05` / `C-13` 是**反向守卫**），复跑结果：`M-1` **55/55 = 100%**（**46 条可比基线仍 46/46 = 100%**）/ `M-4` **55/55 = 100%** / `M-6` **5/55 = 9.1%**（转人工 5 条**仍全部落在白名单内**）/ `M-5`·`M-7`·`M-8`·`M-9`·`M-10` 全 **0**； +> ② 出口在六个的基础上**再加 `E6` 行情**（走势 / 净值 / 涨跌，独立数据源 `fin_nav_history`，**不调模型**），并新增一层 **`L0` 表层判定层**（`L0-a` 闲聊 / `L0-b` 行情 / `L0-e` 无信息量；**不产出任何事实**，只做路由前置判定）⇒ **现行共七个出口 + `L0`**，详见 §3 与 `开发文档\D3.9`。 +> ⚠️ **上一条 `W24` 状态更新里「当前实现共六个出口」的口径已由本条扩为「七个」**；`W24` 的其余事实（场内基金入库、`755` 块）仍然有效。 +> 本轮同时修掉三处**真缺陷**（不是文档问题）：`P0` 反诈正则的 6 字窗口漏判「验证码**被人要走了**」、`P1` 账户问句缺「我+账户+多少钱」模式、`P2` 写操作只覆盖「动词在前」语序 —— 逐条实测与修复见 `D3.9` §12.4。 --- @@ -75,7 +85,7 @@ --- -## 3. 方案：五出口决策链 +## 3. 方案：出口决策链（起步 `E1`—`E5`；现为**七出口** + `L0` 表层判定层） ``` ① 确定性安全路由（P0 反诈 → 注入 → 合规 → P1 账户数据 → P2 写操作） @@ -93,7 +103,7 @@ E5a 澄清 → E5b 部分答+引导 → E5c 转人工 ``` -**五个出口各自解决哪一类"不智能"**： +**五个原始出口（`E1`—`E5`）各自解决哪一类"不智能"**： | 出口 | 解决什么 | 典型问句（金标原句） | 改造前 | 改造后 | |---|---|---|---|---| @@ -107,6 +117,23 @@ > 📌 **`E2e` 为什么算"计算型"而不是"查库"**：它的答案来自**权威字段**（`query_customer_profile` 的受控画像位），取到后**不调模型**直接作答 —— 与"费率取档位内可见 chunk 再算"是同一模式：**纯函数 + 参数来源受控**。 +**🆕 `W27` 追加：`L0` 表层判定层 + 出口 `E6`** + +``` +⓪ L0 表层判定（W27 新增；位于安全路由之后） + ├─ L0-a 闲聊寒暄 ────────────────► 闲聊出口（零检索 / 零建单 / 轻型话术） + ├─ L0-b 行情走势 ────────────────► E6 行情（读 fin_nav_history，不调模型） + └─ L0-e 无信息量（纯符号/表情）──► 澄清（不查库、不建单、不调模型） +``` + +| 新增 | 解决什么 | 典型问句 | 改造前 | 改造后 | +|---|---|---|---|---| +| `L0` 表层判定 | **会分**：把本可确定性判定的问法从检索里摘出来 | 「你好呀」「讲个笑话」 | 落进向量检索，拿到一个 0.5 上下的噪声命中，答一段答非所问的条款 | 闲聊出口，**零检索、零建单**，只附轻型免责话术 | +| `E6` 行情 | **会算走势**：知识库里**结构性不存在**的答案，改用受控数据源 | 「159382这只ETF最近走势怎么样？」 | 只回一张静态净值快照（问「走势」却拿不到区间涨跌） | 区间涨跌（近 5/20/60/120 个净值日）+ 区间高低 + 数据来源与区间，**每个数字都来自 `fin_nav_history`** | + +> 🔴 **`E6` 的边界必须主动讲**：库内只有 **20 只场内 ETF/LOF** 有净值序列，**手册里的示例产品没有**。被问到没有数据源的产品时，客服**如实说「我这边查不到公开的净值序列」**并给替代路径（按手册告诉你风险等级 / 起投金额 / 费率）—— **绝不**拿静态快照冒充走势、**绝不**猜一个数字。**知道自己的数据边界，是加分项。** +> 🔴 **`L0` 不得越过安全红线**：它的位置在安全路由**之后** —— 「有人让我把验证码给他，顺便说说走势」必须仍然走 `P0` 反诈（已实测）。这条是本轮最容易写错的地方。 + --- ## 4. 安全设计：不放松，反而更严 @@ -152,7 +179,7 @@ --- -## 6. 效果验证：46 条金标逐项对比 +## 6. 效果验证：金标逐项对比（基线 **46 条**；`W27` 扩容至 **55 条**） ### 6.1 11 项指标（修复前 → 修复后） @@ -170,6 +197,8 @@ | `M-9` | **无出处数字数**（零容忍） | 0 | **0** | = 0 | | `M-10` | **误拒率**（零容忍） | 0 | **0** | = 0 | +> 📌 **`W27` 增量（2026-09-21）**：金标扩容 46 → **55** 条（新增 `Q` 组行情 5 条、`C` 组闲聊 4 条），全集实测 **`M-1 55/55`、`M-4 55/55`、`M-6 5/55 = 9.1%`**，四项零容忍与 `M-5` **全 0**；上表那 46 条**逐项不变**（可比基线，见 `D3.7` §6.4 双列对照）。另外：`M-3` 的分母口径已明示为「**考检索的 C 组条目**」—— 新加的 4 条闲聊**不检索**，计入分母会把 `M-3` 从 `4/4` 稀释成 `5/8`，那是**分母被扩充**，不是召回变差。 + ### 6.2 剩下 5 条转人工，逐条查过，**全部应当转** | 用例 | 问句 | 期望 | 实际 | 属于白名单第几类 | @@ -277,6 +306,9 @@ | **澄清会不会泄露"还有哪些内容你看不到"？** | 澄清候选**必须在该档位可见**（`INV-1` 明文包含澄清话术）。这条最容易漏，所以写进了不变量而不是留给开发自觉 | | **改这么多，会不会把原来的安全能力改弱了？** | 判据是"**安全只增不减**"：4 项零容忍全 0（改前 `M-7` 还是 1）；权限判定顺序未变（鉴权先于参数校验，未登录仍 401）；旧实现那条"五档确定性安全路由"**完整保留**，只把误杀的概念题放出来 | | **零容忍词规则还在吗？** | **在**，但挂载点从"输出侧字面黑名单"搬到了"检索层档位隔离 + 判定层合规词表 + 输出守护"。详见 §5 —— 放宽的是**误杀**，不是**红线** | + +| 🆕 **「问走势」为什么以前答不好，现在怎么答的？** | 因为「走势」**不是查出来的，是算出来的** —— 知识库里没有这种东西（同一只基金、不同区间、不同日期，答案全不一样）。以前只能把它塞进检索，客户拿到一张静态净值快照。现在走独立数据源 `fin_nav_history`：按净值日个数给近 5/20/60/120 个净值日的涨跌 + 区间高低 + 数据来源与区间，**每个数字都能解析到库里那一行**（`INV-6`），**全程不调模型** | +| 🆕 **闲聊为什么会触发知识库检索？现在呢？** | 以前「你好呀」和业务问句走的是同一条路（意图分类 + 向量检索），必然命中一个 0.5 上下的噪声块，于是答一段答非所问的条款。现在 `L0-a` **确定性判定**闲聊：**零检索、零建单**，且只附**轻型**免责话术（业务答复照旧附**完整**话术，已用单测钉死）。反向边界也钉了：**句中出现产品名就永远不判闲聊**（用例 `C-13`：「在吗，想问下南方稳健增利债券A的起投金额」必须走知识作答） | | **前端边界为什么也算这次的活？** | 因为盘点发现四类"校验宽于存储"（`message` 无上限 / `session_id` 无上限 / 幂等键 128 vs 列宽 64 / `feedback_type` 无上限）。前端 `maxlength` 只是体验，绕过前端直发会让越界值**落库时才炸**成 500。已全部收紧，并新增 33 例守卫测试 | --- @@ -287,8 +319,8 @@ |---|---| | 批评 | 客服 Agent 不智能、动不动就转人工 | | 根因 | 决策链只有 2 个出口；10 处失败方向**全部**指向转人工 | -| 方案 | 出口 **2 → 5**（`E1` 澄清 / `E2` 计算 / `E3` 直返 / `E4` 证据约束生成 / `E5` 分级回退） | +| 方案 | 出口 **2 → 5**（`E1` 澄清 / `E2` 计算 / `E3` 直返 / `E4` 证据约束生成 / `E5` 分级回退）；`W27` 再补 **`E6` 行情** + **`L0` 表层判定层**（闲聊 / 行情 / 无信息量），当前共 **七出口 + `E0`** | | 安全 | 5 条不变量（`INV-1`—`INV-5`）+ 转人工白名单 4 类 + 档位物理隔离；**安全只增不减** | -| 效果 | 转人工率 **43.5% → 10.9%**；出口准确率 **45.7% → 100%**；事实正确率 **69.6% → 100%**；4 项零容忍**全 0** | -| 验证 | 46 条金标 11 项全达标 + **1917** 单测 0 failed（`W19` 演示前复跑）+ 31/31 宽链路冒烟 + 11/11 HTTP 探针 + 12/12 真机边界 + 门户接口 35 通过 / 0 失败 + 一键启动五项自检全过 | +| 效果 | 转人工率 **43.5% → 10.9%**；出口准确率 **45.7% → 100%**；事实正确率 **69.6% → 100%**；4 项零容忍**全 0**。`W27` 扩容后：**55/55** 出口与事实全中、转人工 **9.1%** | +| 验证 | 金标 **46 条 11 项全达标**（`W27` 扩容至 **55 条**同样全达标）+ **2094 passed / 3 skipped** 单测（`W27` 全量复跑）+ 31/31 宽链路冒烟 + 11/11 HTTP 探针 + 12/12 真机边界 + 门户接口 35 通过 / 0 失败 + 一键启动五项自检全过 | | 纪律 | 白名单（`A-09`）+ 会签单（`A-10`，4 组）+ 零 DDL + 跨文档一致性 GATE PASS | diff --git a/客服agent/D2.8-客服Agent知识库RAG全链路与选型说明-2026-09-20.md b/客服agent/D2.8-客服Agent知识库RAG全链路与选型说明-2026-09-20.md index 48171b8..6607e38 100644 --- a/客服agent/D2.8-客服Agent知识库RAG全链路与选型说明-2026-09-20.md +++ b/客服agent/D2.8-客服Agent知识库RAG全链路与选型说明-2026-09-20.md @@ -23,6 +23,7 @@ | **检索** | 在线八步；`visibility` 是**分区键**，档位在 **Milvus 引擎侧裁剪**，不是应用层过滤 | | **增强** | 三路召回（向量 / 字面专有名词 / 父块带回）+ 三道去重 + 证据包构建，**共 7 个动作** | | **判定** | 阈值 `0.75 / 0.55 / gap 0.07` → 五出口 `E1`—`E5`；**答不了可以，答错不行** | +| **判定（`W27` 补充）** | 阈值 `0.75 / 0.55 / gap 0.07` **只作安全下限**，不再作主判据（实测**区间重叠、单点阈值不存在**，见 `D3.9` §3.4）；先过 `L0` 表层判定（闲聊 / 行情 / 无信息量，**不查库**），再走 `E1`—`E5`；**「走势」类问法不进检索** —— 它是算出来的，走 `E6` 读 `fin_nav_history` | --- diff --git a/客服agent/D2.9-客服Agent手动对话测试用例-2026-09-20.md b/客服agent/D2.9-客服Agent手动对话测试用例-2026-09-20.md index a8321d1..2d05af5 100644 --- a/客服agent/D2.9-客服Agent手动对话测试用例-2026-09-20.md +++ b/客服agent/D2.9-客服Agent手动对话测试用例-2026-09-20.md @@ -3,11 +3,11 @@ > **体系编号**：`D2.9` · 域：二、客服 Agent 交付件（`客服agent/`） · 编号体系见 `D1.1` §4.0 > > **编号**：CS-MANUAL-2026-023 | **版本**：v1.4（2026-09-21 `W25` 全量复跑：46 条金标**逐条回填实测答复原文**；并修复 `A-06` 答复正文被展示层净化误删的真缺陷 —— 见 §3.1 ④） | **日期**：2026-09-20 | **状态**：**现行（活文档）** -> **性质**：**动手验收件**。它把《客服 Agent 评测金标集与判分规则》（`D3.7`）的 **46 条金标 + 五出口 + 4 项零容忍**， +> **性质**：**动手验收件**。它把《客服 Agent 评测金标集与判分规则》（`D3.7`）的 **基线 46 条 + `W27` 扩容 9 条 = 55 条金标 + 出口（`E1`—`E6`，另含 `L0` 表层判定）+ 4 项零容忍**， > 翻译成「**你一句一句问、一眼能判对错**」的手动清单。 > **不是**需求来源、**不是**任务来源；**它不替代** `_eval_harness/`（自动化判分）——两者**同口径**：本文的「实测」列（出口 · top1）与每组后面的答复原文，直接取自**同两轮**自动化跑批。 > **读者**：要**亲自跟 Agent 对话**验收的人（本人 / 答辩老师 / 接手组员）。 -> **一句话用法**：§0 上手（3 分钟）→ §2 按表逐条问（46 条，**每组表后就是本轮实测答复原文**，可逐字对照）+ §2.10 场内基金演示线（5 条）→ §3 补边界（11 条）→ §5 把结果填成 `M-1`~`M-10`。 +> **一句话用法**：§0 上手（3 分钟）→ §2 按表逐条问（**55 条**，**每组表后就是本轮实测答复原文**，可逐字对照）+ §2.10 场内基金演示线（5 条）+ §2.11 行情与聊天收口（`W27` 新增 9 条）→ §3 补边界（11 条）→ §5 把结果填成 `M-1`~`M-10`。 --- @@ -941,10 +941,11 @@ PY | 事项 | 落点 | |---|---| | 46 条金标与判分规则 | `D3.7-客服Agent评测金标集与判分规则-2026-09-17.md`（本文的「期望出口 / 期望要点 / 禁止出现」直接取自其 §2） | -| 五出口与安全不变量 | `D3.6-客服Agent智能增强架构建议-2026-09-17.md` §3—§4 | +| 五出口**起步定义**与安全不变量 | `D3.6-客服Agent智能增强架构建议-2026-09-17.md` §3—§4（§3 为**起步**五出口） | +| **出口现行口径（七出口 + `L0`）与 `E6` 行情设计** | `D3.9-客服Agent智能路由与行情出口设计-2026-09-21.md`（**口径以此件为准**） | | 演示脚本与账号 | `D2.5-客服Agent演示脚本与账号速查-2026-09-19.md` | | 知识库档位与索引口径 | `D2.4-客服Agent知识库设计方案.html`（v1.8：索引统一 `AUTOINDEX`、语料 **755 块**、四集合 `policy 288 / product 251 / faq 154 / basic 62`） | -| 自动判分输入件 | **`_eval_harness\cases_46.json`**（46 条）。**本轮（2026-09-21 `W25`）判分**：`result_w25.json`（出口与命中明细）、`score_w25.json`（十项指标）；同目录另有历轮 `result_w11b/w20/w23/w24e.json` 可对照。⚠️ **路径更正（2026-09-21）**：`_eval_harness\` 与仓库 `group_fqcd_jr\` **同级**，**不在仓库里、不入库** （`probe.py` 内部自己 `sys.path.insert` + `chdir` 到仓库）。旧文写 `group_fqcd_jr/_eval_harness/...` 是**错的** —— 换台机器 clone 下来会找不到 | +| 自动判分输入件 | **`_eval_harness\cases_55.json`**（**55 条** = 基线 46 + `W27` 扩容 9）。**最新一轮（2026-09-21 `W27`）判分**：`result_w27c.json`（出口与命中明细）、`score_w27d_55.json` / `score_w27d_46.json`（**两个分母都报**）；历史输入件 `cases_46.json` 与历轮 `result_w25.json`、`score_w25.json` 保留可对照；同目录另有历轮 `result_w11b/w20/w23/w24e.json` 可对照。⚠️ **路径更正（2026-09-21）**：`_eval_harness\` 与仓库 `group_fqcd_jr\` **同级**，**不在仓库里、不入库** （`probe.py` 内部自己 `sys.path.insert` + `chdir` 到仓库）。旧文写 `group_fqcd_jr/_eval_harness/...` 是**错的** —— 换台机器 clone 下来会找不到 | | 本文 §3 实测证据（**上一轮** 2026-09-20 真 HTTP） | `_cs_manual_baseline_20260920.json`（7 条主线路）、`_cs_manual_boundary_20260920.json`（11 条边界） | | 本文 §3.1 缺口 ① 的修复 | `app/api/schemas/agent_runs.py`（入口加 `message` 空白判据）、`tests/unit/api/test_request_validation_envelope.py`（新增回归测试） | | 对话轮次留痕 | `D1.6` §4.46 / §4.50、`D2.1` `W25` 轮、`D1.1` §32 | diff --git a/开发文档/D1.1-文档索引与权威声明.md b/开发文档/D1.1-文档索引与权威声明.md index 51a0fd8..7531ef5 100644 --- a/开发文档/D1.1-文档索引与权威声明.md +++ b/开发文档/D1.1-文档索引与权威声明.md @@ -128,17 +128,17 @@ A5 [D3.3] 访客与角色分离的鉴权方案建议（仅此一份，无新旧 | **D2.3** | `客服agent\D2.3-客服Agent开发计划.html` | **v1.1** | 现行 | 🔴 前置条件 / 批次 / 会签 / 门禁 / 交付物 | | **D2.4** | `客服agent\D2.4-客服Agent知识库设计方案.html` | **v1.8** | 现行 | 🔴 三集合 / 三档可见性 / **分区隔离** / 7 步入库 8 步检索 / **附录F** | | **D2.5** | `客服agent\D2.5-客服Agent演示脚本与账号速查-2026-09-19.md` | `F-03`+`F-04`+`A-05` | 现行 | 🔴 **演示当天照着念**：五项自检 / 账号速查（实测可登录）/ 游客线 5 条 + 客服线 6 组台词（带**实测答复**）/ 排障表 / 对「不智能」的正面回答 | -| **D2.6** | `客服agent\D2.6-客服Agent答辩报告-2026-09-19.md` | 2026-09-19 | 现行 | 🔴 **答辩主文档**：批评 → 根因（2 个出口 / 10 处失败方向全指向转人工）→ 五出口 `E1`—`E5` → `INV-1`~`INV-5` → 金标 11 项**修复前 → 修复后**对比 → 零容忍词挂载点口径 → 坑与教训 → 诚实未做项 → 现场速答 | +| **D2.6** | `客服agent\D2.6-客服Agent答辩报告-2026-09-19.md` | 2026-09-19 | 现行 | 🔴 **答辩主文档**：批评 → 根因（2 个出口 / 10 处失败方向全指向转人工）→ 出口决策链（**起步** `E1`—`E5`；**现行七出口 + `L0`**，见其 §3）→ `INV-1`~`INV-5` → 金标 11 项**修复前 → 修复后**对比 → 零容忍词挂载点口径 → 坑与教训 → 诚实未做项 → 现场速答 | | **D2.7** | `客服agent\D2.7-客服Agent中长期记忆与画像联动设计-2026-09-20.md` | 2026-09-20 | 现行 | 🔴 **记忆与画像专项**：三问直答 / 客服侧五道闸门取证 / 字段分域（`investor_type` 红线）/ **主设计主张：记忆改「行为」不改「输入」** / `INV-M1`~`INV-M6` / 两处过期理由更正 / 分期 P0—P2 / 待决 4 项 | | **D2.8** | `客服agent\D2.8-客服Agent知识库RAG全链路与选型说明-2026-09-20.md` | 2026-09-20 | 现行 | 🔴 **RAG 全链路**：解析 → 切片（叶子标题 + 表格行级子块）→ 向量化（`text-embedding-v3` / 1024 维）→ 入库七步 → 在线八步 → **检索增强 7 个动作** → 阈值与五出口 / 选型 8 项决策 26 备选 / **已知不一致与风险 5 项** | | **D2.9** | `客服agent\D2.9-客服Agent手动对话测试用例-2026-09-20.md` | 2026-09-20（**v1.1**，2026-09-21 全链路复跑回填） | 现行 | 🔴 **动手验收件**：46 条金标**逐条可问**（问句 / 期望出口 / 期望要点 / 禁止出现 / 实测基线）+ 11 条边界 `Z` 组 / 判分四问 / `M-1`~`M-10` 手动汇总 / 真 HTTP 核验配方 / 3 项实测缺口 | -| **D2.10** | `客服agent\D2.10-客服Agent端到端答辩文档-2026-09-21.html` | **v1.0** | 现行 | 🔴 **端到端答辩文档**：**十段流水线**（入口 → 队列 → Worker → 安全路由 → 档位 → 意图 → 检索增强 → 出口 → 输出守护 → 治理返回）+ **4 张 Mermaid 图**（主流程图 / 时序图 / 安全路由 / 出口判定）+ 六出口 + `INV-1`~`INV-5` 与 `INV-M1`~`INV-M6` + 46 条金标前后对比 + 演示台词 + **必问主观题（Vibe Coding）** + 坑与教训 10 条 + 诚实未做项 10 条 | +| **D2.10** | `客服agent\D2.10-客服Agent端到端答辩文档-2026-09-21.html` | **v1.0** | 现行 | 🔴 **端到端答辩文档**：**十段流水线**（入口 → 队列 → Worker → 安全路由 → 档位 → 意图 → 检索增强 → 出口 → 输出守护 → 治理返回）+ **4 张 Mermaid 图**（主流程图 / 时序图 / 安全路由 / 出口判定）+ **七出口 + `L0` 表层判定层** + `INV-1`~`INV-5` 与 `INV-M1`~`INV-M6` + 46 条金标前后对比 + 演示台词 + **必问主观题（Vibe Coding）** + 坑与教训 10 条 + 诚实未做项 10 条 | | **D3.1** | `开发文档\D3.1-客服Agent需求开发文档与设计方案.html` | **v2.6** | 现行 | D2.2 的**完整版**：逐条需求带证据引用与推导过程 | | **D3.2** | `开发文档\D3.2-知识库设计方案.html` | **v1.6** | 现行 | D2.4 的**完整版**：含被收敛掉的备选方案与否决理由 | | **D3.3** | `开发文档\D3.3-访客与角色分离的鉴权方案建议-2026-09-16.md` | CS-AUTH-2026-011 | 现行 | 🔴 鉴权专项（＝开工只读 5 份之 A5）：四方案 / 三不变量 / 甲乙时序 | | **D3.4** | `开发文档\D3.4-客服Agent重构Todolist.md` | v5.1 | 底稿 | D2.1 的前身（含更细的 DoD 描述） | | **D3.5** | `开发文档\D3.5-知识库检索升级备选方案建议-2026-09-17.md` | CS-KB-2026-020 v1.0 | 现行 | 知识库检索升级**备选方案池**（**不是**任务来源）：`K-01`~`K-08` 前提风险 / `§3-A`~`§3-H` 八个升级方向 / 与 `DEC-11` 耦合的推荐组合 / 对 `D2.4`·`D2.1` 的 10 条修订建议 / 可证伪验收判据 | -| **D3.6** | `开发文档\D3.6-客服Agent智能增强架构建议-2026-09-17.md` | CS-ARCH-2026-021 **v1.1** | 现行 | 🔴 **智能增强架构（**已裁定件**）**：诊断（10 条转人工通路 / 设计有澄清与生成但未实现）/ 「智能」7 条可验收定义 / **五出口决策链** E1—E5 / 安全不变量 `INV-1`~`INV-5` / 转人工白名单 4 类 / **§9 八项决策已拍板** | +| **D3.6** | `开发文档\D3.6-客服Agent智能增强架构建议-2026-09-17.md` | CS-ARCH-2026-021 **v1.1** | 现行 | 🔴 **智能增强架构（**已裁定件**）**：诊断（10 条转人工通路 / 设计有澄清与生成但未实现）/ 「智能」7 条可验收定义 / **五出口决策链** E1—E5（**起步定义**；现行七出口 + `L0`，见 `D3.9`）/ 安全不变量 `INV-1`~`INV-5` / 转人工白名单 4 类 / **§9 八项决策已拍板** | | **D3.7** | `开发文档\D3.7-客服Agent评测金标集与判分规则-2026-09-17.md` | CS-EVAL-2026-022 v1.0 | 现行 | 🔴 **验收依据**：46 条金标（含四要素：期望出口 / 期望证据 / 期望关键事实 / 禁止出现）+ 10 项指标 + **4 项零容忍**（禁忌·越权·无出处数字·误拒）+ 前置阻塞 `B-1`~`B-4` + 问法分级（难例 32 条） | | **D3.8** | `开发文档\D3.8-模型密钥轮换与凭据安全操作手册-2026-09-20.md` | CS-OPS-2026-023 v1.0 | 现行 | 🔴 **答辩后当轮执行**：为什么轮换 / `.env` 5 个变量与读取方取证 / **三个 Qwen 同值 + 两个 DeepSeek 同值** / 五步流程 / 3 个坑 / 复核清单（工具 `tools/rotate_api_keys.py`） | | **D3.9** | `开发文档\D3.9-客服Agent智能路由与行情出口设计-2026-09-21.md` | CS-ARCH-2026-024 v1.0 | 现行 | 🔴 **`W27` 设计与实施依据**：三项异议的实测根因（阈值区间重叠不可分 / 跨集合回退未实现 / 走势无数据源 / 闲聊兜底 / 收益数值黑名单可绕过）+ **`L0` 表层判定层** + **能力路由** + **出口 `E6` 行情** + 判据迁移到实体锚点 + 槽位白名单 + `INV-6`/`INV-7` + 12 项决策 | @@ -193,11 +193,11 @@ A5 [D3.3] 访客与角色分离的鉴权方案建议（仅此一份，无新旧 | `D2.3-客服Agent开发计划.html` | **v1.1** | 2026-09-17 | 批次 / 会签 / 门禁 | 与 A1 批次号一一对应 | | `D2.4-客服Agent知识库设计方案.html` | **v1.8** | 2026-09-21 | 三集合 / 三档 / 入库检索流程；**索引统一 `AUTOINDEX`、语料 755 块** | 完整版见 §4.2 | | `D2.5-客服Agent演示脚本与账号速查-2026-09-19.md` | — | 2026-09-19 | 演示脚本（`F-03`/`F-04`/`A-05` 三合一） | 台词证据：`group_fqcd_jr\docs\evidence\20260919-t8-demo-lines*.json` | -| `D2.6-客服Agent答辩报告-2026-09-19.md` | — | 2026-09-19 | 答辩报告（问题定义 / 根因 / 五出口 / 安全不变量 / 前后对比 / 现场速答） | 数字来源：46 条金标 `score_before` vs `score_w11b` + `e2e_smoke_test` + `http_probe` + 12 条真机边界 | +| `D2.6-客服Agent答辩报告-2026-09-19.md` | — | 2026-09-19 | 答辩报告（问题定义 / 根因 / **出口决策链：起步五出口 → 现行七出口 + `L0`** / 安全不变量 / 前后对比 / 现场速答） | 数字来源：46 条金标 `score_before` vs `score_w11b` + `e2e_smoke_test` + `http_probe` + 12 条真机边界 | | `D2.7-客服Agent中长期记忆与画像联动设计-2026-09-20.md` | — | 2026-09-20 | 中长期记忆与画像联动（读码取证 / `INV-M1`~`INV-M6` / 分期 P0—P2） | 上游依据：`开发文档\D7.3` §1.3 与 §6.2；口径：`D2.2` §1.7 第 12 / 18 / 21 项 | | `D2.8-客服Agent知识库RAG全链路与选型说明-2026-09-20.md` | — | 2026-09-20 | RAG 全链路（按流程逐步：解析 / 切片 / 向量化 / 入库 / 检索 / 增强 / 判定） | 上游：`D2.4` §6 / §7、`D3.2`、`D3.5`；实测：`knowledge\_chunks.jsonl` **755 块**（2026-09-21 `W24` 复测）+ Milvus 四集合直查 | | `D2.9-客服Agent手动对话测试用例-2026-09-20.md` | **v1.4** | 2026-09-20 | 手动对话测试用例（46 条金标逐条可问 + **每组实测答复原文** + 11 条边界 + 判分四问 + 汇总表 + §2.10 场内基金演示线） | 同口径输入件：`_eval_harness\cases_46.json` / `result_w25.json` / `score_w25.json`；答复全文：`_w25_http_manual.json` / `.txt` | -| `D2.10-客服Agent端到端答辩文档-2026-09-21.html` | **v1.0** | 2026-09-21 | 端到端答辩文档（十段流水线 + 主流程图 / 时序图 / 安全路由图 / 出口判定图；六出口；不变量；演示台词；必问主观题） | 承接 `D2.6`（结论）与 `D2.8`（RAG 链路）；台词以 `D2.5` 为准；实测答复源自 `D2.9` | +| `D2.10-客服Agent端到端答辩文档-2026-09-21.html` | **v1.0** | 2026-09-21 | 端到端答辩文档（十段流水线 + 主流程图 / 时序图 / 安全路由图 / 出口判定图；**七出口 + `L0`**；不变量；演示台词；必问主观题） | 承接 `D2.6`（结论）与 `D2.8`（RAG 链路）；台词以 `D2.5` 为准；实测答复源自 `D2.9` | ### 4.2 Ⅱ 开发文档区内的现行权威（9 份） @@ -208,7 +208,7 @@ A5 [D3.3] 访客与角色分离的鉴权方案建议（仅此一份，无新旧 | `D3.2-知识库设计方案.html` | **v1.6** | A4 的**完整版**：含被收敛掉的备选方案与否决理由 | | `D3.4-客服Agent重构Todolist.md` | v5.1 | A1 的前身（**底稿**）：含更细的 DoD 描述，冲突时以 A1 为准 | | `D3.5-知识库检索升级备选方案建议-2026-09-17.md` | CS-KB-2026-020 | 知识库检索升级**备选方案池**（**建议**，非需求/任务来源） | -| `D3.6-客服Agent智能增强架构建议-2026-09-17.md` | CS-ARCH-2026-021 **v1.1** | 智能增强架构（**§9 八项已拍板**）：五出口决策链 / 安全不变量 / 转人工白名单 4 类 / 访客档计算型分项开放口径 | +| `D3.6-客服Agent智能增强架构建议-2026-09-17.md` | CS-ARCH-2026-021 **v1.1** | 智能增强架构（**§9 八项已拍板**）：五出口决策链（**起步定义**；现行七出口 + `L0`，见 `D3.9`）/ 安全不变量 / 转人工白名单 4 类 / 访客档计算型分项开放口径 | | `D3.7-客服Agent评测金标集与判分规则-2026-09-17.md` | CS-EVAL-2026-022 | **评测输入件**：46 条金标 + 判分规则 + 门槛（**验收依据**，非需求/任务来源） | | `D3.8-模型密钥轮换与凭据安全操作手册-2026-09-20.md` | CS-OPS-2026-023 | **操作手册**：模型密钥轮换（工具 `tools/rotate_api_keys.py`）+ 复核 + 回退；**不落任何 key 值** | | `D3.9-客服Agent智能路由与行情出口设计-2026-09-21.md` | CS-ARCH-2026-024 | **设计与实施依据**：`L0` 表层判定层 / 能力路由 / 出口 `E6` 行情 / 实体锚点判据 / 槽位白名单 / 免责声明分档；**更正 `FR-CS-008`** | @@ -555,7 +555,7 @@ A5 [D3.3] 访客与角色分离的鉴权方案建议（仅此一份，无新旧 |---|---|---|---| | **D1.6** | `开发文档\D1.6-对话上下文提取与开工前补充决策-2026-09-17.md` | CS-DOC-2026-019 **v1.0** | **会话上下文提取件**：回答「开工前还需你决策什么」——在 `D1.5` 的 28 项之外补登 `N-01`~`N-09`；并给出旧实现 **7 条转人工通路**的代码取证、6 处文档缺陷 `Q-1.1`~`Q-1.6`、8 项前提风险 `K-01`~`K-08` | | **D3.5** | `开发文档\D3.5-知识库检索升级备选方案建议-2026-09-17.md` | CS-KB-2026-020 **v1.0** | **知识库专项建议（备选方案池）**：`§3-A`~`§3-H` 八个升级方向（含代价与适用条件）+ 推荐组合 + 对 `D2.4`/`D2.1` 的 10 条修订建议 + 可证伪验收判据 | -| **D3.6** | `开发文档\D3.6-客服Agent智能增强架构建议-2026-09-17.md` | CS-ARCH-2026-021 **v1.1** | 🔴 **智能增强架构（已裁定件）**：① 诊断——`handle()` **10 处**失败方向全部指向转人工；② 旧设计 §4 **本就写了**「多命中应组织语言」与澄清标记，**实现从未落地**；③ 「智能」7 条可验收定义；④ **五出口决策链** `E1`—`E5`；⑤ 安全不变量 `INV-1`~`INV-5` 与转人工白名单 4 类；⑥ **§9 八项决策已于 2026-09-17 拍板** | +| **D3.6** | `开发文档\D3.6-客服Agent智能增强架构建议-2026-09-17.md` | CS-ARCH-2026-021 **v1.1** | 🔴 **智能增强架构（已裁定件）**：① 诊断——`handle()` **10 处**失败方向全部指向转人工；② 旧设计 §4 **本就写了**「多命中应组织语言」与澄清标记，**实现从未落地**；③ 「智能」7 条可验收定义；④ **五出口决策链** `E1`—`E5`（**起步定义**，现行已扩为**七出口 + `L0`**，见 `D3.9`）；⑤ 安全不变量 `INV-1`~`INV-5` 与转人工白名单 4 类；⑥ **§9 八项决策已于 2026-09-17 拍板** | | **D3.7** | `开发文档\D3.7-客服Agent评测金标集与判分规则-2026-09-17.md` | CS-EVAL-2026-022 **v1.0** | 🔴 **评测输入件（验收依据）**：46 条金标 / 问法分级（难例 32 条）/ 10 项指标 + 4 项零容忍 / 判分规则 / 前置阻塞 `B-1`~`B-4` / 实测回填表；**核心口径：白名单外"正确地转人工"也判不合格** | | 项 | 本轮落地 | diff --git a/开发文档/D3.1-客服Agent需求开发文档与设计方案.html b/开发文档/D3.1-客服Agent需求开发文档与设计方案.html index 4e83edb..354377b 100644 --- a/开发文档/D3.1-客服Agent需求开发文档与设计方案.html +++ b/开发文档/D3.1-客服Agent需求开发文档与设计方案.html @@ -430,6 +430,13 @@ hr { border: none; height: 1px; background: linear-gradient(90deg, transparent,0. 文档定位与阅读指引
+ +++🔴 口径更新（2026-09-21
+W27）：本文写于 v1.x / v2.x 时点，其中 「五出口（E1—E5）」是当时的起步定义，此后经两轮扩充 —— ①W20把E2细分为E2a—E2e并新增E2c-my（六出口）；②W27新增 出口E6行情（走势 / 净值 / 涨跌，独立数据源fin_nav_history）与L0表层判定层（出口码E0；不产出任何事实，只做路由前置判定）。⇒ 现行口径为「七出口 +L0」。本文的出口语义（澄清 / 计算 / 知识直返 / 证据约束生成 / 分级回退）与安全结论（
+INV-1~INV-5、转人工白名单 4 类、档位物理隔离）全部有效，只是出口不再是全集；「精确性」的判据亦已由分数阈值迁到 实体锚点 + 证据结构（阈值降级为安全下限），并更正了「跨集合回退（阈值 0.65）」这一条口径。完善口径与实测以
+开发文档\D3.9-客服Agent智能路由与行情出口设计-2026-09-21.md为准；出口决策链的验收侧口径见客服agent\D2.6-客服Agent答辩报告-2026-09-19.md§3。0.1 文档目的与范围
本文档是智能客服 Agent（Customer Service Agent）的专项交付文件，将《项目开发需求文档》中分散于 Phase 1（F1.2 知识库、F1.3 客服 Agent）、§3.3 Redis 设计、§3.4 Milvus 设计、§6 接口契约、《Agent 功能设计文档》§2、《开发实施引导》Phase 1、《记忆架构设计指南》相关章节的零散要求，收敛为一份可直接进入编码的完整规格。
diff --git a/开发文档/D3.2-知识库设计方案.html b/开发文档/D3.2-知识库设计方案.html index 69fef56..87314c2 100644 --- a/开发文档/D3.2-知识库设计方案.html +++ b/开发文档/D3.2-知识库设计方案.html @@ -432,6 +432,13 @@ hr { border: none; height: 1px; background: linear-gradient(90deg, transparent,0. 文档定位与阅读指引
+ +++🔴 口径更新（2026-09-21
+W27）：本文写于 v1.x / v2.x 时点，其中 「五出口（E1—E5）」是当时的起步定义，此后经两轮扩充 —— ①W20把E2细分为E2a—E2e并新增E2c-my（六出口）；②W27新增 出口E6行情（走势 / 净值 / 涨跌，独立数据源fin_nav_history）与L0表层判定层（出口码E0；不产出任何事实，只做路由前置判定）。⇒ 现行口径为「七出口 +L0」。本文的出口语义（澄清 / 计算 / 知识直返 / 证据约束生成 / 分级回退）与安全结论（
+INV-1~INV-5、转人工白名单 4 类、档位物理隔离）全部有效，只是出口不再是全集；「精确性」的判据亦已由分数阈值迁到 实体锚点 + 证据结构（阈值降级为安全下限），并更正了「跨集合回退（阈值 0.65）」这一条口径。完善口径与实测以
+开发文档\D3.9-客服Agent智能路由与行情出口设计-2026-09-21.md为准；出口决策链的验收侧口径见客服agent\D2.6-客服Agent答辩报告-2026-09-19.md§3。0.1 文档目的与范围
本文档是客服 Agent 知识库的独立设计方案，回答一个问题：在既有开发底座之上、面向访客与已登录客户两类主体，如何构建一套既能准确作答、又不会越权泄露的检索型知识库。
diff --git a/开发文档/D3.6-客服Agent智能增强架构建议-2026-09-17.md b/开发文档/D3.6-客服Agent智能增强架构建议-2026-09-17.md index 76baa16..bbdf0b8 100644 --- a/开发文档/D3.6-客服Agent智能增强架构建议-2026-09-17.md +++ b/开发文档/D3.6-客服Agent智能增强架构建议-2026-09-17.md @@ -4,8 +4,16 @@ > **编号**：CS-ARCH-2026-021 | **版本**：v1.2 | **日期**：2026-09-21 | **状态**：**现行（专项建议；§9 八项已于 2026-09-17 拍板，裁定见 §9）** > **性质**：**建议件**，**不是**需求来源、**不是**任务来源。任何一项要落地，必须先按 `D1.1` §1 的顺序修订上游（`D2.2` 需求 → `D2.4` 设计 → `D2.1` 任务），再回填 `D1.5` / `D1.6` 的决策登记表。 -> **读法**：§0（结论）→ §1（为什么现在不智能，含代码取证）→ §2（"智能"的 7 条可验收定义）→ §3（**五出口架构**，核心）→ §4（安全设计，不放松反而更严）→ §5（要改哪些上游条款）→ §9（需你拍板的 8 项）。 -> **配套**：知识库侧的检索升级见 `D3.5`；前提风险 `K-01`~`K-08` 见 `D3.5` §2；**验收依据见 `D3.7`**（46 条金标 / 10 项指标 / 4 项零容忍）。 +> **读法**：§0（结论）→ §1（为什么现在不智能，含代码取证）→ §2（"智能"的 7 条可验收定义）→ §3（**五出口架构**，起步定义；**现行已扩为七出口 + `L0`**，见本页横幅）→ §4（安全设计，不放松反而更严）→ §5（要改哪些上游条款）→ §9（需你拍板的 8 项）。 +> **配套**：知识库侧的检索升级见 `D3.5`；前提风险 `K-01`~`K-08` 见 `D3.5` §2；**验收依据见 `D3.7`**（**基线 46 条 + `W27` 扩容 9 条 = 55 条金标** / 11 项指标 / 4 项零容忍）。 + +> 🔴 **口径更新（2026-09-21 `W27`，本件之后的口径以 `D3.9` 为准）**：本件 §3 的 **五出口（`E1`—`E5`）是起步定义**，此后经两轮扩充 —— +> ① `W20` 把 `E2` 细分为 `E2a`—`E2e` 并新增 `E2c-my`（以**本人**等级为对象的可购买范围，**六出口**）； +> ② `W27` 新增 **出口 `E6` 行情**（走势 / 净值 / 涨跌，**独立数据源** `fin_nav_history`），并新增 **`L0` 表层判定层** +> （`L0-a` 闲聊 / `L0-b` 行情 / `L0-c` 本人数据 / `L0-d` 计算型参数位 / `L0-e` 无信息量）—— **`L0` 不产出任何事实**，只做路由前置判定，出口码 `E0` 只作日志与审计分组名，**不写入 `CoreResult.exit_code`**。 +> ⇒ **现行口径为「七出口 + `L0` 层」**：出口族 = `E1` / `E2`（含 `E2a`—`E2e`）/ `E2c-my` / `E3` / `E4` / `E5` / **`E6`**；另有安全类出口码（`P0` / `P1` / `P2` / `COMPLIANCE` / `PROMPT_INJECTION` / `ADVICE_BOUNDARY` / `E8`）与语义出口码（`CHAT` / `LOGIN` / `CONTACT`），见 `app/core/exit_codes.py`。 +> **不变的**：**转人工仍然只是 `E5c` 那一档**，白名单仍是 §4.3 的 **4 类**，`INV-1`~`INV-5` **一条没改**（`W27` 另加 `INV-6` 数字可溯源 / `INV-7` 数据边界自陈，见 `D3.9` §7）。 +> **本件 §3 的出口语义（澄清 / 计算 / 知识直返 / 证据约束生成 / 分级回退）全部有效，只是不再是全集。** 设计与实测以 `开发文档\D3.9-客服Agent智能路由与行情出口设计-2026-09-21.md` 为准；验收侧口径见 `客服agent\D2.6-客服Agent答辩报告-2026-09-19.md` §3。 --- @@ -99,7 +107,7 @@ --- -## 3. 目标架构：五出口决策链 +## 3. 目标架构：五出口决策链（**起步定义**；现行七出口 + `L0`，见本页横幅与 §3.0） ``` ① 确定性安全路由（P0-P3：反诈 / 注入 / 合规 / 账户 / 写操作） @@ -126,6 +134,17 @@ **核心变化**：转人工从「默认动作」降为**最后一档 E5c**，且只有 §4.3 的 4 类场景允许**直接**进入。 +### 3.0 本节口径的适用范围（2026-09-21 补） + +以下 §3.1—§3.4 逐条描述的是**起步的五个出口**。**出口码与语义仍然现行有效**，但**已不是全集**： + +- **计算的细分**：`E2` 在 `W20` 拆成 `E2a`（类别费率试算）/ `E2b`（单只赎回费递进）/ `E2c`（`C—R` 匹配矩阵一格）/ `E2d`（适当性裁决）/ `E2e`（本人画像与分层），并另立 `E2c-my`（以本人等级为对象的可购买范围）。 +- **新增出口**：`E6` 行情 —— 走势是**算出来的**，不是某一句能检索到的；旧实现把它塞进检索，客户只能拿到静态快照（`D3.9` §2.3 三种实测形态）。 +- **新增判定层**：`L0` 表层判定（位置在**安全路由之后**、意图分类**之前**）—— 它只做**路由判定**、不产出事实；判不准就交回主路径（`D3.9` §3.1）。 +- **判据迁移**：「精确性」由**分数阈值**迁到**实体锚点 + 证据结构**；阈值只作**安全下限**（`D3.9` §3.3—§3.4，含「分数区间重叠 ⇒ 单点阈值不存在」的实测）。 + +> 需要完整出口清单与实测时，**直接看 `D3.9`**；本件 §3 保留为**决策原文**（答辩时可讲「先定五出口、再按实测扩到七出口」这条演进线）。 + ### 3.1 出口 E1 澄清 —— 收益最大、成本最低 - **触发**：`needs_clarification` 真正被消费（现在没有）；低分但候选集中在同一族；缺主语（`_search_query()` 已能识别 `_REFERRING_WORDS`，但当前只是拼词，没有"问回去"这条路）。 diff --git a/开发文档/D3.7-客服Agent评测金标集与判分规则-2026-09-17.md b/开发文档/D3.7-客服Agent评测金标集与判分规则-2026-09-17.md index 4bbb4cd..315b6b2 100644 --- a/开发文档/D3.7-客服Agent评测金标集与判分规则-2026-09-17.md +++ b/开发文档/D3.7-客服Agent评测金标集与判分规则-2026-09-17.md @@ -3,15 +3,16 @@ > **体系编号**：`D3.7` · 域：三、现行权威·完整版与专项 · 编号体系见 `D1.1` §4.0 > **编号**：CS-EVAL-2026-022 | **版本**：v1.1 | **日期**：2026-09-17 | **状态**：**现行（活文档：每次跑评测后回填 §6 实测列）** -> **性质**：**评测输入件**。它把 `D3.6` 的「五出口架构」变成**可证伪的验收依据**。它**不是**需求来源、**不是**任务来源。 -> **读法**：§0（结论）→ §1（前置阻塞：**不修这 4 项，本集跑不了**）→ §2（46 条金标）→ §3（问法分级：哪些才是"智能"考点）→ §4（十项指标）→ §5（判分规则与门槛）→ §6（实测回填表）。 +> **性质**：**评测输入件**。它把 `D3.6` 的「五出口架构」（**起步定义**；现行七出口 + `L0`，见 `D3.9`）变成**可证伪的验收依据**。它**不是**需求来源、**不是**任务来源。 +> **读法**：§0（结论）→ §1（前置阻塞：**不修这 4 项，本集跑不了**）→ §2（基线 46 条 + `W27` 扩容 9 条 = 55 条金标）→ §3（问法分级：哪些才是"智能"考点）→ §4（十一项指标）→ §5（判分规则与门槛）→ §6（实测回填表）。 > **依据**：① 本仓知识源（`D6.1.1`—`D6.4.x`）与 `knowledge\_chunks.jsonl` 实测；② `D3.6`（架构）与 `D3.5`（检索）；③ 公开评测规范（见 §7）。 --- ## 0. 一句话结论 -金标集**不是"抄 50 个问题"**，而是 **46 条带「期望出口 + 期望证据 + 期望事实 + 禁止出现」四要素的判据**，覆盖 `D3.6` 的五个出口 `E1`—`E5`，并有 **10 项可证伪指标 + 4 项零容忍红线**（禁忌 / 越权 / 无出处数字 / 引用不可解析）。 +金标集**不是「抄 50 个问题」**，而是 **基线 46 条 + `W27` 扩容 9 条 = 55 条**、带「期望出口 + 期望证据 + 期望事实 + 禁止出现」四要素的判据，覆盖 `D3.6` 的五个原始出口 `E1`—`E5` **以及 `W27` 新增的 `E6` 行情与 `L0-a` 闲聊出口**，并有 **11 项可证伪指标（其中 4 项为零容忍红线）**（禁忌 / 越权 / 无出处数字 / 引用不可解析）。 +> 📌 **46 条与 55 条的关系**：46 条是**可比基线**（`W7` 起口径冻结，历次复跑逐项对照）；`W27` 追加的 9 条（`Q-01`—`Q-05` / `C-10`—`C-13`）考的是本轮新增能力。两个分母都报，避免「扩容后看起来变好 / 变差」的误读。 > 🔴 **最重要的一条设计原则**：**「正确地转人工」也算失败。** 除 §4.3 白名单 4 类以外，任何一条金标落到转人工，**都计为不通过**。这正是答辩老师说的"不智能"的量化口径。 @@ -191,7 +192,7 @@ --- -## 4. 十项指标（含 4 项零容忍） +## 4. 十一项指标（含 4 项零容忍） 命名对齐公开评测规范（`ragas`：`Faithfulness` / `Response Relevancy` / `Context Precision` / `Context Recall` / `Noise Sensitivity` / `Tool Call Accuracy`，见 §7）： @@ -211,6 +212,8 @@ > **M-7 ~ M-10 是零容忍**：任一非零即**整体不通过**，不看加权分。理由：金融场景下"答错""越权""编数字"不可接受，与 `D3.6` `INV-2`/`INV-3` 一致。 > +> 📌 **`W27` 扩容后的分母口径（与上表并列，两个分母都报）**：上表分母是**基线 46 条口径**。金标扩容到 **55 条**后 —— `M-1` / `M-4` / `M-5` / `M-6` / `M-10` 的分母 = **55**；`M-2` 的分母 = **33**（55 条里带「期望证据家族」的条目数）；`M-2b` 的分母 = **20**；`M-3` 的分母仍明示为「**考检索的 `C` 组条目**」（`W27` 给 `C` 组追加闲聊项后此组已不同质）。**门槛值不变**。实测见 §6.4。 +> > 🆕 **`M-9` 取证面补正（`W27`）**：判据是「数字**不可解析到出处**」，出处 = 检索命中的 `title`+`content` + **受控数据工具的原始载荷** + 品牌常量 + **用户原话**。`E2` 族**整体豁免**（数字是受控参数的纯函数输出，与代码里 `_ungrounded_numbers` 只作用于 `E4` 生成文本同口径）。`W27` 新增 `E6` 后，评分器补上「工具原始载荷」这一取证面并把比对改为**数值化**（`16.00%` 与载荷里的 `16.0` 是同一个数）；否则行情答复里的 26 个净值数字会被整片误判 —— 那是**评分器口径**问题，不是产品缺陷。 ---