 张胜宇
|
5d0becb67d
|
客服 Agent 重构收口：五出口决策链 + 知识库档位隔离 + 前端入参边界（答辩演示版本）
一、客服 Agent 智能增强（正面回应"不智能、动不动就转人工"）
- 决策链由 2 个出口扩到 5 个：E1 澄清 / E2 计算型 / E3 知识直返 / E4 证据约束生成 / E5 分级回退
- 转人工从"默认动作"降为最后一档 E5c，只保留 4 类白名单：
P0 反诈 / P1 账户与个人数据 / P2 写操作与争议 / 用户明确要求人工
- 46 条金标实测（修复前 → 修复后）：
转人工率 43.5% → 10.9%；出口准确率 45.7% → 100%；事实正确率 69.6% → 100%
禁忌违反 1 → 0；档位越权 / 无出处数字 / 误拒 四项零容忍全 0
- 安全不变量 INV-1~INV-5；零容忍规则未删，改的是挂载点
（输出侧字面黑名单 → 检索层档位隔离 + 判定层合规词表 + 输出守护）
二、知识库：档位单点化与物理隔离
- 新增 app/core/knowledge_tier.py 作为档位规则唯一落点（G-03），
knowledge_contracts.py 原定义块改为显式再导出（X as X，非副本）
- 档位过滤由 bool 默认值（fail-open）改为 tiers 必填集合（缺参即 TypeError）
- Milvus 侧四集合按 visibility 分区键物理隔离；双 schema 收敛为一套
- 新增 app/core/actor.py：访客三元组与匿名判定的唯一构造/判定点（G-01/G-01b）
- 新增 app/core/fund_fee_rules.py：费率计算纯函数
三、前端入参边界对齐（本轮 W11 新修，4 处"校验宽于存储"）
- message 加 max_length=8000（与浮窗 widget.js 的 maxlength 一致）
- session_id 加 1—64；idempotency_key 上限 128 → 64（对齐列宽 String(64)）
- feedback_type 加 max_length=32（对齐列宽 String(32)）
- 8 条路径参数补 min_length=1 + max_length=64 + 字符集正则
（{session_id} / {run_id} / {handover_id}）
- 改前超限值会落到 MySQL 才失败（500）；改后一律 422 AGENT_INPUT_INVALID + 字段级定位
- 新增 tests/unit/api/test_frontend_boundaries.py（33 例），含"端点表 ↔ OpenAPI 全量对照"
四、投顾模块整体清除（D4.4 / D4.5）
- 删除投顾相关 controller / schema / model / repository / service 及门户页面
- tools/portal_api_check.py 同步作废 AD003/AD005/AD011/A047 四条用例与 advisor_t 登录
（端点与账号均已不存在，此前稳定报 3 条假红）
五、验证（提交前实测）
- pytest -q：1856 passed / 2 skipped / 0 failed
- ruff check app tools tests：19（= 基线）；mypy app：2（= 基线）
- 前端接口契约体检 portal_api_check.py：38 项，通过 34，失败 0，跳过 4
- 全链路冒烟 e2e_smoke_test.py --read-only：31/31
- HTTP 全链路探针 http_probe.py：11/11 succeeded
- 跨文档一致性 _consistency.py：GATE PASS
- 真机边界复验 12 条：12/12 符合预期
六、纪律与文档
- 可改文件白名单 A-09（docs/46）与底座会签申请单 A-10（docs/47，组 1—组 4 全部受理）
- 零 DDL：未新增/修改任何表结构，89 张业务表与基线一致
- 证据留痕：docs/evidence/**（含 46 条金标 score、快照、清除与重建记录）
- 未提交（刻意排除，见提交说明）：仓库内 客服agent/ 与 开发文档/ 是 2026-09-16 前的
过期副本（Todolist 440 行 vs 权威 D2.1 1167 行），权威正本在仓库外；
_chunks_report.txt 是 tools/build_knowledge_chunks.py 生成的本地产物
|
2026-09-20 14:33:30 +08:00 |
|
 lzf_0626
|
64ad12e44a
|
修「r1到r5分别代表什么」答不出来：补一条标题对齐问法的短 FAQ（不动门槛策略）
## 现象
客服对「r1到r5分别代表什么」走兜底 + 转人工；「基金申购后多久能确认」用户以为也不答。
## 排查结论（详见 docs/演示用/知识库问答诊断-2026-09-14.md）
- 向量库**有**内容、检索也命中：申购确认那一问 top1 = **0.8468**（高置信，本来就答得出，
库里留着 23:59:06 那次完整问答）；R1–R5 那一问 top1 = **0.6621**、次优 0.6412。
- 判定规则：高置信(≥0.75)不看 gap；中置信(0.55–0.75)必须领先次优 ≥0.07
（`customer_service.py:148-150`）。R1–R5 只领先 0.021 → 判"候选并列"。
- 根因是**同一主题多来源 + 命中块太长**：高频问答对(0.6621)、适当性指南第十一条三块
(0.6412/0.5771/0.5520)、产品手册 1.4 节(0.4983) 分数天然挤在一起；
而我先前上传的长条目（488 字切两块）被稀释到 0.6622，**改了两次才找到有效形态**：
短条目 + 标题与问法逐字对齐 → **0.7384 / gap 0.0761 → 可答**。
## 本次改动
- 新增知识正文 `data/knowledge/faq_r1r5.md`（口径取自 `suitability_service.MATRIX_ALLOWED` /
`MATRIX_NEEDS_DISCLOSURE`，避开禁用词）。
- 新增幂等工具 `tools/seed_knowledge_r1r5_faq.py`：默认 dry-run，`--apply` 上传；
已存在同源未过期知识则跳过，并自动复测检索评分。
- 真机执行：删除 3 个试验块（200/201/202）→ 上传 id 203 → 端到端验证。
## 验证
- `tools/seed_knowledge_r1r5_faq.py`（幂等路径）→ `top1=0.7384 次优=0.6623 gap=0.0761 可答`
- 端到端（登录客户 + 访客两条路径）：「r1到r5分别代表什么」给出五级含义 +
C1–C5 对应关系；「基金申购后多久能确认」给出 T+1/T+2 确认规则
- 回归 4 条同类问题仍高置信直接答：费率 0.8111 / 场内场外 0.7871 / 最小买多少 0.8289 /
赎回到账 0.8480
## 顺带查清（登记为已知问题，未擅自改）
1. **向量与元数据严重不一致**：Milvus 159/397/297 个向量 vs MySQL 41/161/**0** 行；
答得最好的 `faq/高频问答对.txt`（含 FAQ-0015）与两套政策文件**只在向量里、MySQL 无行**。
⇒ 这**推翻**了我先前"检索按 active 过滤"的建议（会把孤儿但有用的内容一起杀掉），
已在文档里明确撤回。
2. **检索层不看知识状态**：`knowledge_search_service.py` 里 `status` 出现 0 次 →
已 expired 的历史副本照样参与排序（费率这类会变的内容有被答旧值的风险）。
3. **重复与测试垃圾在抢答，且没有清理入口**：产品手册被种了 7 遍（199 行里只有 24 active）、
FAQ 集合 41 行里 38 行是上传链路测试残留；而 `DELETE /api/v1/knowledge/{id}` 对已 expired 行
一律 404「知识文档不存在」→ 清理历史副本目前无入口。
|
2026-09-15 08:47:10 +08:00 |
|
|
lzf_0626
|
b53b4e0bc7
|
修「r1到r5分别代表什么」答不出来：补一条标题对齐问法的短 FAQ（不动门槛策略）
## 现象
客服对「r1到r5分别代表什么」走兜底 + 转人工；「基金申购后多久能确认」用户以为也不答。
## 排查结论（详见 docs/演示用/知识库问答诊断-2026-09-14.md）
- 向量库**有**内容、检索也命中：申购确认那一问 top1 = **0.8468**（高置信，本来就答得出，
库里留着 23:59:06 那次完整问答）；R1–R5 那一问 top1 = **0.6621**、次优 0.6412。
- 判定规则：高置信(≥0.75)不看 gap；中置信(0.55–0.75)必须领先次优 ≥0.07
（`customer_service.py:148-150`）。R1–R5 只领先 0.021 → 判"候选并列"。
- 根因是**同一主题多来源 + 命中块太长**：高频问答对(0.6621)、适当性指南第十一条三块
(0.6412/0.5771/0.5520)、产品手册 1.4 节(0.4983) 分数天然挤在一起；
而我先前上传的长条目（488 字切两块）被稀释到 0.6622，**改了两次才找到有效形态**：
短条目 + 标题与问法逐字对齐 → **0.7384 / gap 0.0761 → 可答**。
## 本次改动
- 新增知识正文 `data/knowledge/faq_r1r5.md`（口径取自 `suitability_service.MATRIX_ALLOWED` /
`MATRIX_NEEDS_DISCLOSURE`，避开禁用词）。
- 新增幂等工具 `tools/seed_knowledge_r1r5_faq.py`：默认 dry-run，`--apply` 上传；
已存在同源未过期知识则跳过，并自动复测检索评分。
- 真机执行：删除 3 个试验块（200/201/202）→ 上传 id 203 → 端到端验证。
## 验证
- `tools/seed_knowledge_r1r5_faq.py`（幂等路径）→ `top1=0.7384 次优=0.6623 gap=0.0761 可答`
- 端到端（登录客户 + 访客两条路径）：「r1到r5分别代表什么」给出五级含义 +
C1–C5 对应关系；「基金申购后多久能确认」给出 T+1/T+2 确认规则
- 回归 4 条同类问题仍高置信直接答：费率 0.8111 / 场内场外 0.7871 / 最小买多少 0.8289 /
赎回到账 0.8480
## 顺带查清（登记为已知问题，未擅自改）
1. **向量与元数据严重不一致**：Milvus 159/397/297 个向量 vs MySQL 41/161/**0** 行；
答得最好的 `faq/高频问答对.txt`（含 FAQ-0015）与两套政策文件**只在向量里、MySQL 无行**。
⇒ 这**推翻**了我先前"检索按 active 过滤"的建议（会把孤儿但有用的内容一起杀掉），
已在文档里明确撤回。
2. **检索层不看知识状态**：`knowledge_search_service.py` 里 `status` 出现 0 次 →
已 expired 的历史副本照样参与排序（费率这类会变的内容有被答旧值的风险）。
3. **重复与测试垃圾在抢答，且没有清理入口**：产品手册被种了 7 遍（199 行里只有 24 active）、
FAQ 集合 41 行里 38 行是上传链路测试残留；而 `DELETE /api/v1/knowledge/{id}` 对已 expired 行
一律 404「知识文档不存在」→ 清理历史副本目前无入口。
|
2026-09-15 08:46:38 +08:00 |
|