wangjianlong_0626
8a0cbab636
背景：memory_sync_outbox 这条链此前**完全没有消费者**，且生产端照 docs/00 §6.4.6
写成大写 MILVUS/NEO4J + 中文「待处理」，而消费端按 target_store 的**值**分派 handler、
且只领 status in {pending, failed} —— 两个条件都不满足，事件任何消费者都领不到、
永久滞留且不报错（唯一键 (event_uuid, target_store) 对大小写无约束，MySQL 也不报错）。
根因是代码与测试都硬编码字面量，所以测试跟着一起错、谁也没拦住。
订正
- profile_generation_service：取值改为全仓一致的小写（milvus/neo4j/upsert/pending）
- 测试改为引用常量并断言消费端契约，不再硬编码（硬编码是本次跑偏的直接原因）
- 新增契约回归测试：断言大写值分派不到 handler、会进死信，谁改回大写立刻红
- 新增 tools/normalize_memory_sync_outbox.py：订正历史脏行（默认 dry-run、幂等）
接通投影链路（此前零消费者）
- 新增 Milvus 集合 user_long_term_memory_v1 及建集合工具（幂等、不覆盖已有集合）
- 新增 MilvusProfileProjection / MilvusProfileVectorClient，并修掉移植带来的两处必炸点：
customer_id 由「必须 int」放宽为接受数字字符串（本仓所有生产者都写 str，
不放宽则每个事件必然失败）；不可投影的 memory_key 由「整批 raise」改为跳过留痕
（否则一条 constraint: 记忆毒死该客户整批，而受控词表 13 个键里有 7 个不满足前缀）
- 新增 MemorySyncOutboxWorker（领取/指数退避/死信骨架保留原样）并接入 WorkerRuntime
- milvus → 向量投影；neo4j → 复用主干 ProfileGraphProjectionService（方案 A，
不引入第二套投影，避免同一事实在图中两种说法、违反主干既有的只投影已确认事实的不变式）
- 生产端从 memory_unit(status=active) 组装 memory_sources，随事件带上确定快照
- 前置移植 conversation_privacy：写外部存储前脱敏手机号/证件号/银行卡等
验证
- 新增 17 个单测；全量 2 failed, 1307 passed, 2 skipped
（2 个失败为既有环境项：断言请求体中文原文而 httpx 序列化成 \uXXXX，非本次引入）
- mypy app → 0 错（227 文件）；audit_schema → 89 张业务表无缺失/意外，未改动表结构
- 真机：真实 embedding(1024 维) + 真实 Milvus 写入并回读通过
- 整合链路（测试记忆 → 生产端组装 → outbox → 消费端投递 → Milvus 回读）通过，
且 MySQL 已回滚、Milvus 无残留
文档
- 新增 docs/32-记忆投影链路实现说明.md：真实口径、根因、契约与验证证据（供接手）
- AGENTS.md：新增该易错点；新增 Windows 中文输出乱码的正确命令（-X utf8）；
校正测试基线与 mypy 文件数
未做：未改 docs/00 基线、未动数据库迁移、未改投顾线代码、未启动常驻 Worker。
遗留：投顾线两处生产者的 payload 缺 memory_sources，会被消费至死信，待架构师确认是否投影。
66 lines
2.8 KiB
Python
66 lines
2.8 KiB
Python
"""长期记忆画像向量的 Milvus 客户端。
|
|
|
|
与 `MilvusKnowledgeWriter` 分开：那个适配器的 `upsert` 签名绑定知识集合的
|
|
`knowledge_id` 主键与字段表，而画像投影的主键是 `memory_uuid`、且需要先 `query`
|
|
按版本判重。两者共用一套连接口径（惰性连接 + 失败一律 `RecoverableAgentError`），
|
|
但不硬把两种 schema 塞进同一个类。
|
|
|
|
与召回侧的客户端也分开：写路径不与检索进程共用连接（读写物理隔离，向量库故障
|
|
不能从写路径传染到问答主链路），与 `get_milvus_knowledge_writer` 的取向一致。
|
|
"""
|
|
|
|
from typing import Any
|
|
|
|
from app.core.errors import RecoverableAgentError
|
|
|
|
|
|
class MilvusProfileVectorClient:
|
|
"""满足 `MilvusProfileProjection` 所需的 `query` / `upsert` / `load_collection`。"""
|
|
|
|
def __init__(self, uri: str, token: str = "") -> None:
|
|
self._uri = uri
|
|
self._token = token
|
|
self._client: Any = None
|
|
|
|
async def _ensure(self) -> Any:
|
|
if self._client is None:
|
|
try:
|
|
from pymilvus import AsyncMilvusClient # type: ignore[import-untyped]
|
|
except ImportError as exc: # pragma: no cover - 依赖已声明，缺装是环境问题
|
|
raise RecoverableAgentError("pymilvus 未安装，无法写入画像向量") from exc
|
|
try:
|
|
self._client = AsyncMilvusClient(uri=self._uri, token=self._token or None)
|
|
except Exception as exc:
|
|
raise RecoverableAgentError("Milvus 画像写客户端初始化失败") from exc
|
|
return self._client
|
|
|
|
async def load_collection(self, *, collection_name: str) -> None:
|
|
"""把集合载入内存后再查/写。
|
|
|
|
集合不存在时抛 `RecoverableAgentError`：由 outbox 退避重试并最终判死信，
|
|
而不是静默跳过——"集合没建"是装配问题，必须可见。
|
|
"""
|
|
client = await self._ensure()
|
|
try:
|
|
await client.load_collection(collection_name=collection_name)
|
|
except Exception as exc:
|
|
raise RecoverableAgentError("画像向量集合不可用") from exc
|
|
|
|
async def query(self, **kwargs: Any) -> list[dict[str, Any]]:
|
|
"""按 filter 查询；返回空列表表示无匹配（不是错误）。"""
|
|
client = await self._ensure()
|
|
try:
|
|
raw = await client.query(**kwargs)
|
|
except Exception as exc:
|
|
raise RecoverableAgentError("画像向量查询失败") from exc
|
|
return list(raw or [])
|
|
|
|
async def upsert(self, **kwargs: Any) -> Any:
|
|
client = await self._ensure()
|
|
try:
|
|
return await client.upsert(**kwargs)
|
|
except RecoverableAgentError:
|
|
raise
|
|
except Exception as exc:
|
|
raise RecoverableAgentError("画像向量写入失败") from exc
|