fix(memory-projection): 订正 outbox 取值口径并接通画像投影链路
背景:memory_sync_outbox 这条链此前**完全没有消费者**,且生产端照 docs/00 §6.4.6
写成大写 MILVUS/NEO4J + 中文「待处理」,而消费端按 target_store 的**值**分派 handler、
且只领 status in {pending, failed} —— 两个条件都不满足,事件任何消费者都领不到、
永久滞留且不报错(唯一键 (event_uuid, target_store) 对大小写无约束,MySQL 也不报错)。
根因是代码与测试都硬编码字面量,所以测试跟着一起错、谁也没拦住。
订正
- profile_generation_service:取值改为全仓一致的小写(milvus/neo4j/upsert/pending)
- 测试改为引用常量并断言消费端契约,不再硬编码(硬编码是本次跑偏的直接原因)
- 新增契约回归测试:断言大写值分派不到 handler、会进死信,谁改回大写立刻红
- 新增 tools/normalize_memory_sync_outbox.py:订正历史脏行(默认 dry-run、幂等)
接通投影链路(此前零消费者)
- 新增 Milvus 集合 user_long_term_memory_v1 及建集合工具(幂等、不覆盖已有集合)
- 新增 MilvusProfileProjection / MilvusProfileVectorClient,并修掉移植带来的两处必炸点:
customer_id 由「必须 int」放宽为接受数字字符串(本仓所有生产者都写 str,
不放宽则每个事件必然失败);不可投影的 memory_key 由「整批 raise」改为跳过留痕
(否则一条 constraint: 记忆毒死该客户整批,而受控词表 13 个键里有 7 个不满足前缀)
- 新增 MemorySyncOutboxWorker(领取/指数退避/死信骨架保留原样)并接入 WorkerRuntime
- milvus → 向量投影;neo4j → 复用主干 ProfileGraphProjectionService(方案 A,
不引入第二套投影,避免同一事实在图中两种说法、违反主干既有的只投影已确认事实的不变式)
- 生产端从 memory_unit(status=active) 组装 memory_sources,随事件带上确定快照
- 前置移植 conversation_privacy:写外部存储前脱敏手机号/证件号/银行卡等
验证
- 新增 17 个单测;全量 2 failed, 1307 passed, 2 skipped
(2 个失败为既有环境项:断言请求体中文原文而 httpx 序列化成 \uXXXX,非本次引入)
- mypy app → 0 错(227 文件);audit_schema → 89 张业务表无缺失/意外,未改动表结构
- 真机:真实 embedding(1024 维) + 真实 Milvus 写入并回读通过
- 整合链路(测试记忆 → 生产端组装 → outbox → 消费端投递 → Milvus 回读)通过,
且 MySQL 已回滚、Milvus 无残留
文档
- 新增 docs/32-记忆投影链路实现说明.md:真实口径、根因、契约与验证证据(供接手)
- AGENTS.md:新增该易错点;新增 Windows 中文输出乱码的正确命令(-X utf8);
校正测试基线与 mypy 文件数
未做:未改 docs/00 基线、未动数据库迁移、未改投顾线代码、未启动常驻 Worker。
遗留:投顾线两处生产者的 payload 缺 memory_sources,会被消费至死信,待架构师确认是否投影。
This commit is contained in:
@@ -19,6 +19,7 @@ from app.infrastructure.fund_quote_cache import FundQuoteCache
|
||||
from app.infrastructure.graph import build_graph_driver
|
||||
from app.infrastructure.memory_cache import MemoryCacheAdapter
|
||||
from app.infrastructure.milvus_knowledge_writer import MilvusKnowledgeWriter
|
||||
from app.infrastructure.milvus_profile_vector_client import MilvusProfileVectorClient
|
||||
from app.infrastructure.vector_memory import VectorMemoryAdapter
|
||||
from app.service.agent.factory import AgentFactory
|
||||
from app.service.agent.governance import PlatformGovernance
|
||||
@@ -159,6 +160,26 @@ def get_milvus_knowledge_writer() -> MilvusKnowledgeWriter | None:
|
||||
return MilvusKnowledgeWriter(uri, settings.milvus_token or "")
|
||||
|
||||
|
||||
@lru_cache(maxsize=1)
|
||||
def get_milvus_profile_vector_client() -> MilvusProfileVectorClient | None:
|
||||
"""长期记忆画像向量**写**适配器(装配入口);`milvus_uri` 缺失时返回 None。
|
||||
|
||||
与 `get_milvus_knowledge_writer` 同一取向:读写隔离、构造惰性、缺配置显式降级。
|
||||
返回 None 的语义是**显式降级**——`WorkerRuntime` 会因此不注册画像投影 handler,
|
||||
`memory_sync_outbox` 的事件在库里保持 pending(可观测、可重放),并留一条 warning,
|
||||
绝不静默,也绝不伪造同步成功。
|
||||
"""
|
||||
settings = get_settings()
|
||||
uri = (settings.milvus_uri or "").strip()
|
||||
if not uri:
|
||||
logging.getLogger(__name__).warning(
|
||||
"milvus_uri not configured; profile vector projection disabled and "
|
||||
"memory_sync_outbox events will stay pending"
|
||||
)
|
||||
return None
|
||||
return MilvusProfileVectorClient(uri, settings.milvus_token or "")
|
||||
|
||||
|
||||
async def _embed_text(text: str) -> list[float]:
|
||||
"""把文本向量化;端点来自发布配置(task_type=embedding),无端点时失败关闭。"""
|
||||
endpoints = await DatabaseModelEndpointResolver().resolve(
|
||||
|
||||
Reference in New Issue
Block a user