## tools/portal_api_check.py(新) 把 2026-09-13 那轮"照着接口内容把前端测一遍"的验证固化成可重复跑的脚本。 当时靠这套验证查出 6 个真缺陷,但它们只存在于一次会话里,下次改动没人会重跑: - `K002`/`K003` 是裸信封,前端按 `payload.data` 取 -> 知识库页显示"已入库 0 块 / 为空" - 委托/成交详情页照着建表字段写,而接口返回视图没带那些列 -> 5 行永远显示 `--` - 配置项/路由规则的 `PUT` 要 `If-Match`,却没有端点能返回该 digest -> 首次编辑必然 409 - 回复模板 `scene` 只校验长度不校验枚举 -> 非法值撞数据库 CHECK、冒成 500 - 路由规则表单固定 `max_attempts=2` 且 `fallbacks` 为空 -> 后端必然 422 - 模型端点手填 ID -> 未激活的 ID 直接 422 与 `e2e_smoke_test.py` 分工互补:后者测**业务链路通不通**,本脚本测**接口契约对不对** (状态码、信封形状、字段名与前端期望是否一致)。 三档,默认只跑第一档: - 默认只读 41 项(不动数据) - `--write` 加测写操作:配置项 ETag 链路、`max_attempts` 越界、知识库上传+失效、 回复模板非法枚举、敏感词、推广物料全链路 - `--dangerous` 再加测会改生效配置的操作(激活配置版本会整版本替换,默认不跑, 脚本内注明了恢复办法) 实测:只读 39/39、写入档 54/54 全绿。 ## 桌面一键启动(双击即用) 桌面 `启动金融Agent平台.bat` + 仓库 `启动平台.bat`,由 `tools/make_launcher_bat.py` 生成,只负责"双击"这一层,启动逻辑复用 `start.ps1` (不重复实现,避免两边漂移)。参数可透传:`-Port 8100` / `-NoBrowser` / `-SkipPriceSync`。 不要手写这个 bat:必须同时满足 **GBK 编码 + CRLF 换行 + 无 BOM**。生成器自己 读回来校验这三条。踩过的坑:用 `write_bytes` 直接落盘时没转 CRLF,cmd 对 LF-only 批处理会行边界错乱,把 `echo` 的说明文字当命令执行(实测报 `AT 命令已弃用`、`']' 不是内部或外部命令`)。 ## start.ps1 的三处修复 1. **解释器探测选错环境(真机双击失败的主因)** 原先只验证 `--version` 成功就选中,结果挑到一个 Python 3.10 环境: 本项目用了 `datetime.UTC`(3.11+)且依赖 `asyncmy`,启动当场 ImportError —— 而报错发生在**行情刷新**那一步,看起来像"行情源坏了"。 现在实测两项:**版本 >= 3.11** + `import fastapi, sqlalchemy, asyncmy, pydantic` 通过, 并在跳过时打印具体原因。 2. **`Select-Object -First 1` 掐断 native 管道** `& $exe -c ... 2>&1 | Select-Object -First 1` 拿到首个对象后停掉上游管道, 等于把进程掐了、`$LASTEXITCODE` 变脏,于是**每个候选都被误判成"无法执行"** (连装好的 jr_py313 也被跳过)。改为先整体接住输出、再在结果上取行。 3. **幂等 + 就绪探测 + Docker 自动拉起** 重复双击不再起第二个 API/Worker(API 按端口、Worker 按进程判断); 起完等 `/internal/health/ready` 真正应答才报成功;Milvus 不可达时尝试拉起 Docker Desktop 并最多等 60 秒(它不常驻,是"知识检索静默降级"最常见的原因)。 ## 实测 - `启动平台.bat` 重复执行:解释器正确选中 jr_py313、依赖检查全 OK、行情已刷新、 两个服务识别为已在跑并跳过、就绪探测 1 秒 - `-Port 8199` 冷启动:新起 API 窗口,8199 的 `/internal/health/ready` 与 `/portal/` 均 200, 测试后已清理 - `ruff check app tests tools alembic hq.py` -> All checks passed - `start.ps1` 语法解析通过(BOM 已保留)、bat 三项编码约束校验通过 文档同步:`AGENTS.md`(启动方式、bat 生成器、解释器探测两个坑)、 `docs/44-演示流程.md` §0.3/§0.4(双击启动、两条自检线的分工)。
南方基金智能业务平台
本项目是一个基于 FastAPI 和 MVC+S 架构的金融业务 Agent 平台,当前包含以下三项核心业务:
- 场外基金申购/赎回运营流程
- 产品推介材料与宣传海报生成
- 金融自然语言转 SQL(NL2SQL)查询
项目中的场外基金运营、产品推介材料与场内基金模拟交易相互隔离。场外业务使用独立的
offsite_fund_* 数据表和接口,不写入场内交易表。
一、技术栈
- Python
3.13 - FastAPI、Uvicorn
- SQLAlchemy 2.x、Alembic
- MySQL、Redis
- Pydantic v2
- JWT + RBAC
python-pptx、OpenPyXL、Pillow、Matplotlib- 可选:阿里云 DocMind/OCR、DeepSeek、SMTP、Milvus、Neo4j
二、项目结构
group_fqcd_jr/
├── app/
│ ├── api/controllers/ # HTTP 路由和请求参数校验
│ ├── api/schemas/ # 请求/响应模型
│ ├── core/ # 业务契约、配置和公共规则
│ ├── model/ # SQLAlchemy 数据模型
│ ├── service/ # 业务编排、规则和数据访问
│ ├── infrastructure/ # 数据库、缓存和外部基础设施适配
│ └── worker/ # 异步 Worker
├── data/ # 测试与演示数据集
├── docs/ # 架构、接口、数据库和业务说明
├── tests/ # 单元、契约、集成和环境测试
├── tools/ # 迁移、种子、检查和测试工具
├── alembic/ # 数据库迁移
├── hq.py # 南方基金行情数据适配模块
├── nl2sql_yc.py # 金融 NL2SQL 兼容入口和查询逻辑
├── .env.example # 环境变量模板
└── README.md
三、环境准备
项目要求 Python >=3.13,<3.14。建议使用独立虚拟环境:
conda create -n jr_py313 python=3.13
conda activate jr_py313
pip install -r requirements.txt
复制配置文件:
Copy-Item .env.example .env
然后根据本机环境修改 .env,至少配置:
MYSQL_DSN
JWT_PRIVATE_KEY_PATH
JWT_PUBLIC_KEY_PATH
.env、JWT 私钥、模型密钥和真实外部服务凭据禁止提交到 Git。
四、启动服务
4.1 数据库迁移
请确保 MySQL 已启动,并且 .env 中的数据库连接可用:
alembic upgrade head
python tools/audit_schema.py
4.2 启动 HTTP 服务
python -m uvicorn app.main:app --host 127.0.0.1 --port 8099
服务地址:
http://127.0.0.1:8099
OpenAPI 文档:
http://127.0.0.1:8099/docs
4.3 启动 Worker
需要异步处理 Agent 运行或场外邮件时,另开终端:
python -m app.worker
Worker 是否启用场外收信,取决于:
OFFSITE_MAIL_WORKER_ENABLED
OFFSITE_IMAP_ENABLED
OFFSITE_WORKER_USER_ID
五、功能一:场外基金申购/赎回
5.1 功能说明
场外流程面向运营人员,主要处理:
邮件接收
→ 附件保存
→ OCR/文档识别
→ 结构化字段提取
→ 申购/赎回规则计算
→ NL2SQL 查询资金和持仓数据
→ 运营人员确认
→ 创建通知
→ 发送或 dry-run
→ 审计和统计
支持的单据类型:
subscription:申购redemption:赎回summary:汇总材料other:其他材料
系统保留原始邮件、附件、识别结果、查询记录、规则结果、人工修正记录和审计记录。 人工修正不会覆盖 Agent 原始识别值。
5.2 主要接口
基础路径:
/api/v1/offsite-fund
| 方法 | 路径 | 用途 |
|---|---|---|
GET |
/mails |
分页查询场外邮件 |
GET |
/mails/{mail_id} |
查看邮件详情 |
POST |
/mails/{mail_id}/deletions |
软删除邮件 |
GET |
/mails/{mail_id}/recognition-fields |
查看 OCR 识别字段 |
PUT |
/mails/{mail_id}/recognition-fields |
保存 OCR 字段人工修正 |
GET |
/documents/{task_id}/nl2sql-fields |
查看 NL2SQL 返回字段 |
PUT |
/documents/{task_id}/nl2sql-fields |
保存 NL2SQL 字段人工修正 |
GET |
/documents/{task_id}/rule-results |
查看规则判定结果 |
POST |
/documents/{task_id}/rule-results/recalculations |
使用已有结果重新判定 |
GET |
/mailbox-status |
查看收件游标状态 |
POST |
/mailbox-status/recoveries |
恢复被阻塞的收件游标 |
GET |
/attachments/{attachment_id}/file |
预览或下载原始附件 |
POST |
/documents/{task_id}/confirmations |
运营人员确认单据 |
POST |
/documents/{task_id}/recognition-retries |
重试识别异常单据 |
POST |
/documents/{task_id}/notifications |
创建运营通知 |
POST |
/notifications/{notification_id}/send |
发送通知 |
POST |
/settlement-statistics/recalculate |
重算结算统计 |
触发场外单据 NL2SQL 核对的接口为:
POST /api/tasks/{task_id}/trigger-agent-nl2sql
5.3 权限与安全
- 读取权限:
offsite:read - 写入权限:
offsite:write - 确认权限:
offsite:confirm - NL2SQL 权限:
offsite:nl2sql - 通知权限:
offsite:notify - 请求中的
operator_id必须与 JWT 身份一致 - 所有写操作都进行权限校验、操作人校验、审计和状态流转校验
- 通知发送支持幂等,SMTP 默认关闭并使用 dry-run
六、功能二:产品推介材料与宣传海报生成
6.1 功能说明
该模块用于新产品的结构化资料整理和宣传材料生成。当前生成链路为:
创建任务
→ 填写产品、经理、团队、策略、费用、业绩和风险资料
→ 上传经理照片、业绩数据、来源证据或模板
→ 合规检查
→ 生成 PPTX、宣传海报和可选 PDF
→ 审核
→ 发送给指定投顾
支持的输入附件:
manager_photo:基金经理照片performance_data:CSV/XLSX 业绩数据source_evidence:来源证据template_file:材料模板
支持的输出格式:
pptxposterpdf,需要配置 LibreOffice/soffice等转换器
模块会执行风险披露、费用结构、业绩数据、输入完整性和生成文本合规检查。 合规阻断时返回具体 findings 和补齐建议,不继续生成材料。
6.2 主要接口
基础路径:
/api/v1/fund-promotion-materials
| 方法 | 路径 | 用途 |
|---|---|---|
POST |
/ |
创建推介材料任务 |
PUT |
/{task_no}/inputs |
保存结构化输入资料 |
POST |
/{task_no}/attachments |
上传照片、业绩文件或证据 |
POST |
/{task_no}/generations |
生成推介材料 |
GET |
/{task_no}/compliance-checks |
查看合规检查结果 |
GET |
/{task_no} |
查询任务和已审核材料 |
POST |
/{task_no}/reviews |
审核、驳回或要求修改 |
POST |
/{task_no}/deliveries |
发送给投顾 |
创建任务和写入操作必须提供请求头:
Idempotency-Key: <唯一请求键>
6.3 权限与状态
主要权限:
promotion:writepromotion:readpromotion:reviewpromotion:deliver
材料任务状态包括:
draft
→ input_ready
→ generating
→ generated
→ pending_review
→ approved
→ sent
异常状态包括:
compliance_failed
rejected
failed
生成的文件默认保存到:
data/promotion_materials/
七、功能三:金融 NL2SQL
7.1 功能说明
NL2SQL 将自然语言问题转换为经过权限、业务域、表白名单和只读校验的 SQL。 业务 Agent 不直接连接数据库,而是通过公共只读工具调用:
业务 Agent
→ BaseAgent.call_tool
→ ToolExecutor
→ query_financial_data
→ 只读金融数据表
工具名称:
query_financial_data
权限码:
financial:nl2sql:read
7.2 支持范围
当前纳入查询范围的主要表:
sys_customer_assignment
fin_customer_profile
fin_risk_assessment
fin_product
fin_fee_rule
fin_market_price
fin_nav_history
fin_holding
fin_transaction
fin_sim_order
fin_sim_account
fin_cash_ledger
client_facing_content
支持:
- 基金净值、行情和历史收益查询
- 费率和费用查询
- 客户风险测评和画像查询
- 持仓、交易、订单、账户和资金流水查询
- 历史范围查询
- 最多跨三个业务域查询
- 结果行数限制,默认 50,最大 200
- SQL dry-run
不支持或会被拒绝:
- 非白名单表
- 非
SELECT查询 - 未通过客户数据范围校验的查询
- 当前快照表的历史时点查询
- 模糊且未确认查询范围、指标口径或时间条件的问题
7.3 调用示例
result = await self.call_tool(
"query_financial_data",
{
"question": "查询基金代码 000001 最近 30 天的净值",
"dry_run": False,
"limit": 50,
},
intent="financial_query",
context=context,
)
模糊问题会返回:
{
"status": "need_confirmation",
"message": "请确认查询范围、指标口径和时间条件。"
}
工具结果包含查询计划、SQL、参数、权限检查和执行摘要,并进入统一审计和运行持久化链路。
八、测试数据集
测试数据位于:
data/
当前数据集概况:
| 类型 | 数量 | 用途 |
|---|---|---|
.eml |
13 | 场外邮件及附件识别 |
.csv / .xlsx |
8 | 推介材料业绩数据 |
.png / .jpg |
35 | 经理照片、宣传图和测试图片 |
.pptx |
10 | 推介材料结构检查 |
.pdf |
9 | PDF 文件有效性检查 |
测试数据只用于本地测试和演示,不应直接作为生产业务数据导入。
九、测试与代码检查
9.1 运行完整测试
普通单元和契约测试:
python -m pytest tests/unit tests/contract -q -p no:cacheprovider
使用独立 MySQL 测试库并执行测试数据隔离:
python -m tools.run_tests_on_test_db tests -p no:cacheprovider
9.2 运行三项功能定向测试
python -m pytest `
tests/integration/test_offsite_fund_api.py `
tests/integration/test_offsite_nl2sql_fields.py `
tests/integration/test_offsite_notification_send.py `
tests/integration/test_promotion_material_api.py `
tests/unit/service/test_suitability_service.py `
tests/contract/test_financial_nl2sql_tool_contract.py `
-q -p no:cacheprovider
9.3 代码质量检查
python -m ruff check app tests tools alembic
python -m mypy app
git diff --check
9.4 测试基线
最近一次项目回归记录:
关键三项功能定向测试:85 passed
全量自动化测试:559 passed, 1 skipped
Redis、真实 IMAP/OCR/DeepSeek/SMTP、Neo4j、Milvus 和浏览器 E2E 是否能执行, 取决于本机服务和凭据配置。外部服务关闭或不可用时,测试使用本地数据集、Mock 或 dry-run。
十、配置开关
场外邮件和外部识别:
OFFSITE_IMAP_ENABLED=false
OFFSITE_MAIL_WORKER_ENABLED=false
OFFSITE_OCR_ENABLED=false
OFFSITE_DEEPSEEK_ENABLED=false
OFFSITE_SMTP_ENABLED=false
OFFSITE_SMTP_DRY_RUN=true
产品推介材料:
PROMOTION_MATERIAL_STORAGE_DIR=data/promotion_materials
PROMOTION_PDF_ENABLED=false
PROMOTION_PDF_CONVERTER_PATH=
启用真实服务前,请先完成网络、凭据、权限、数据脱敏和回滚方案确认。
十一、安全与开发约束
- 所有业务请求都应经过统一 JWT、RBAC、客户范围和审计链路。
- 不在业务 Agent 中自行读取密钥、直接连接数据库或绕过
ToolExecutor。 - 场外业务不能写入场内交易表。
- 数据库结构只能通过 Alembic 迁移修改。
- 不删除、重命名或复用已有表和字段;历史结构不足时新增字段、新表或兼容读写。
- 所有写接口应设计幂等键、状态机和重复提交保护。
- 真实外部服务默认关闭,测试优先使用本地数据、Mock 和 dry-run。
十二、相关文档
docs/MVC/MVC架构.md:项目架构和目录职责docs/00-新数据库基线设计.md:数据库业务基线docs/05-接口文档.md:接口权威说明docs/14-Agent组员统一接入说明书.md:Agent 接入规范docs/15-金融NL2SQL工具接入说明.md:NL2SQL 工具规范product_promotion_to_do_list.md:推介材料模块开发记录测试报告/2026-09-12.md:三项功能数据集测试报告