feat(data): 取真实费率并回填 fin_product；发现 510300 的身份问题
## 取费率
项目原有的行情适配器只有 names/quotes/history，没有费率。东财也没有可用的 JSON 接口
（`FundArchivesDatas.aspx?type=jjfl` 实测正文只有一句 `var apidata=`），
所以给 EastmoneyFundAdapter 加了 fetch_fees：抓 f10 基金概况页
（fundf10.eastmoney.com/jbgk_{code}.html）去标签后匹配字段名，取管理费/托管费/
销售服务费/申赎费，并顺带带回基金全称。取不到的基金不进返回（而不是给全 None），
免得调用方把"没抓到"当成"该基金确实没有费率"。
实测 20/20 全部取到。
## 回填
新增 tools/backfill_product_fees.py，默认 dry-run、默认只补 NULL：
- 只补空值：写入 38 个字段（19 只 × 管理费/托管费），已执行
- 已有值一律不动 —— `510300` 库里的 0.5000/0.1000 保持原样，要改需显式 --overwrite
- 写入走单事务
回填前 grep 确认：`fin_product.management_fee_rate` / `custodian_fee_rate`
**目前没有任何业务代码读取**（advisor 域那两个 fee 字段属于另一张表
advisor_product_contract），所以这次回填不改变任何现有行为。
要让客户真的看到费率，还需要接口与前端读它 —— 那不在本次范围。
## 两个数据问题（都指向 510300）
1) **它不是南方基金的产品**。数据源返回的基金全称是
「华泰柏瑞沪深300交易型开放式指数证券投资基金」，而库里 fund_manager 写「南方基金」。
其余 19 只全称都是"南方…"开头，只有它例外。
影响面不只是知识库：MarketQuoteSyncService 按 fund_manager='南方基金' 筛选同步对象，
所以它会被当成自家产品一起同步、一起展示。
2) **它的费率是照抄的**。库里 0.5000/0.1000，真实 0.15/0.05；而 0.50/0.10 恰好是
159329/159382/159511/588890 这四只的真实费率。结合它的净值快照时间是当天
（其余 19 只停在 09-11）、净值取整数 4.500000，判断是演示用途的人为设定。
这两条都由用户决定怎么处理，本次只记录、不擅自改（510300 的 fund_manager、净值、费率
三处原值都没动）。
## 其他
- tools/fetch_live_quotes.py 增加费率核对段落与 --no-fees（费率要串行抓 45KB/只，较慢）
- docs/42 用真实费率重写 1.2 节与新增 4.3 真实费率清单，3.1 节标出 510300 的身份问题
- docs/42 的数据缺口表更新：费率不再是缺口
门禁：ruff 通过 / mypy 249 文件 0 错 / 单元+契约 1377 passed 2 skipped。
This commit is contained in:
@@ -17,8 +17,22 @@ NAV_API = "https://api.fund.eastmoney.com/f10/lsjz"
|
||||
RETURN_API = "https://api.fund.eastmoney.com/pinzhong/LJSYLZS"
|
||||
QUOTE_API = "https://push2.eastmoney.com/api/qt/ulist.np/get"
|
||||
DETAIL_API = "https://fund.eastmoney.com/pingzhongdata/{code}.js"
|
||||
#: 费率只能从 f10 基金概况页抓。**没有可用的 JSON 接口** ——
|
||||
#: `FundArchivesDatas.aspx?type=jjfl` 实测返回空（正文就一句 `var apidata=`），
|
||||
#: 所以这里按 HTML 去标签后匹配字段名。
|
||||
FEE_API = "https://fundf10.eastmoney.com/jbgk_{code}.html"
|
||||
HEADERS = {"User-Agent": "Mozilla/5.0", "Referer": "https://fund.eastmoney.com/"}
|
||||
|
||||
#: 费率字段 → 概况页里的标签与取值模式。值形如「0.15」（百分号已剥离），
|
||||
#: 页面写 `---` 表示该项不适用（如 ETF 没有申购费），统一映射成 `None`。
|
||||
FEE_FIELD_PATTERNS: dict[str, str] = {
|
||||
"management_fee_rate": r"管理费率\s*([\d.]+)\s*%",
|
||||
"custodian_fee_rate": r"托管费率\s*([\d.]+)\s*%",
|
||||
"service_fee_rate": r"销售服务费率\s*([\d.]+)\s*%",
|
||||
"subscribe_fee_rate": r"最高申购费率\s*(--|[\d.]+)",
|
||||
"redeem_fee_rate": r"最高赎回费率\s*(--|[\d.]+)",
|
||||
}
|
||||
|
||||
|
||||
class FundMarketAdapter(Protocol):
|
||||
async def fetch_names(self, codes: list[str]) -> dict[str, str]: ...
|
||||
@@ -27,6 +41,8 @@ class FundMarketAdapter(Protocol):
|
||||
|
||||
async def fetch_history(self, code: str, target_date: date) -> dict[str, Any]: ...
|
||||
|
||||
async def fetch_fees(self, codes: list[str]) -> dict[str, dict[str, Any]]: ...
|
||||
|
||||
|
||||
class EastmoneyFundAdapter:
|
||||
def __init__(
|
||||
@@ -101,6 +117,45 @@ class EastmoneyFundAdapter:
|
||||
"degraded": False,
|
||||
}
|
||||
|
||||
async def fetch_fees(self, codes: list[str]) -> dict[str, dict[str, Any]]:
|
||||
"""取每只基金的费率（管理费/托管费/销售服务费/申购费/赎回费）与基金全称。
|
||||
|
||||
为什么单独留一个入口：费率是**长期稳定**字段，而概况页约 45KB/只，
|
||||
所以调用方应当按需刷新、不要每次问答都抓 —— `tools/fetch_live_quotes.py`
|
||||
就是按"需要时才拉"来用它的。
|
||||
|
||||
取数失败的基金**不会出现在返回里**（而不是返回一个全 None 的 dict），
|
||||
免得调用方把"没抓到"误当成"该基金确实没有费率"。
|
||||
"""
|
||||
results: dict[str, dict[str, Any]] = {}
|
||||
for code in codes:
|
||||
try:
|
||||
response = await self._request("GET", FEE_API.format(code=code))
|
||||
except RecoverableAgentError:
|
||||
continue
|
||||
parsed = self._parse_fees(response.text)
|
||||
if parsed is not None:
|
||||
results[code] = parsed
|
||||
return results
|
||||
|
||||
@staticmethod
|
||||
def _parse_fees(html: str) -> dict[str, Any] | None:
|
||||
text = re.sub(r"\s+", " ", re.sub(r"<[^>]+>", " ", html))
|
||||
fees: dict[str, Any] = {}
|
||||
for field, pattern in FEE_FIELD_PATTERNS.items():
|
||||
match = re.search(pattern, text)
|
||||
value = match.group(1) if match else None
|
||||
fees[field] = (
|
||||
None if value in (None, "", "--") else EastmoneyFundAdapter._decimal(value)
|
||||
)
|
||||
# 一个字段都没解析出来，说明页面结构变了或该代码不存在 —— 返回 None 让调用方
|
||||
# 与"该基金确实没有费率"区分开。
|
||||
if all(value is None for value in fees.values()):
|
||||
return None
|
||||
name = re.search(r"基金全称\s*(\S{4,60}?(?:基金|集合资产管理计划))", text)
|
||||
fees["full_name"] = name.group(1) if name else None
|
||||
return fees
|
||||
|
||||
async def _request(self, method: str, url: str, **kwargs: Any) -> httpx.Response:
|
||||
client = self._client or httpx.AsyncClient(headers=HEADERS)
|
||||
try:
|
||||
|
||||
+84
-27
@@ -33,10 +33,18 @@
|
||||
|
||||
问：买场内基金要交哪些费用？费率是多少？
|
||||
|
||||
答：场内基金的交易费用主要是**券商佣金**，费率由您开户的券商决定，本平台不代收、
|
||||
也不设定该费率。基金本身的**管理费**与**托管费**从基金资产中按日计提、
|
||||
体现在净值里，不向您单独收取。
|
||||
各产品的管理费与托管费**以产品详情页披露为准**；本平台产品库目前只有部分产品登记了这两项。
|
||||
答：场内基金涉及两类费用 ——
|
||||
|
||||
**（1）基金自身的费用**，从基金资产中按日计提、体现在净值里，不向您单独收取：
|
||||
本平台 20 只场内基金的管理费率为 **0.15%～1.20%/年**、托管费率为 **0.05%～0.20%/年**，
|
||||
每只产品的具体费率见下一节的产品清单。**ETF 通常较低**（如沪深300ETF 管理费 0.15%/年、
|
||||
托管费 0.05%/年），**LOF 与主动管理型较高**（如南方积极配置混合 1.20%/年、托管 0.20%/年）。
|
||||
货币 ETF 另收销售服务费（如货币ETF南方 0.25%/年）。
|
||||
|
||||
**（2）交易费用**，即您买卖时产生的**券商佣金**，费率由您开户的券商决定，
|
||||
本平台不代收、也不设定该费率。
|
||||
|
||||
具体以产品详情页披露与交易页面展示为准。
|
||||
|
||||
### 1.3 价格最小变动单位
|
||||
|
||||
@@ -110,7 +118,7 @@
|
||||
|
||||
## 三、重点产品条目
|
||||
|
||||
### 3.1 沪深300ETF（510300）—— 字段最全，建议作为演示主产品
|
||||
### 3.1 沪深300ETF（510300）—— ⚠️ 这只的身份存疑，见下方红字
|
||||
|
||||
问：沪深300ETF 的起投金额是多少？南方沪深300ETF 怎么买？
|
||||
|
||||
@@ -118,32 +126,47 @@
|
||||
风险等级 **R3**。它按"手"交易，**1 手 = 100 份**，
|
||||
按最新净值 **4.5794 元**（2026-09-11）估算，买入 1 手约需 **458 元**；
|
||||
产品库中登记的最小交易金额为 **100.00 元**。
|
||||
该产品的管理费率为 **0.50%/年**、托管费率为 **0.10%/年**（从基金资产中计提，不单独向您收取）。
|
||||
该产品的管理费率为 **0.15%/年**、托管费率为 **0.05%/年**（从基金资产中计提，不单独向您收取）。
|
||||
实际成交金额、可买数量与费用请以交易页面的实时报价为准。
|
||||
|
||||
> ⚠️ **两处待你确认**：
|
||||
> 🔴 **这只不是南方基金的产品**。数据源返回的基金全称是
|
||||
> 「**华泰柏瑞**沪深300交易型开放式指数证券投资基金」，而库里 `fund_manager` 写的是
|
||||
> **「南方基金」**。其余 19 只的全称都带"南方"前缀，只有它例外。
|
||||
>
|
||||
> 1. **净值口径**：这条用的是数据源真实值 **4.5794**，而库里 `fin_product.current_nav` 是
|
||||
> **4.500000**，且快照时间是 **2026-09-13 08:19:37**（就是今天）—— 其余 19 只的快照
|
||||
> 都停在 `2026-09-11 15:00:00`。**说明这条是被人为改过的演示值**（整数好算"450 元"）。
|
||||
> 知识条目该用真实值还是演示值，请你定；如果交易链路读的是库里那个值，
|
||||
> 那么"知识说 4.5794、下单按 4.5 成交"会不一致。
|
||||
> 2. **"1 手约 458 元"与"最小交易金额 100.00 元"仍不相等** —— 前者是 `lot_size=100 × 真实净值`，
|
||||
> 后者是 `fin_product.min_amount` 原值。请确认该以哪个为准，或说明 `min_amount`
|
||||
> 对场内产品不参与校验。**未确认前建议回答里只保留"1 手 = 100 份、金额随市价变动"。**
|
||||
> 这解释了为什么**唯独它**的数据处处特殊：
|
||||
>
|
||||
> | 字段 | 库里 | 真实（东方财富） |
|
||||
> |---|---|---|
|
||||
> | `fund_manager` | 南方基金 | **华泰柏瑞** |
|
||||
> | `current_nav` | 4.500000（快照时间**当天**） | 4.5794 |
|
||||
> | `management_fee_rate` | 0.5000 | **0.15** |
|
||||
> | `custodian_fee_rate` | 0.1000 | **0.05** |
|
||||
>
|
||||
> 而且 `0.50/0.10` 恰好是另外几只 ETF（`159329`/`159382`/`159511`/`588890`）的真实费率，
|
||||
> 看起来是**照抄过来的值**。
|
||||
>
|
||||
> 影响面比"知识库答不准"更大：`MarketQuoteSyncService` 按 `fund_manager = '南方基金'`
|
||||
> 筛选同步对象，所以这只**会被当成南方产品一起同步、一起显示**。
|
||||
> **请你决定**：是把它的 `fund_manager` 改回"华泰柏瑞"（那它就会退出同步范围、
|
||||
> 投顾与知识条目也不该再把它算作自家产品），还是保留现状作为演示数据 ——
|
||||
> 若保留，建议在演示口径里说清楚"这只是同指数产品、不是本公司产品"。
|
||||
>
|
||||
> ⚠️ 另外两点仍需你定：**（a）**净值该用真实值 4.5794 还是库里的演示值 4.500000；
|
||||
> **（b）**"1 手约 458 元"与"最小交易金额 100.00 元"仍不相等，请确认以哪个为准。
|
||||
|
||||
### 3.2 其他产品（简版模板）
|
||||
|
||||
其余 19 只按同一模板生成，字段取自第二节的表格：
|
||||
其余 19 只按同一模板生成，净值取第二节的表、费率取 4.3 的表：
|
||||
|
||||
问：<产品名> 是什么？代码是多少？风险等级？
|
||||
问：<产品名> 是什么？代码是多少？风险等级？费率多少？
|
||||
|
||||
答：<产品名>（代码 <product_code>）在<上交所/深交所>挂牌，属于 <ETF/LOF>，
|
||||
风险等级 <R?，由平台产品库登记>。按"手"交易，1 手 = 100 份。
|
||||
最新净值 <current_nav>（<净值日期>）。交易费用与费率以产品详情页和交易页面为准。
|
||||
风险等级 <R?>。按"手"交易，**1 手 = 100 份**。最新净值 <净值>（<净值日期>）。
|
||||
管理费率 <x>%/年、托管费率 <y>%/年，从基金资产中计提、不单独向您收取；
|
||||
买卖时的券商佣金由您开户的券商决定，本平台不代收。
|
||||
具体以产品详情页与交易页面为准。
|
||||
|
||||
> ⚠️ 这 19 只**只有 `510300` 登记了管理费与托管费**，其余全部为空
|
||||
> （`transaction_fee_rate` 更是 20 只全空），所以模板里不写任何费率数字。
|
||||
> 费率数值直接取 4.3 —— **20 只都有真实值**，不必再写"以页面为准"这种模糊话术。
|
||||
|
||||
---
|
||||
|
||||
@@ -151,9 +174,8 @@
|
||||
|
||||
| 字段 | 现状 | 影响 |
|
||||
|---|---|---|
|
||||
| `transaction_fee_rate` | **20/20 全空** | 无法回答"交易费率是多少"，只能指向券商 |
|
||||
| `management_fee_rate` | 仅 `510300` 有（0.5000） | 其余 19 只无法回答管理费 |
|
||||
| `custodian_fee_rate` | 仅 `510300` 有（0.1000） | 同上 |
|
||||
| ~~`management_fee_rate`~~ / ~~`custodian_fee_rate`~~ | **已补齐**：20 只真实费率全部取到，见 4.3 | 库里 19 只为空；`510300` 的值与真实冲突（0.5000/0.1000 vs 0.15/0.05） |
|
||||
| `transaction_fee_rate` | **20/20 全空** | 场内交易佣金由券商收取，本就不该由平台登记，**保留为空是合理的** |
|
||||
| `min_amount` | 19 只为 `0.00`，`510300` 为 `100.00` | 场内产品的"最小金额"语义待确认 |
|
||||
| `risk_disclosure_required` 等三项 | 全部为 `0` | 与"严格风险等级匹配"的业务口径是否需要区分产品，待确认 |
|
||||
| 产品"起投金额" | **表里没有这个字段** | 场内按手交易，本就没有固定起投金额；建议统一按 1.1 的口径回答 |
|
||||
@@ -182,9 +204,44 @@
|
||||
**差三个数量级** —— 两个接口对这只的含义不同，**需要人工核实该用哪个口径**
|
||||
- 建议：核实之前，知识条目**不要写这只的具体净值**
|
||||
|
||||
> 复现：`python tools/fetch_live_quotes.py`（默认表格对比，`--json` 输出结构化结果）。
|
||||
> 该脚本只报告差异、**不写库** —— `fin_product.current_nav` 的刷新属于
|
||||
> `ProductHistorySyncService` / `MarketQuoteSyncService` 的职责。
|
||||
> 复现：`python tools/fetch_live_quotes.py`（默认表格对比，`--json` 输出结构化结果，
|
||||
> `--no-fees` 可跳过费率抓取）。该脚本只报告差异、**不写库** —— `fin_product.current_nav`
|
||||
> 的刷新属于 `ProductHistorySyncService` / `MarketQuoteSyncService` 的职责。
|
||||
|
||||
### 4.3 真实费率（2026-09-13 取自东方财富 f10 基金概况页）
|
||||
|
||||
**20 只全部取到**，库里 19 只为空、1 只与真实冲突。费率是**长期稳定**字段，
|
||||
下列数值可放心写进知识条目：
|
||||
|
||||
| 代码 | 名称 | 管理费 %/年 | 托管费 %/年 | 销售服务费 %/年 |
|
||||
|---|---|---|---|---|
|
||||
| 159329 | 沙特ETF南方 | 0.50 | 0.10 | — |
|
||||
| 159382 | 创业板人工智能ETF南方 | 0.50 | 0.10 | — |
|
||||
| 159511 | 通信ETF南方 | 0.50 | 0.10 | — |
|
||||
| 159615 | 恒生生物科技ETF南方 | 0.50 | 0.15 | — |
|
||||
| 159687 | 亚太精选ETF南方 | 0.20 | 0.05 | — |
|
||||
| 159700 | 科创债ETF南方 | 0.15 | 0.05 | — |
|
||||
| 159948 | 创业板ETF南方 | 0.15 | 0.05 | — |
|
||||
| 160105 | 南方积极配置混合(LOF) | 1.20 | 0.20 | — |
|
||||
| 160127 | 南方新兴消费增长股票(LOF)A | 1.20 | 0.20 | — |
|
||||
| 160128 | 南方金利定开债券A | 0.50 | 0.15 | — |
|
||||
| 160129 | 南方金利定开债券C | 0.50 | 0.15 | — |
|
||||
| 160142 | 南方优势产业(LOF) | 1.20 | 0.20 | — |
|
||||
| 160143 | 南方创业板2年定期开放混合 | 1.20 | 0.20 | — |
|
||||
| 501018 | 南方原油A | 1.00 | 0.20 | — |
|
||||
| 501062 | 南方瑞合定开混合(LOF) | 1.20 | 0.20 | — |
|
||||
| **510300** | 沪深300ETF | **0.15** | **0.05** | — |
|
||||
| 510500 | 中证500ETF南方 | 0.15 | 0.05 | — |
|
||||
| 511070 | 公司债ETF南方 | 0.15 | 0.05 | — |
|
||||
| 511810 | 货币ETF南方 | 0.30 | 0.05 | **0.25** |
|
||||
| 588890 | 科创芯片ETF南方 | 0.50 | 0.10 | — |
|
||||
|
||||
**规律**：宽基/债券 ETF 多为 0.15% 管理费，行业主题 ETF 多为 0.50%，
|
||||
主动管理型 LOF 为 1.00%～1.20%。只有货币 ETF 收销售服务费。
|
||||
|
||||
> 📌 **一处提醒**：数据源没有给出**场内交易的佣金费率**（`transaction_fee_rate` 20 只全空），
|
||||
> 这是**正常的** —— 佣金由客户开户的券商决定，平台不该也不能登记它。
|
||||
> 所以"交易费率是多少"这个问题，标准答法是引到券商，而不是从产品库取值。
|
||||
|
||||
---
|
||||
|
||||
|
||||
@@ -0,0 +1,144 @@
|
||||
"""把真实费率回填到 `fin_product`（默认 dry-run，只有 `--apply` 才写库）。
|
||||
|
||||
## 为什么需要它
|
||||
|
||||
`fin_product.management_fee_rate` / `custodian_fee_rate` 在本机 **20 只里 19 只为空**，
|
||||
客户问"管理费多少"只能转人工。费率可以从东方财富 f10 基金概况页取到
|
||||
（`EastmoneyFundAdapter.fetch_fees`），本脚本负责把它落到库里。
|
||||
|
||||
## 安全设计
|
||||
|
||||
1. **默认 dry-run**：只打印将执行的 UPDATE，不写库。要真正写入必须显式给 `--apply`。
|
||||
2. **默认只补空值**：`NULL` 才写，**已有值一律不动** —— 因为已有值可能是人为设定
|
||||
（本机 `510300` 就是：库里 0.5000/0.1000，真实 0.15/0.05）。要覆盖必须再给 `--overwrite`。
|
||||
3. **`--overwrite` 也只改这一只这一类**：它不会顺手把别的东西一起改掉。
|
||||
4. 写入走单个事务，任一失败整体回滚。
|
||||
|
||||
## 用法
|
||||
|
||||
python tools/backfill_product_fees.py # 看将要改什么
|
||||
python tools/backfill_product_fees.py --apply # 只补空值
|
||||
python tools/backfill_product_fees.py --apply --overwrite # 连已有值一起改成真实值
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import argparse
|
||||
import asyncio
|
||||
import sys
|
||||
from datetime import UTC, datetime
|
||||
from pathlib import Path
|
||||
|
||||
from sqlalchemy import text
|
||||
|
||||
PROJECT_ROOT = Path(__file__).resolve().parents[1]
|
||||
if str(PROJECT_ROOT) not in sys.path:
|
||||
sys.path.insert(0, str(PROJECT_ROOT))
|
||||
|
||||
from app.infrastructure.db import SessionFactory # noqa: E402
|
||||
from app.infrastructure.fund_market_adapter import EastmoneyFundAdapter # noqa: E402
|
||||
|
||||
if hasattr(sys.stdout, "reconfigure"):
|
||||
sys.stdout.reconfigure(errors="replace") # type: ignore[union-attr]
|
||||
|
||||
#: 与 `MarketQuoteSyncService.sync` 同一批产品。
|
||||
PRODUCT_QUERY = """
|
||||
SELECT id, product_code, product_name, management_fee_rate, custodian_fee_rate
|
||||
FROM fin_product
|
||||
WHERE fund_manager = '南方基金'
|
||||
AND exchange_code IN ('SSE', 'SZSE')
|
||||
AND status = '上市'
|
||||
ORDER BY product_code
|
||||
"""
|
||||
|
||||
#: 库字段 ↔ 数据源字段。
|
||||
FEE_FIELDS = (
|
||||
("management_fee_rate", "management_fee_rate"),
|
||||
("custodian_fee_rate", "custodian_fee_rate"),
|
||||
)
|
||||
|
||||
|
||||
def _same(left: object, right: object) -> bool:
|
||||
if left is None or right is None:
|
||||
return False
|
||||
try:
|
||||
return abs(float(str(left)) - float(str(right))) < 1e-9
|
||||
except (TypeError, ValueError):
|
||||
return str(left) == str(right)
|
||||
|
||||
|
||||
async def main() -> int:
|
||||
parser = argparse.ArgumentParser(description="把真实费率回填到 fin_product")
|
||||
parser.add_argument("--apply", action="store_true", help="真正写库（默认只看不改）")
|
||||
parser.add_argument(
|
||||
"--overwrite", action="store_true",
|
||||
help="连已有值也改（默认只补 NULL，不动人为设定过的值）",
|
||||
)
|
||||
args = parser.parse_args()
|
||||
|
||||
async with SessionFactory() as session:
|
||||
rows = (await session.execute(text(PRODUCT_QUERY))).mappings().all()
|
||||
|
||||
adapter = EastmoneyFundAdapter()
|
||||
fees = await adapter.fetch_fees([str(row["product_code"]) for row in rows])
|
||||
print(f"产品 {len(rows)} 只；取到真实费率 {len(fees)} 只\n")
|
||||
|
||||
updates: list[tuple[int, str, str, object]] = []
|
||||
conflicts: list[str] = []
|
||||
for row in rows:
|
||||
code = str(row["product_code"])
|
||||
live = fees.get(code)
|
||||
if not live:
|
||||
continue
|
||||
for column, key in FEE_FIELDS:
|
||||
live_value = live.get(key)
|
||||
if live_value is None:
|
||||
continue
|
||||
stored = row[column]
|
||||
if stored is not None and not _same(stored, live_value):
|
||||
conflicts.append(
|
||||
f"{code} {row['product_name']} 的 {column}：库里 {stored} → 真实 {live_value}"
|
||||
)
|
||||
if not args.overwrite:
|
||||
continue
|
||||
if stored is not None and not args.overwrite:
|
||||
continue
|
||||
if _same(stored, live_value):
|
||||
continue
|
||||
updates.append((int(row["id"]), code, column, live_value))
|
||||
|
||||
if conflicts:
|
||||
print("与库里已有值冲突（默认不动，需要 --overwrite 才覆盖）：")
|
||||
for line in conflicts:
|
||||
print(f" * {line}")
|
||||
print()
|
||||
|
||||
if not updates:
|
||||
print("没有需要回填的字段。")
|
||||
return 0
|
||||
|
||||
print(f"将执行 {len(updates)} 条 UPDATE：")
|
||||
for _, code, column, value in updates:
|
||||
print(f" · {code} {column} = {value}")
|
||||
|
||||
if not args.apply:
|
||||
print("\n[dry-run] 未写库。加 --apply 执行。")
|
||||
return 0
|
||||
|
||||
now = datetime.now(UTC).replace(tzinfo=None)
|
||||
async with SessionFactory() as session, session.begin():
|
||||
for product_id, _, column, value in updates:
|
||||
# 列名来自本模块常量，不是外部输入；值走参数绑定。
|
||||
await session.execute(
|
||||
text(
|
||||
f"UPDATE fin_product SET {column} = :value, updated_at = :now "
|
||||
"WHERE id = :product_id"
|
||||
),
|
||||
{"value": value, "now": now, "product_id": product_id},
|
||||
)
|
||||
print(f"\n已写入 {len(updates)} 个字段。")
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(asyncio.run(main()))
|
||||
+123
-42
@@ -1,27 +1,34 @@
|
||||
"""拉取场内基金的真实行情并核对库里的快照。
|
||||
"""拉取场内基金的真实行情与费率，并核对库里的快照。
|
||||
|
||||
## 数据源
|
||||
|
||||
走项目自带的 `EastmoneyFundAdapter`（`app/infrastructure/fund_market_adapter.py`），
|
||||
不自己拼 HTTP、不引第三方行情库：
|
||||
|
||||
· 实时/收盘价 `https://push2.eastmoney.com/api/qt/ulist.np/get`
|
||||
· 历史净值 `https://api.fund.eastmoney.com/f10/lsjz`
|
||||
· 历史净值 `api.fund.eastmoney.com/f10/lsjz`
|
||||
· 费率 `fundf10.eastmoney.com/jbgk_{code}.html`（管理费/托管费/销售服务费/申赎费）
|
||||
· 实时行情 `push2.eastmoney.com/api/qt/ulist.np/get`（见适配器 `fetch_quotes`）
|
||||
|
||||
同一套适配器也是下单链路（`TradeService` 取 `quote_price`/`quote_source`）
|
||||
与 `MarketQuoteSyncService`（东财 + 腾讯双源）在用的，所以这里拿到的值与成交价同源。
|
||||
|
||||
## 用法
|
||||
|
||||
python tools/fetch_live_quotes.py # 与库里快照逐只对比
|
||||
python tools/fetch_live_quotes.py --json # 只输出 JSON（供生成知识条目等）
|
||||
python tools/fetch_live_quotes.py # 净值 + 费率，与库里逐只对比
|
||||
python tools/fetch_live_quotes.py --no-fees # 跳过费率（费率要串行抓 45KB/只，慢）
|
||||
python tools/fetch_live_quotes.py --json # 输出 JSON（供生成知识条目等）
|
||||
|
||||
## 为什么要做对比而不是直接覆盖
|
||||
|
||||
`fin_product.current_nav` 是**快照缓存**，正常情况下与数据源一致（本机 20 只里 18 只
|
||||
完全一致，只是小数位表示不同）。**不一致的那两只才是重点**：它们要么被人为改过
|
||||
（演示需要），要么字段口径本身有问题 —— 直接覆盖会把线索一起抹掉。
|
||||
所以本脚本只**报告**差异，不写库；要不要刷新由 `ProductHistorySyncService` 决定。
|
||||
`fin_product.current_nav` / `management_fee_rate` 都是**快照缓存**。多数情况下与数据源
|
||||
一致，**不一致的那几只才是重点**：它们要么被人为改过（演示需要），要么字段本身填错。
|
||||
直接覆盖会把线索一起抹掉。所以本脚本只**报告**差异、不写库
|
||||
（刷新快照属于 `ProductHistorySyncService` / `MarketQuoteSyncService` 的职责）。
|
||||
|
||||
本机实测的两处不一致（2026-09-13），都是这么发现的：
|
||||
· `510300` 库里净值 4.500000、真实 4.5794（且库里快照时间是当天，其余 19 只停在 09-11）
|
||||
· `510300` 库里管理费 0.5000 / 托管费 0.1000、真实 0.15 / 0.05
|
||||
—— 而 `0.50/0.10` 恰好是另外几只 ETF 的真实值，像是照抄过来的
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
@@ -49,7 +56,7 @@ if hasattr(sys.stdout, "reconfigure"):
|
||||
PRODUCT_QUERY = """
|
||||
SELECT product_code, product_name, exchange_code, product_category, risk_level,
|
||||
lot_size, min_amount, current_nav, current_nav_at,
|
||||
management_fee_rate, custodian_fee_rate
|
||||
management_fee_rate, custodian_fee_rate, transaction_fee_rate
|
||||
FROM fin_product
|
||||
WHERE fund_manager = '南方基金'
|
||||
AND exchange_code IN ('SSE', 'SZSE')
|
||||
@@ -57,8 +64,28 @@ PRODUCT_QUERY = """
|
||||
ORDER BY product_code
|
||||
"""
|
||||
|
||||
#: 库里已有值的费率字段 ↔ 数据源字段（用于逐项核对）。
|
||||
FEE_STORED_TO_LIVE = {
|
||||
"management_fee_rate": "management_fee_rate",
|
||||
"custodian_fee_rate": "custodian_fee_rate",
|
||||
}
|
||||
|
||||
async def collect() -> list[dict[str, object]]:
|
||||
|
||||
def _text(value: object) -> str | None:
|
||||
return None if value is None else str(value)
|
||||
|
||||
|
||||
def _same(left: object, right: object) -> bool:
|
||||
"""比较两个费率/净值文本，容忍 `0.5` 与 `0.5000` 这种表示差异。"""
|
||||
if left is None or right is None:
|
||||
return False
|
||||
try:
|
||||
return abs(float(str(left)) - float(str(right))) < 1e-9
|
||||
except (TypeError, ValueError):
|
||||
return str(left) == str(right)
|
||||
|
||||
|
||||
async def collect(*, with_fees: bool = True) -> list[dict[str, object]]:
|
||||
async with SessionFactory() as session:
|
||||
rows = (await session.execute(text(PRODUCT_QUERY))).mappings().all()
|
||||
|
||||
@@ -68,41 +95,44 @@ async def collect() -> list[dict[str, object]]:
|
||||
*(adapter.fetch_history(code, date.today()) for code in codes),
|
||||
return_exceptions=True,
|
||||
)
|
||||
# 费率走 f10 概况页：约 45KB/只、且适配器内部是串行抓取（不对公开接口并发施压），
|
||||
# 因此只在需要时拉 —— `--no-fees` 可跳过。
|
||||
fees: dict[str, dict[str, object]] = {}
|
||||
if with_fees:
|
||||
fees = await adapter.fetch_fees(codes)
|
||||
|
||||
records: list[dict[str, object]] = []
|
||||
for row, history in zip(rows, histories, strict=True):
|
||||
code = str(row["product_code"])
|
||||
if isinstance(history, BaseException):
|
||||
history = {"degraded": True, "error": type(history).__name__}
|
||||
live_nav = history.get("nav")
|
||||
stored_nav = row["current_nav"]
|
||||
records.append({
|
||||
"product_code": str(row["product_code"]),
|
||||
live_fee = fees.get(code) or {}
|
||||
record: dict[str, object] = {
|
||||
"product_code": code,
|
||||
"product_name": str(row["product_name"]),
|
||||
"exchange_code": str(row["exchange_code"]),
|
||||
"product_category": str(row["product_category"]),
|
||||
"risk_level": str(row["risk_level"]),
|
||||
"lot_size": str(row["lot_size"]),
|
||||
"min_amount": str(row["min_amount"]),
|
||||
"management_fee_rate": (
|
||||
None if row["management_fee_rate"] is None else str(row["management_fee_rate"])
|
||||
),
|
||||
"custodian_fee_rate": (
|
||||
None if row["custodian_fee_rate"] is None else str(row["custodian_fee_rate"])
|
||||
),
|
||||
"live_nav": None if live_nav is None else str(live_nav),
|
||||
"live_nav_date": (
|
||||
None if history.get("nav_date") is None else str(history["nav_date"])
|
||||
),
|
||||
"live_change_pct": (
|
||||
None if history.get("daily_change") is None else str(history["daily_change"])
|
||||
),
|
||||
"live_nav": _text(live_nav),
|
||||
"live_nav_date": _text(history.get("nav_date")),
|
||||
"live_change_pct": _text(history.get("daily_change")),
|
||||
"stored_nav": str(stored_nav),
|
||||
"stored_nav_at": str(row["current_nav_at"]),
|
||||
"matches_stored": (
|
||||
live_nav is not None and float(live_nav) == float(stored_nav)
|
||||
),
|
||||
"matches_stored": _same(live_nav, stored_nav),
|
||||
"degraded": bool(history.get("degraded")),
|
||||
})
|
||||
}
|
||||
for stored_field, live_field in FEE_STORED_TO_LIVE.items():
|
||||
record[f"stored_{stored_field}"] = _text(row[stored_field])
|
||||
record[f"live_{live_field}"] = _text(live_fee.get(live_field))
|
||||
record["live_service_fee_rate"] = _text(live_fee.get("service_fee_rate"))
|
||||
record["live_subscribe_fee_rate"] = _text(live_fee.get("subscribe_fee_rate"))
|
||||
record["live_redeem_fee_rate"] = _text(live_fee.get("redeem_fee_rate"))
|
||||
record["live_full_name"] = _text(live_fee.get("full_name"))
|
||||
records.append(record)
|
||||
return records
|
||||
|
||||
|
||||
@@ -110,9 +140,13 @@ def render(records: list[dict[str, object]]) -> None:
|
||||
ok = [item for item in records if not item["degraded"]]
|
||||
same = [item for item in ok if item["matches_stored"]]
|
||||
diff = [item for item in ok if not item["matches_stored"]]
|
||||
print("=" * 100)
|
||||
print("净值核对（数据源 vs 库里快照）")
|
||||
print("=" * 100)
|
||||
print(f"场内产品 {len(records)} 只；取到真实行情 {len(ok)} 只"
|
||||
f"（与库里一致 {len(same)}、不一致 {len(diff)}）\n")
|
||||
header = f"{'代码':<8}{'名称':<26}{'真实净值':>10}{'涨跌%':>8}{'净值日期':>12} {'库里净值':>11} 核对"
|
||||
header = (f"{'代码':<8}{'名称':<26}{'真实净值':>10}{'涨跌%':>8}{'净值日期':>12}"
|
||||
f" {'库里净值':>11} 核对")
|
||||
print(header)
|
||||
print("-" * len(header))
|
||||
for item in records:
|
||||
@@ -128,24 +162,71 @@ def render(records: list[dict[str, object]]) -> None:
|
||||
f"{str(item['live_nav_date']):>12} {str(item['stored_nav']):>11} {verdict}"
|
||||
)
|
||||
|
||||
if diff:
|
||||
print("\n不一致的条目（需要人工判断，不要直接覆盖）：")
|
||||
for item in diff:
|
||||
print(f" · {item['product_code']} {item['product_name']}")
|
||||
print(f" 真实 {item['live_nav']}（{item['live_nav_date']}）"
|
||||
f" vs 库里 {item['stored_nav']}（快照于 {item['stored_nav_at']}）")
|
||||
fee_rows = [item for item in records if item.get("live_management_fee_rate") is not None]
|
||||
if fee_rows:
|
||||
print()
|
||||
print("=" * 100)
|
||||
print("费率核对（数据源 vs 库里字段）")
|
||||
print("=" * 100)
|
||||
fee_header = (f"{'代码':<8}{'名称':<24}{'真实管理费':>11}{'库里':>8}"
|
||||
f"{'真实托管费':>11}{'库里':>8} 核对")
|
||||
print(fee_header)
|
||||
print("-" * len(fee_header))
|
||||
fee_diff = []
|
||||
for item in fee_rows:
|
||||
live_manage = item["live_management_fee_rate"]
|
||||
stored_manage = item["stored_management_fee_rate"]
|
||||
if stored_manage is None:
|
||||
verdict = "库里为空"
|
||||
elif _same(live_manage, stored_manage) and _same(
|
||||
item["live_custodian_fee_rate"], item["stored_custodian_fee_rate"]
|
||||
):
|
||||
verdict = "一致"
|
||||
else:
|
||||
verdict = "**不一致**"
|
||||
fee_diff.append(item)
|
||||
print(
|
||||
f"{str(item['product_code']):<8}{str(item['product_name'])[:22]:<24}"
|
||||
f"{str(live_manage):>11}{str(stored_manage):>8}"
|
||||
f"{str(item['live_custodian_fee_rate']):>11}"
|
||||
f"{str(item['stored_custodian_fee_rate']):>8} {verdict}"
|
||||
)
|
||||
empty = [item for item in fee_rows if item["stored_management_fee_rate"] is None]
|
||||
print(f"\n真实费率全部取到 {len(fee_rows)} 只；库里为空 {len(empty)} 只、"
|
||||
f"与真实值冲突 {len(fee_diff)} 只")
|
||||
|
||||
missing = [item["product_code"] for item in records if item["degraded"]]
|
||||
if missing:
|
||||
print(f"\n取数失败：{missing}")
|
||||
if diff or fee_diff:
|
||||
print()
|
||||
print("需要人工判断的条目（不要直接覆盖）：")
|
||||
for item in diff:
|
||||
print(f" · 净值 {item['product_code']} {item['product_name']}："
|
||||
f"真实 {item['live_nav']}（{item['live_nav_date']}） vs "
|
||||
f"库里 {item['stored_nav']}（{item['stored_nav_at']}）")
|
||||
for item in fee_diff:
|
||||
print(f" · 费率 {item['product_code']} {item['product_name']}："
|
||||
f"真实 管理 {item['live_management_fee_rate']} / 托管 "
|
||||
f"{item['live_custodian_fee_rate']} vs 库里 管理 "
|
||||
f"{item['stored_management_fee_rate']} / 托管 "
|
||||
f"{item['stored_custodian_fee_rate']}")
|
||||
|
||||
full_names = [
|
||||
(str(item["product_code"]), item["live_full_name"])
|
||||
for item in records if item.get("live_full_name")
|
||||
]
|
||||
if full_names:
|
||||
print()
|
||||
print("数据源返回的基金全称（可用于核对 fund_manager 标注是否正确）：")
|
||||
for code, name in full_names:
|
||||
print(f" · {code} {name}")
|
||||
|
||||
|
||||
async def main() -> int:
|
||||
parser = argparse.ArgumentParser(description="拉取场内基金真实行情并核对库里快照")
|
||||
parser = argparse.ArgumentParser(description="拉取场内基金真实行情与费率，核对库里快照")
|
||||
parser.add_argument("--json", action="store_true", help="只输出 JSON")
|
||||
parser.add_argument("--no-fees", action="store_true", help="跳过费率抓取（较快）")
|
||||
args = parser.parse_args()
|
||||
|
||||
records = await collect()
|
||||
records = await collect(with_fees=not args.no_fees)
|
||||
if args.json:
|
||||
print(json.dumps(records, ensure_ascii=False, indent=1))
|
||||
else:
|
||||
|
||||
Reference in New Issue
Block a user