group_xinghuo_jinrong/scripts/core/fetch_nav.py

# -*- coding: utf-8 -*-
"""联网拉取**真实**基金历史净值，生成 `core_product_nav` 种子 SQL。

背景（为什么要有这个脚本）
------------------------------------------------------------------
旧种子 `06-seed-nav.sql` 只写了**一天**、且是人造数值（`nav_date` 写死 2026-09-04，
`PROD-110022` 净值 1.0300）。T+1 受理/确认分离模型要求「T 日受理、T+1 按 **T 日净值**确认」，
净值只有一天 ⇒ 只要跑批日期不是那一天，T 日净值必然缺失，确认流程直接卡死。

因此本脚本做两件事：
1. **联网**从天天基金（东方财富）公开接口拉取真实历史净值，生成多日种子；
2. 提供**增量补拉**能力：真实净值只到「今天」，明后天再跑演示仍会缺 T 日净值，
   重跑本脚本即可把最新净值补进种子（不必再人造数据）。

数据来源（可复核）
------------------------------------------------------------------
- 接口：`https://fund.eastmoney.com/pingzhongdata/{基金代码}.js`
- 内容：该基金自成立以来的 `Data_netWorthTrend`（每日单位净值 + 日涨幅）。
- 用法：纯标准库 `urllib`，无第三方依赖（本项目红线：不新增第三方依赖）。

产品 ↔ 真实净值来源的映射（**按类型 + 风险等级配对**，不是按产品 ID 字面代码）
------------------------------------------------------------------
项目里 `PROD-110022` 这类 ID 只是长得像基金代码，实际名字与类型是**虚构**的
（如 `PROD-110022` 叫「稳健债基 A」/ bond / R1，但真实 110022 是「易方达消费行业股票」，
日波动 −1.63%，拿它当债基净值会让风控演示结论失真）。
故本脚本为每个产品**单独指定一只类型匹配的真实基金**作为净值数值来源，
只借用其数值与波动特征，基金名称照写在生成 SQL 的注释里，便于复核。

货币基金（`PROD-000001` 现金宝货币）
------------------------------------------------------------------
真实业务中货币基金**单位净值恒为 1.0000 元**，收益以份额结转，不存在净值序列
（实测：天弘余额宝 000198、广发钱袋子 000509 在该接口均无 `Data_netWorthTrend`）。
故货基不联网，直接按真实业务生成恒定 1.0000、日涨幅 0。

用法
------------------------------------------------------------------
    python scripts/core/fetch_nav.py                      # 拉最近 60 个交易日，写 06-seed-nav.sql
    python scripts/core/fetch_nav.py --days 120            # 拉更长区间
    python scripts/core/fetch_nav.py --stdout              # 只打印、不落盘
    python scripts/core/fetch_nav.py --cache-dir .navcache # 复用/保存原始 js，离线可重放
"""

from __future__ import annotations

import argparse
import datetime as dt
import json
import re
import sys
import urllib.request
from pathlib import Path

# ── 配置 ────────────────────────────────────────────────────────────────
PING_URL = "https://fund.eastmoney.com/pingzhongdata/{code}.js"
HEADERS = {
    "User-Agent": "Mozilla/5.0",
    "Referer": "https://fund.eastmoney.com/",
}

# product_id -> (真实基金代码, 真实基金名称, 配对理由)
NAV_SOURCE: dict[str, tuple[str, str, str]] = {
    "PROD-110022": ("000191", "富国信用债债券A/B", "bond/R1：纯债，日波动 0.02%"),
    "PROD-110023": ("000032", "易方达信用债债券A", "bond/R2：信用债，日波动 0.09%"),
    "PROD-005827": ("005827", "易方达蓝筹精选混合", "mixed/R3：代码即真身，股债平衡"),
    "PROD-005828": ("001182", "易方达安心回馈混合A", "mixed/R2：低波混合，日波动 0.73%"),
    "PROD-161725": ("161631", "融通人工智能指数(LOF)A", "stock/R4：科技主题，日波动 2.57%"),
    "PROD-161726": ("110022", "易方达消费行业股票", "stock/R4：消费主题，代码即真身"),
    "PROD-003095": ("003095", "中欧医疗健康混合A", "stock/R4：医药主题，代码即真身"),
    "PROD-510300": ("510300", "沪深300ETF华泰柏瑞", "index/R3：宽基指数，代码即真身"),
    "PROD-510500": ("510500", "中证500ETF南方", "index/R4：宽基指数，代码即真身"),
    "PROD-XYZ999": ("320007", "诺安成长混合A", "stock/R5：高波动成长，日波动 1.76%"),
    "PROD-000002": ("014437", "鹏华中证同业存单AAA指数7天持有", "bond/R1：同业存单，日波动 0.01%"),
    "PROD-WMG001": ("004155", "中信保诚至泰中短债A", "wealth_mgmt/R2：中短债，日波动 0.02%"),
    "PROD-PRIV01": ("519062", "海富通阿尔法对冲混合A", "private_fund/R4：量化对冲，日波动 0.33%"),
}

# 货币基金：净值恒为 1.0000（真实业务，不联网）
MONEY_FUNDS: dict[str, str] = {
    "PROD-000001": "现金宝货币（money/R1：货基单位净值恒为 1 元，收益以份额结转）",
}

DEFAULT_OUT = Path(__file__).with_name("06-seed-nav.sql")
DEFAULT_DAYS = 60
TIMEOUT = 30


# ── 抓取与解析 ───────────────────────────────────────────────────────────
def fetch_js(code: str, cache_dir: Path | None) -> str:
    """拉取（或读缓存）某只基金的 pingzhongdata js 文本。"""
    dest = cache_dir / f"{code}.js" if cache_dir else None
    if dest and dest.exists():
        return dest.read_text(encoding="utf-8", errors="ignore")
    req = urllib.request.Request(PING_URL.format(code=code), headers=HEADERS)
    text = urllib.request.urlopen(req, timeout=TIMEOUT).read().decode("utf-8", errors="ignore")
    if dest:
        cache_dir.mkdir(parents=True, exist_ok=True)
        dest.write_text(text, encoding="utf-8")
    return text


def parse_series(text: str) -> list[tuple[dt.date, float, float]]:
    """从 js 里解析 `(nav_date, nav, 日涨幅%)` 序列，按日期升序。"""
    match = re.search(r"var\s+Data_netWorthTrend\s*=\s*(\[.*?\]);", text, re.S)
    if not match:
        return []
    raw = json.loads(match.group(1))
    out: list[tuple[dt.date, float, float]] = []
    for item in raw:
        day = dt.datetime.fromtimestamp(item["x"] / 1000).date()
        out.append((day, float(item["y"]), float(item.get("equityReturn") or 0)))
    out.sort(key=lambda r: r[0])
    return out


# ── 生成 SQL ─────────────────────────────────────────────────────────────
def build_sql(rows: list[tuple[str, dt.date, float, float]], fetched_at: str) -> str:
    """rows = (product_id, nav_date, nav, chg_pct)"""
    sources = "\n".join(
        f"--   {pid:<13} <- {code} {name}（{why}）"
        for pid, (code, name, why) in sorted(NAV_SOURCE.items())
    )
    money = "\n".join(f"--   {pid:<13} <- 恒定 1.0000（{why}）" for pid, why in sorted(MONEY_FUNDS.items()))
    dates = [r[1] for r in rows]
    head = (
        "USE jinrong_core;\n\n"
        "-- 基金净值种子：**真实历史净值，非人造数值**\n"
        "-- 生成方式：python scripts/core/fetch_nav.py --days {n}\n"
        "-- 数据来源：天天基金（东方财富）公开接口 https://fund.eastmoney.com/pingzhongdata/{{代码}}.js\n"
        "-- 抓取时间：{fetched}\n"
        "-- 区间：{start} ~ {end}（共 {days} 个净值发布日）\n"
        "--\n"
        "-- 产品 ↔ 净值来源映射（产品 ID 为虚构，数值借用下列真实基金，按类型/风险等级配对）：\n"
        "{sources}\n"
        "{money}\n"
        "--\n"
        "-- ⚠️ 真实净值只到抓取当日。之后运行需重跑 fetch_nav.py 增量补拉，\n"
        "--    否则 T+1 确认会取不到 T 日净值（真实业务同样是「净值 T+1 才公告」）。\n\n"
    ).format(
        n=DEFAULT_DAYS,
        fetched=fetched_at,
        start=min(dates),
        end=max(dates),
        days=len(set(dates)),
        sources=sources,
        money=money,
    )

    lines: list[str] = []
    cur_pid = None
    for pid, day, nav, chg in rows:
        if pid != cur_pid:
            if cur_pid is not None:
                lines[-1] = lines[-1].rstrip(",") + ";"  # 上一组收尾
            lines.append("INSERT INTO core_product_nav (product_id, nav, daily_chg_pct, nav_date) VALUES")
            cur_pid = pid
        lines.append(f"('{pid}', {nav:.4f}, {chg:.4f}, '{day}'),")
    if lines:
        lines[-1] = lines[-1].rstrip(",") + ";"
    return head + "\n".join(lines) + "\n"


# ── 主流程 ───────────────────────────────────────────────────────────────
def main(argv: list[str] | None = None) -> int:
    ap = argparse.ArgumentParser(description="联网拉取真实基金净值并生成 core_product_nav 种子 SQL")
    ap.add_argument("--days", type=int, default=DEFAULT_DAYS, help="取最近多少个净值发布日（默认 60）")
    ap.add_argument("--out", type=Path, default=DEFAULT_OUT, help="输出 SQL 路径")
    ap.add_argument("--stdout", action="store_true", help="只打印到标准输出，不写文件")
    ap.add_argument("--cache-dir", type=Path, default=None, help="原始 js 缓存目录（可离线重放）")
    args = ap.parse_args(argv)

    fetched_at = dt.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    rows: list[tuple[str, dt.date, float, float]] = []
    failed: list[str] = []

    for pid, (code, name, _why) in sorted(NAV_SOURCE.items()):
        try:
            series = parse_series(fetch_js(code, args.cache_dir))
        except Exception as exc:  # 网络/解析失败不静默：记下来，最后汇总报错
            failed.append(f"{pid}({code} {name}): {exc}")
            continue
        if not series:
            failed.append(f"{pid}({code} {name}): 接口无 Data_netWorthTrend")
            continue
        for day, nav, chg in series[-args.days:]:
            rows.append((pid, day, nav, chg))
        print(f"[OK] {pid} <- {code} {name}：{len(series[-args.days:])} 条，最新 {series[-1][0]} {series[-1][1]}")

    # 货币基金：净值恒定 1.0000
    if rows:
        money_days = sorted({r[1] for r in rows})
        for pid in sorted(MONEY_FUNDS):
            for day in money_days:
                rows.append((pid, day, 1.0000, 0.0))
            print(f"[OK] {pid} <- 货基恒定净值 1.0000：{len(money_days)} 条")

    if failed:
        print("\n[FAIL] 以下产品拉取失败：", file=sys.stderr)
        for item in failed:
            print("  - " + item, file=sys.stderr)
        return 1

    rows.sort(key=lambda r: (r[0], r[1]))
    sql = build_sql(rows, fetched_at)
    if args.stdout:
        print(sql)
    else:
        args.out.write_text(sql, encoding="utf-8")
        print(f"\n已写入 {args.out}（{len(rows)} 行）")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())