docs: §32 资金流全市场回填完成——12维数据基础全齐
- 关键发现: 新浪ssl_qsfx_zjlrqs单票返回上市以来全历史(茅台3983天), 现有采集器只取5天是浪费 - 双机分流绕单IP限速: 246跑800只 + Windows 8进程跑3210只(10分钟), 720万行28秒入库 - 最终924万行/3980codes(99.3%), v_weak票覆盖221/222 - 质量校验: 茅台9/24行情+31.57亿/10.8崩盘-31.98亿 与史实吻合 - 东财/新浪口径不同但符号一致(3/3), INSERT OR IGNORE混源可用 - 12维全市场数据: 技术✅消息✅行业✅资金✅ 全部就绪
This commit is contained in:
@@ -972,3 +972,36 @@ v_weak 用"深超跌+缩量+收阳"选的是**没被新闻盯上的超跌票**
|
||||
| sector_index_daily 行业指数 | 103行业 10y | ✅ 合成回填完成(§31.1) |
|
||||
| stock_capital_flow 资金流 | 259只 | ❌ 仅池内,全市场待回填(新浪路线) |
|
||||
- 12维全市场数据基础:技术面✅ 消息面✅ 行业✅(合成)资金面❌——**唯一缺口=资金流**。
|
||||
|
||||
|
||||
## §32 资金流全市场回填完成——12维数据基础全齐(2026-08-05)
|
||||
|
||||
### §32.1 关键发现:新浪资金流 API 有全历史
|
||||
- `MoneyFlow.ssl_qsfx_zjlrqs` 单票返回**上市以来全部日线**(茅台 3983 天,2010 起)——现有 capital_flow_collector.py 只取最近 5 天是浪费。
|
||||
- 字段:netamount(主力净流入额)、ratioamount(净流入占比)、r0_net(超大单)。无 r1/r2/r3 大中小单分解(老接口已死)。
|
||||
- 与东财口径数值不同但**符号一致**(3/3 对照验证)——flow 因子是符号驱动,混源可用(INSERT OR IGNORE 保留原东财行)。
|
||||
|
||||
### §32.2 回填执行(双机分流绕开单IP限速)
|
||||
- 246 直跑被新浪限速(~19s/只,ETA 7 小时)→ 拆分:246 跑前 800 只 + Windows 本机 8 进程跑 3210 只(不同 IP)。
|
||||
- Windows 侧 10 分钟跑完(0 封禁),scp 回 246 入库(720 万行/28 秒)。
|
||||
- **最终:9,243,548 行,3980/4010 codes(99.3%)**,v_weak 实单票覆盖 221/222。
|
||||
- 30 只永久缺口:920 北交所 / 518880 ETF / 退市股(新浪天然无数据,可接受)。
|
||||
|
||||
### §32.3 数据质量校验
|
||||
- 茅台 9/24 行情日主力净流入 +31.57 亿(+24.1%)、9/26 +32.7 亿、10/8 崩盘日 -31.98 亿——与史实完全吻合。
|
||||
- 历史深度 2016-01 起(2016 年 64.8 万行)。
|
||||
|
||||
### §32.4 12维全市场数据基础——最终状态(全部就绪)
|
||||
| 维度 | 数据 | 覆盖 | 状态 |
|
||||
|---|---|---|---|
|
||||
| 技术面 | stock_daily | 4010只 10y | ✅ |
|
||||
| 消息面 | stock_news | 3971只 403万条 | ✅(08-04回填) |
|
||||
| 行业 | stock_sectors_em + sector_index_daily | 3454映射(58.5%) + 103行业10y(合成) | ✅(§31) |
|
||||
| 资金面 | stock_capital_flow | 3980只 10y 924万行 | ✅(本节) |
|
||||
- **12 维全因子研究的数据基础已全部就绪**。剩余小尾巴:1664 只行业映射未覆盖(东财解封后慢补)。
|
||||
|
||||
### §32.5 回填资产清单(复用价值)
|
||||
- 新浪资金流全历史接口:`vip.stock.finance.sina.com.cn/.../MoneyFlow.ssl_qsfx_zjlrqs?daima=sh600519`(单票全历史,0.4s 间隔安全)
|
||||
- 双机分流模式:246 被限速时,Windows 本机(不同 IP)分片并行 + scp 回传 + INSERT OR IGNORE 入库
|
||||
- 行业指数合成:成分股等权收益累乘(§31.1),不再依赖东财行业指数接口
|
||||
- 脚本:/tmp/flow_backfill.py(246)、fetch_flow_chunk.ps1(Windows 分片)、/tmp/import_flow.py(入库)
|
||||
|
||||
Reference in New Issue
Block a user