docs: §33 行业映射全量回填完成——12维数据基础最终态

- 东财解封后抓全部496行业板成分股(0失败), 优先映射已有行业名/否则最细粒度板
- stock_sectors_em 259→5061条, 覆盖98.6%(3953/4010); 57只退市股永久缺口
- 204新行业指数合成(+356300行/12秒), sector_index_daily达299行业全10y
- 12维最终态: 技术4010 消息3971 行业5061+299 资金3980 无剩余缺口
- 沉淀封禁应对方法论: push2delay绕行/成分股合成/双机分流/哨兵值守
This commit is contained in:
xxm
2026-08-05 03:19:48 +08:00
parent 7a28b9d9dd
commit 86bd3690c1
+30
View File
@@ -1005,3 +1005,33 @@ v_weak 用"深超跌+缩量+收阳"选的是**没被新闻盯上的超跌票**
- 双机分流模式:246 被限速时,Windows 本机(不同 IP)分片并行 + scp 回传 + INSERT OR IGNORE 入库
- 行业指数合成:成分股等权收益累乘(§31.1),不再依赖东财行业指数接口
- 脚本:/tmp/flow_backfill.py246)、fetch_flow_chunk.ps1Windows 分片)、/tmp/import_flow.py(入库)
## §33 行业映射全量回填完成——12维数据基础最终态(2026-08-05
### §33.1 全量行业板成分股回填(东财解封后)
- push2delay 节点 clist 端点解封后,抓全部 **496 个行业板**成分股(0 失败,1.2s 慢速)。
- 映射策略:每票优先映射 sector_index_daily 已有行业名(选成分股最少=最细粒度),否则全局最细粒度板。
- **stock_sectors_em: 259 → 5061 条,覆盖 3953/401098.6%**。
- 57 只永久未映射:退市/停牌股(不在任何当前行业板),可接受。
### §33.2 204 个新行业指数合成(+356,300 行,12 秒)
- 复用 §31.1 成分股合成法,204 个新行业全部补齐 10y 日K。
- **sector_index_daily: 299 个行业,全部 2016-07 起**。
### §33.3 12维全市场数据基础——最终态
| 维度 | 数据 | 覆盖 | 状态 |
|---|---|---|---|
| 技术面 | stock_daily | 4010只 10y | ✅ |
| 消息面 | stock_news | 3971只 403万条 | ✅ |
| 行业 | stock_sectors_em 5061条 + sector_index_daily 299行业10y | 映射98.6%/可分析96.8% | ✅ |
| 资金面 | stock_capital_flow | 3980只 924万行 10y | ✅ |
- v_weak 实单票:行业可分析 215/222、资金流 221/222。
- **12 维全因子研究数据基础完备,无剩余缺口**。
### §33.4 本轮数据工程方法论沉淀(复用价值高)
1. **东财封禁应对**clist 封禁 → push2delay 节点绕行;全封 → 成分股合成指数替代官方指数。
2. **双机分流**:单 IP 限速时拆双机(246 + Windows 不同 IP)分片并行,scp 回传 INSERT OR IGNORE。
3. **新浪资金流全历史**ssl_qsfx_zjlrqs 单票全历史(现有采集器只取5天是浪费)。
4. **行业指数合成**:成分股等权收益累乘 + 接缝对齐(缩放至官方值反推昨收),史实校验(半导体2018 -45%/2019 +92%)。
5. 哨兵值守模式:封禁期间每 10 分钟单发探测,解封自动批量 + 断点续跑。