docs: §33 行业映射全量回填完成——12维数据基础最终态
- 东财解封后抓全部496行业板成分股(0失败), 优先映射已有行业名/否则最细粒度板 - stock_sectors_em 259→5061条, 覆盖98.6%(3953/4010); 57只退市股永久缺口 - 204新行业指数合成(+356300行/12秒), sector_index_daily达299行业全10y - 12维最终态: 技术4010✅ 消息3971✅ 行业5061+299✅ 资金3980✅ 无剩余缺口 - 沉淀封禁应对方法论: push2delay绕行/成分股合成/双机分流/哨兵值守
This commit is contained in:
@@ -1005,3 +1005,33 @@ v_weak 用"深超跌+缩量+收阳"选的是**没被新闻盯上的超跌票**
|
||||
- 双机分流模式:246 被限速时,Windows 本机(不同 IP)分片并行 + scp 回传 + INSERT OR IGNORE 入库
|
||||
- 行业指数合成:成分股等权收益累乘(§31.1),不再依赖东财行业指数接口
|
||||
- 脚本:/tmp/flow_backfill.py(246)、fetch_flow_chunk.ps1(Windows 分片)、/tmp/import_flow.py(入库)
|
||||
|
||||
|
||||
## §33 行业映射全量回填完成——12维数据基础最终态(2026-08-05)
|
||||
|
||||
### §33.1 全量行业板成分股回填(东财解封后)
|
||||
- push2delay 节点 clist 端点解封后,抓全部 **496 个行业板**成分股(0 失败,1.2s 慢速)。
|
||||
- 映射策略:每票优先映射 sector_index_daily 已有行业名(选成分股最少=最细粒度),否则全局最细粒度板。
|
||||
- **stock_sectors_em: 259 → 5061 条,覆盖 3953/4010(98.6%)**。
|
||||
- 57 只永久未映射:退市/停牌股(不在任何当前行业板),可接受。
|
||||
|
||||
### §33.2 204 个新行业指数合成(+356,300 行,12 秒)
|
||||
- 复用 §31.1 成分股合成法,204 个新行业全部补齐 10y 日K。
|
||||
- **sector_index_daily: 299 个行业,全部 2016-07 起**。
|
||||
|
||||
### §33.3 12维全市场数据基础——最终态
|
||||
| 维度 | 数据 | 覆盖 | 状态 |
|
||||
|---|---|---|---|
|
||||
| 技术面 | stock_daily | 4010只 10y | ✅ |
|
||||
| 消息面 | stock_news | 3971只 403万条 | ✅ |
|
||||
| 行业 | stock_sectors_em 5061条 + sector_index_daily 299行业10y | 映射98.6%/可分析96.8% | ✅ |
|
||||
| 资金面 | stock_capital_flow | 3980只 924万行 10y | ✅ |
|
||||
- v_weak 实单票:行业可分析 215/222、资金流 221/222。
|
||||
- **12 维全因子研究数据基础完备,无剩余缺口**。
|
||||
|
||||
### §33.4 本轮数据工程方法论沉淀(复用价值高)
|
||||
1. **东财封禁应对**:clist 封禁 → push2delay 节点绕行;全封 → 成分股合成指数替代官方指数。
|
||||
2. **双机分流**:单 IP 限速时拆双机(246 + Windows 不同 IP)分片并行,scp 回传 INSERT OR IGNORE。
|
||||
3. **新浪资金流全历史**:ssl_qsfx_zjlrqs 单票全历史(现有采集器只取5天是浪费)。
|
||||
4. **行业指数合成**:成分股等权收益累乘 + 接缝对齐(缩放至官方值反推昨收),史实校验(半导体2018 -45%/2019 +92%)。
|
||||
5. 哨兵值守模式:封禁期间每 10 分钟单发探测,解封自动批量 + 断点续跑。
|
||||
|
||||
Reference in New Issue
Block a user