基于智能体的技术指标挖掘系统 — 项目说明

一、这个项目在做什么

一句话：用 AI Agent 自动从几万个候选技术指标里筛出真正有效的 52 个。

传统方法是人凭经验挑几个指标（比如移动平均线、RSI）去检验，既可能漏掉好指标，也可能被随机性欺骗。本项目的方法是：让程序自动生成几千个候选指标，然后用 AI Agent 动态调整搜索方向，最后用极其严格的四重统计检验筛出真有效的那几个。

论文题目：《基于智能体的金融市场投资中有效技术指标挖掘的研究》

二、项目文件结构

agent_mining/
├── main_agent.py              # 主入口，运行整个实验
├── agent.py                   # Agent 主脑，协调探索循环
├── experiment_runner.py       # 核心计算引擎（Layer1/2构建、回测）
├── hypothesis_generator.py    # 假设生成器（Agent的"大脑"）
├── result_analyzer.py         # 结果分析器（统计检验+多维分析）
├── llm_client.py              # LLM客户端（rule_based模式）
├── visualization.py           # 可视化引擎
├── plot_paper_figures.py      # 论文图表生成脚本
├── output/                    # ★ 所有输出结果
│   ├── all_backtest_results.csv    # 全量回测原始数据
│   ├── effective_signals.csv       # 最终有效指标（核心！）
│   ├── exploration_log.json        # Agent探索决策记录
│   ├── exploration_report.md       # 探索报告（人类可读）
│   ├── fig1_top5_cumulative_returns.png  # Top5累积收益图
│   ├── fig2_filtering_funnel.png         # 筛选漏斗图
│   ├── exploration_trajectory.png  # Agent探索轨迹图
│   ├── ratio_vs_diff.png          # ratio vs diff 对比图
│   ├── signal_heatmap.png         # 有效信号热力图
│   ├── top_signals_ranking.png    # Top信号排行榜
│   └── plot_paper_figures.py      # 图1+图2的生成脚本（可改参数重出图）
├── cache/                    # 缓存文件（加速重复计算）
└── data/                     # 数据存放（实际在上级目录 ../data/）

三、数据说明

四、系统是怎么工作的（四层漏斗 + Agent 回路）

原始 OHLCV 数据
    │
    ▼
Layer 1 — 滚动聚合
    5个变量 × 4个窗口(1,3,5,10,20天) × 3种聚合(均值/最大/最小)
    → 生成约50个基础指标
    │
    ▼
Layer 2 — 智能配对
    两个基础指标配对：ratio(A/B) 或 diff(rank(A)-rank(B))
    → 生成3590个候选信号
    │
    ▼
回测引擎
    每月末按信号值分5组或10组，做多最高组、做空最低组
    4种回测规格（5组等权/10组市值加权/5组VW name-break/5组VW FF Alpha）
    │
    ▼
四重门统计检验
    Gate 1: 5分组等权 |t| > 1.65
    Gate 2: 10分组市值加权 |t| > 1.65
    Gate 3: 5分组市值加权 name-break |t| > 1.65
    Gate 4: FF Alpha |t| > 1.65 (控制市场/规模/价值因子后)
    │
    ▼
有效指标: 至少通过3/4门 + 数据≥60个月
    ↓
    ┌──────────────────────────┐
    │  ★ AI Agent 决策回路 ★    │
    │  分析本轮结果 → 发现规律   │
    │  → 调整下一轮探索方向     │
    │  → 反馈到 Layer 2         │
    └──────────────────────────┘

Agent 的具体作用（这是论文最大的创新点）：

Agent 不参与统计检验（检验标准是固定的、数学的），Agent 只决定"下一轮应该尝试什么样的信号"。

• 第1轮：均衡探索（窗口 1,5,10,20），发现 diff 类平均 |t| 高于 ratio 类，短窗口表现更好
• 第2轮：Agent 决定引入 3 天窗口，|t|>1.96 的信号从 105 个跃升到 244 个（+132%）
• 第3轮：Agent 聚焦 diff 类型 + 短窗口深度挖掘

如果没有 Agent，暴力穷举只会停留在预设的 {1,5,10,20} 四个窗口，永远不会发现 3 天窗口才是最有预测力的参数。

五、核心结果数据（写论文直接用的数字）

5.1 整体数据

5.2 筛选漏斗

5.3 Top 10 有效技术指标

5.4 三大核心发现

发现1：截面排名差（diff）优于简单比率（ratio） - diff 类有效信号：35 个（67.3%） - ratio 类有效信号：17 个（32.7%） - diff 平均 |t| = 0.634 vs ratio 平均 |t| = 0.586

发现2：短窗口（3天）是最有效的信号提取周期 - 引入 3 天窗口后，|t|>1.96 信号从 105 增至 244（+132%） - 52 个有效指标全部包含 3 天窗口参数 - 3 天窗口对 diff 类提升巨大（avg|t|: 0.567→0.764, +34.7%），但 ratio 类反而下降（0.607→0.545）

发现3：纯价格间组合主导，成交量信息有限 - 52 个有效指标中，纯价格组合占绝大多数 - 价量组合无一通过检验

六、output 文件夹每个文件的用途

数据文件

报告文件

图表文件（论文用图）

其他

七、信号命名规则（读懂指标名的含义）

Layer 1 基础指标名

格式：变量_聚合类型窗口

Layer 2 信号名

格式：指标A_分隔符_指标B

举例解读：

low_max10_minus_close_min3 → 指标A = low_max10（10日最低价的最大值） → 指标B = close_min3（3日收盘价的最小值） → diff 类型：两只股票比较"谁的10日底部更坚实 vs 谁的3日收盘更弱势" → 经济含义：捕捉短期超卖但中期底部坚实的反弹信号

high_min5_div_open_t → 指标A = high_min5（5日最高价的最小值） → 指标B = open_t（当日开盘价） → ratio 类型：比值高 = 近期高点下移 + 当日开盘价低 → 可能下跌中继

八、已完成的研究草稿

项目根目录下 论文_草稿.md（约 450 行）包含完整论文框架：

• 第一章：引言（研究背景、研究问题、贡献）
• 第二章：文献综述
• 第三章：研究方法（四层架构、Layer1/2 构建、四重门检验、Agent 机制）
• 第四章：实证结果（数据概览、探索过程、有效指标、经济含义、漏斗分析）
• 第五章：结论

草稿中大部分数字已经填入真实结果，但还需要： 1. 补充英文摘要 2. 检查参考文献格式 3. 部分论文语言需要润色 4. 添加图表交叉引用

九、如果需要重新运行实验

cd agent_mining
python main_agent.py --relaxed

参数说明： - --relaxed：使用宽松标准（3/4门, |t|>1.65），不加则用严格标准（4/4门, |t|>1.96） - --smoke-test：快速测试（10只股票），验证代码能跑 - --max-rounds 3：最大探索轮次

注意：数据文件 stock_daily.parquet 需要在 ../data/ 目录下（即 agent_mining 的同级 data 文件夹）。

十、常见问题

Q: 为什么 3590 个候选只有 52 个通过？是不是标准太严了？

不是太严，是刻意设计成这么严的。Harvey et al. (2016) 指出，当同时检验几千个候选因子时，如果只用传统 |t|>1.96 标准，会有大量假阳性。四重门相当于让信号在四种不同条件下反复验证，只有"真材实料"的才能通关。1.4% 的通过率恰恰是方法论严谨性的体现。

Q: Agent 是干嘛的？跟暴力穷举有什么区别？

Agent 决定"下一轮该探索什么方向"，统计检验判定"这个指标是真有效还是随机噪声"。

暴力穷举：预设窗口 {1,5,10,20} → 算完所有组合 → 结果。永远停在预设参数里。

Agent：第1轮发现"短窗口更好" → 引入 3 天窗口 → 第2轮 |t|>1.96 信号翻倍增长 → 第3轮聚焦最优方向。找到了暴力穷举永远找不到的参数。

Q: diff 和 ratio 的区别？

• ratio(A/B)：简单比值，如收盘价5日均值 / 收盘价20日均值。类似 MACD 思想。
• diff(rank(A)−rank(B))：先对每只股票做截面百分位排名（消除量纲），再相减。如"10日最低价排名"−"3日收盘价排名"。统计上更稳健。

Q: 图里的 |t| 和 t_alpha 有什么区别？

• t_ret：多空组合收益的 HAC t 统计量（Newey-West 标准误，最大滞后 6 期）
• t_alpha：控制 Fama-French 三因子（市场、规模、价值）后的 Alpha t 统计量。更严格——如果信号的收益只是因为承担了更多市场风险，Alpha t 值会很低。

Q: 指标名里 _t 是什么意思？

t 表示窗口 = 1（当日值）。例如 close_t = 当日收盘价，low_t = 当日最低价。命名时用 _t 而非 _1 是为了与带窗口参数的格式统一。