如何阅读回测卡片
发布时间
Jul 08, 2026
Stingray backtest card 首先是一个 rejection tool。它不表示规则未来一定有效。它展示的是一个 typed rule 在明确历史窗口里的表现,让你判断这个想法应该 monitor、收紧,还是直接丢掉。
阅读顺序应该是:scope、data coverage、trigger quality、forward returns,然后是 activation risk。
1. 先检查 scope
Header 会告诉你测试了什么:market、symbol、interval 和 date range。如果窗口太短、只覆盖一个特殊 regime,或者和 thesis 不匹配,就不要过度解读结果。
有用的问题:
- 这个范围是用户选择的,还是自动选择的?
- Interval 是否匹配 signal speed?
- Market 是否就是你想测试的 asset 或 venue?
- 测试是否包含 live rule 会监控的同一个 data source?
2. 阅读 data coverage note
Coverage note 会说明 replay 使用的是 continuous data、sampled data、filled gaps、skipped gaps,还是 trimmed start/end ranges。这比 headline number 更重要。数据不完整时,一个看起来干净的结果并不是真的干净。
例如,一年的 price backtest 可能是 continuous,而 open interest 这类数据源可能使用 sampled 或 segmented history。这不代表测试没用,但它会影响你对 timing-sensitive triggers 的信心。
3. 比较 raw triggers 和 cooldown triggers
Raw triggers 是规则为真的每一个时刻。Cooldown triggers 是应用 alert cooldown 之后真正会发送的 notifications。
这个区别很重要:
- 很多 raw triggers 如果挤在一起,通常代表一个 market episode,而不是很多独立 signals。
- Cooldown 会去掉重复通知,让卡片更接近 live alert 实际会发送的内容。
- 如果 cooldown retention 很低,规则可能是在检测持续状态,而不是离散事件。
对于 period-style rules,卡片可能展示 active periods 和 estimated notifications,而不是每个 event 一行。
4. 把 forward returns 当作 base rates
Forward returns 展示规则触发后在 1h、4h、24h 等 horizon 上发生了什么。它们不是 forecast,而是你描述的规则的 base rates。
阅读时要结合 sample size:
- 只有 5 次触发的正向 24h return 是弱证据。
- 如果 signal 本来面向更慢的移动,1h return 很小可能只是 noise。
- 4h 很强但 24h 不能延续,可能说明这是短期 setup,而不是 swing thesis。
- 方向很重要:反向版本的规则也值得测试。
5. 用 signal density 抓 alert spam
Signal-density strip 会显示 triggers 是均匀分布,还是集中在少数 cluster。一个有用的 alert 不应该因为同一个 market state 反复叫醒你。
密集 cluster 通常意味着规则需要:
- 更长的 cooldown
- 更严格的 threshold
- Trend 或 regime filter
- 更清楚的 event boundary
稀疏 signal 也不一定更好。一年只触发两次的规则可能太少,无法评估。
6. 先检查表格,再相信 summary
表格会给出每次 event 或 period 的 exact trigger time、indicator values 和 forward returns。这里能看出规则是否真的在做你以为它在做的事。
重点看:
- Indicator values 是否只是刚刚越过 threshold
- Triggers 是否集中在明显异常的 regime
- 是否有缺少 follow-up samples 的 events
- Best 和 worst events 是否主导了 average
- Trigger pattern 是否和原始 thesis 冲突
7. 决定下一步
读完卡片后,选择三个结果之一:
- Reject:规则太吵、太少、太脆弱,或依赖单一 regime。
- Tighten:调整 threshold、cooldown、data source 或 time window,然后重新运行。
- Monitor:当规则足够明确,且历史表现可以解释时,再把它变成 alert。
Execution 应该继续放在 trust ladder 后面:先 notify,在支持时 preview-confirm,只有当规则和假设都明确时才使用 opt-in execution。
不要做什么
不要把 backtest card 当成 profit promise。不要在不检查 sample size 和 data coverage 的情况下比较规则。不要因为 average return 为正就 activate。卡片的作用是在 capital 参与之前,让策略更容易被拒绝。
具体示例见 Strategy Examples,也可以从 funding-rate rule walkthrough 开始。