백테스트 카드 읽는 법

Stingray backtest card는 먼저 rejection tool입니다. 규칙이 미래에도 작동한다는 뜻이 아닙니다. 명시된 historical window에서 typed rule이 어떻게 행동했는지 보여주고, 그 아이디어를 monitor할지, 더 엄격하게 만들지, 버릴지를 판단하게 합니다.

카드는 위에서 아래 순서로 읽으면 됩니다: scope, data coverage, trigger quality, forward returns, activation risk.

1. Scope부터 확인하기

Header는 무엇을 테스트했는지 보여줍니다: market, symbol, interval, date range. 테스트 구간이 너무 짧거나, 특정 regime에 치우쳤거나, thesis와 맞지 않으면 결과를 과하게 해석하면 안 됩니다.

확인할 질문:

• 범위가 사용자가 고른 것인가, 자동 선택인가?
• Interval이 signal speed와 맞는가?
• Market이 의도한 asset 또는 venue와 맞는가?
• Live rule이 모니터링할 data source와 같은 source를 테스트했는가?

2. Data coverage note 읽기

Coverage note는 replay가 continuous data, sampled data, filled gaps, skipped gaps, trimmed start/end ranges 중 무엇을 사용했는지 설명합니다. 이 정보는 headline number보다 중요합니다. 불완전한 데이터 위의 깔끔한 결과는 깔끔한 결과가 아닙니다.

예를 들어 1년 price backtest는 continuous일 수 있지만, open interest 같은 source는 sampled 또는 segmented history를 쓸 수 있습니다. 테스트가 쓸모없다는 뜻은 아니지만, timing-sensitive trigger에 대한 신뢰도는 달라집니다.

3. Raw triggers와 cooldown triggers 비교하기

Raw triggers는 규칙이 true였던 모든 순간입니다. Cooldown triggers는 Stingray가 alert cooldown을 적용한 뒤 실제로 남는 notifications입니다.

이 차이가 중요합니다:

• 촘촘히 모인 raw triggers는 여러 독립 signals가 아니라 하나의 market episode인 경우가 많습니다.
• Cooldown은 중복 notifications를 제거해 live alert가 실제로 보낼 내용에 가깝게 만듭니다.
• Cooldown retention이 매우 낮다면, 규칙은 discrete events보다 persistent conditions를 감지하는 것일 수 있습니다.

Period-style rules에서는 카드가 event별 행 대신 active periods와 estimated notifications를 보여줄 수 있습니다.

4. Forward returns를 base rates로 보기

Forward returns는 규칙이 trigger된 뒤 1h, 4h, 24h 같은 horizon에서 무슨 일이 있었는지 보여줍니다. Forecast가 아닙니다. 사용자가 설명한 규칙의 base rates입니다.

Sample size와 함께 읽어야 합니다:

• 5번 trigger된 positive 24h return은 약한 증거입니다.
• Signal이 더 느린 움직임을 위한 것이라면 작은 1h return은 noise일 수 있습니다.
• 4h는 강하지만 24h follow-through가 약하면 short-lived setup일 수 있습니다.
• 방향도 중요합니다. 반대 버전의 rule도 테스트해볼 가치가 있습니다.

5. Signal density로 alert spam 찾기

Signal-density strip은 triggers가 고르게 분포했는지, cluster로 몰렸는지를 보여줍니다. 좋은 alert는 같은 market state 때문에 반복해서 깨우면 안 됩니다.

Dense clusters는 보통 다음이 필요하다는 신호입니다:

• 더 긴 cooldown
• 더 엄격한 threshold
• Trend 또는 regime filter
• 더 명확한 event boundary

Sparse signals가 자동으로 더 좋은 것은 아닙니다. 1년에 두 번만 trigger된 rule은 평가하기에 너무 드물 수 있습니다.

6. Summary를 믿기 전에 table 보기

Table은 각 event 또는 period의 exact trigger time, indicator values, forward returns를 보여줍니다. 여기서 rule이 정말 의도한 일을 하고 있는지 확인할 수 있습니다.

확인할 것:

• Indicator values가 threshold를 간신히 넘었는가?
• Triggers가 특이한 regime에만 몰려 있는가?
• Follow-up samples가 없는 events가 있는가?
• Best와 worst events가 average를 지배하는가?
• Trigger pattern이 원래 thesis와 충돌하는가?

7. 다음 행동 정하기

카드를 읽은 뒤 세 가지 중 하나를 고릅니다:

• Reject: rule이 너무 시끄럽거나, 너무 드물거나, 취약하거나, 한 regime에 의존합니다.
• Tighten: threshold, cooldown, data source, time window를 조정하고 다시 실행합니다.
• Monitor: rule이 충분히 구체적이고 historical behavior를 이해할 수 있을 때 alert로 전환합니다.

Execution은 trust ladder 뒤에 남아야 합니다: 먼저 notify, 지원되는 경우 preview-confirm, 그리고 rule과 assumptions가 명확할 때만 opt-in execution.

하지 말아야 할 것

Backtest card를 profit promise로 읽지 마세요. Sample size와 data coverage를 확인하지 않고 rules를 비교하지 마세요. Average return이 positive라는 이유만으로 activate하지 마세요. 카드는 capital이 개입되기 전에 전략을 더 쉽게 reject하기 위해 있습니다.

구체적인 예시는 Strategy Examples에서 볼 수 있고, funding-rate rule walkthrough로 시작해도 됩니다.