트레이딩 전략을 검증하는 방법

트레이딩 전략 검증은 규칙 설계에 쓰지 않은 증거로 고정된 규칙을 확인하는 과정입니다. 이 절차는 약한 규칙을 일찍 탈락시키며, 미래 성과는 여전히 알 수 없는 상태로 남깁니다.

Stingray는 트레이딩 전략을 정의하고, 과거 데이터를 재생하고, 결과를 검토하고, 실시간 조건을 모니터링하도록 돕습니다. 주문은 넣지 않습니다. 아래 절차에서는 Stingray 리플레이를 여러 증거 중 하나로 사용합니다.

결과를 보기 전에 검증 계획을 적으세요

먼저 정확한 규칙과 그 규칙이 지원할 결정을 적습니다. 다음 항목을 기록하세요.

• 시장과 데이터 소스
• 모든 조건, 임곗값, 시간 간격
• 규칙 개발과 평가에 사용할 과거 기간
• 연속 일치를 독립 트리거로 나누는 방법
• 확인할 결과와 후속 관찰 시간
• 연구를 계속하기 위한 최소 증거
• 규칙을 탈락시킬 결과

이 계획을 리플레이와 함께 보관하세요. 결과를 본 뒤 임곗값을 바꾸면 새 규칙이 되며 새 검사가 필요합니다.

샘플 내 데이터와 샘플 외 데이터를 분리하세요

샘플 내 데이터는 규칙을 개발할 때 사용합니다. 이 기간을 살펴보고 오류를 찾고 정의를 바꿀 수 있습니다.

샘플 외 데이터는 규칙을 고정한 뒤에만 사용합니다. 개발에 쓰지 않은 과거 구간에서 같은 정의가 비슷한 증거를 만드는지 확인합니다.

샘플 내 결과가 좋고 샘플 외 결과가 크게 떨어지면 규칙에 불리한 증거입니다. 두 결과를 모두 기록하세요. 더 좋은 기간만 남기면 결정에 필요한 정보가 사라집니다.

마지막 홀드아웃 기간을 건드리지 마세요

홀드아웃 기간은 마지막 확인을 위해 남겨 둔 과거 구간입니다. 지표, 임곗값, 알림 대기 시간, 후속 관찰 시간을 고르는 데 이 구간을 사용하지 마세요.

가능하면 홀드아웃은 개발 기간 뒤에 둡니다. 이 순서는 실제 질문과 맞습니다. 고정된 규칙이 더 나중의 기간에는 어떻게 작동했는가?

홀드아웃을 반복해서 열어 보면 그 기간도 개발 데이터가 됩니다. 결과를 본 뒤 규칙을 수정했다면 다른 미공개 기간을 남겨 두거나 새 관찰이 쌓일 때까지 기다리세요.

워크포워드 검사를 추가하세요

한 번의 홀드아웃은 결과 하나를 줍니다. 워크포워드 검사는 여러 시간 구간에서 같은 연구 절차를 확인합니다.

예:

1. 1개월 차부터 6개월 차까지 규칙을 개발합니다.
2. 규칙을 고정하고 7개월 차와 8개월 차에서 평가합니다.
3. 전체 구간을 앞으로 옮깁니다.
4. 같은 개발 제한과 평가 방법으로 반복합니다.

각 평가 구간의 독립 트리거 수, 결과 분포, 데이터 누락, 실패 기간을 비교하세요. 한 구간에서만 작동하고 다음 구간에서 사라지는 규칙은 모니터링 전에 원인을 설명해야 합니다.

데이터 누수와 미래 정보 편향을 막으세요

미래 정보 편향은 과거의 판단이 그 시점에 알 수 없던 정보를 사용할 때 생깁니다. 데이터 누수는 평가 데이터가 규칙 개발에 영향을 주는 경우까지 포함합니다.

각 입력이 실제로 관찰 가능해진 시점을 확인하세요. 더 늦은 종가, 수정된 보고서, 나중에 붙은 이벤트 라벨은 이전 트리거에 영향을 줄 수 없습니다. 지표 계산은 평가 시점까지 존재한 기록만 읽어야 합니다.

연구 절차도 확인해야 합니다. 홀드아웃 성과가 좋았기 때문에 규칙을 선택했다면 홀드아웃 정보가 이미 규칙 정의에 들어간 것입니다.

여러 시장 국면에서 확인하세요

시장 국면은 높은 변동성, 낮은 변동성, 가격 상승, 가격 하락, 얕은 유동성처럼 비슷한 거래 조건이 이어지는 기간입니다.

규칙과 관련된 조건으로 결과를 나누세요. 트리거와 결과가 여러 국면에 걸쳐 있는지, 짧은 한 사건에 몰려 있는지 기록합니다. 특정 국면만 대상으로 하는 규칙도 가능하지만 그 범위는 모니터링 전에 적어야 합니다.

전체 평균 하나로 실패한 국면을 가리지 마세요. 각 그룹의 독립 트리거 수와 결과 범위를 따로 보여 주세요.

단순 기준과 비교하세요

기준은 복잡한 규칙이 추가 정보를 제공했는지 확인하는 비교 대상입니다. 결과를 보기 전에 선택하세요.

다음과 같은 기준을 사용할 수 있습니다.

• 무작위 시점 이후의 같은 후속 가격 변화
• 조건 하나만 남긴 단순 규칙
• 같은 시장과 기간에서 일정한 시간표에 따른 트리거
• 같은 관찰 시간 동안 시장 전체가 보인 조건 없는 가격 변화

규칙과 기준에는 같은 날짜, 비용 가정, 결과 계산법을 사용하세요. 복잡한 규칙이 미리 정한 측정값에서 단순 기준을 넘지 못하면 탈락시키거나 단순화합니다.

탈락 조건을 미리 정하세요

숫자나 관찰 가능한 조건으로 적으세요. 예:

• 전체 평가 구간에서 독립 트리거가 20회 미만
• 전체 트리거의 절반 이상이 짧은 한 사건에 집중
• 샘플 외 결과가 선택한 단순 기준보다 낮음
• 합리적인 스프레드, 수수료, 슬리피지를 반영하면 결과 방향이 바뀜
• 규칙이 대상으로 삼은 시장 국면에서 실패
• 필수 데이터의 누락 때문에 공정한 리플레이가 불가능

이 숫자는 예시이며 공통 기준이 아닙니다. 전략에 맞는 조건을 고르고, 검사 전에 선택 이유를 기록하세요.

새 데이터로 모니터링을 이어 가세요

과거 검사는 최신 기록에서 끝납니다. 실시간 모니터링은 같은 고정 규칙을 새 관찰에 적용합니다.

실시간 트리거를 과거 리플레이와 비교하세요. 트리거 빈도, 누락 데이터, 시장 국면, 같은 후속 결과를 기록합니다. 검토 날짜와 중단 조건도 미리 정하세요. 실시간 동작이 크게 달라지면 습관적으로 계속하지 말고 규칙을 다시 검토합니다.

모니터링도 증거 수집입니다. Stingray는 정의된 조건이 나타나는 시점을 보여 주고 규칙을 검토할 수 있게 유지합니다. 트레이더가 전략에 더 많은 시간과 자원을 쓸지 결정합니다.

모니터링 전 확인 목록

1. 규칙과 데이터 소스를 고정했습니다.
2. 샘플 내 기간과 샘플 외 기간을 분리했습니다.
3. 규칙을 고정하기 전까지 마지막 홀드아웃을 열지 않았습니다.
4. 모든 워크포워드 구간에 같은 평가 방법을 사용했습니다.
5. 모든 입력은 트리거 시점에 관찰할 수 있었습니다.
6. 관련 시장 국면별로 결과를 나눴습니다.
7. 규칙을 단순 기준과 비교했습니다.
8. 결과를 보기 전에 탈락 조건을 적었습니다.
9. 실시간 모니터링에 검토 날짜와 중단 조건이 있습니다.

백테스팅 방법론은 리플레이 계산과 데이터 검사를 설명합니다. 백테스트 카드 읽는 법은 Stingray 결과를 검토하는 순서를 보여 줍니다. 신호 백테스트와 포트폴리오 백테스트 비교는 표준 리플레이의 범위를 설명합니다.