트레이딩을 위한 몬테카를로 시뮬레이션: 실전 가이드

몬테카를로 시뮬레이션이란?

몬테카를로 시뮬레이션은 무작위 샘플링을 사용해 다양한 결과의 확률을 추정하는 계산 기법입니다. 모나코의 유명한 카지노에서 이름을 따온 이 기법은 통계 모델을 기반으로 수천 가지 시나리오를 시뮬레이션하고, 특정 결과가 발생하는 횟수를 집계하는 방식으로 작동합니다.

트레이딩에서 몬테카를로 시뮬레이션은 다음과 같은 질문에 답합니다:

• 3일 후 BTC가 $80,000 이상일 확률은?
• 과거 변동성을 기준으로 1주일 내에 10% 급락이 발생할 가능성은?
• 결과의 확률 분포를 고려할 때 최적 포지션 사이즈는?

이것이 바로 퀀트 헤지펀드가 매일 던지는 질문들입니다 — 이제 적절한 도구를 갖춘 개인 트레이더도 동일한 질문을 할 수 있습니다.

작동 원리: 기하 브라운 운동

주식·암호화폐 가격 시뮬레이션의 표준 모델은 기하 브라운 운동(GBM, Geometric Brownian Motion)입니다:

S(T) = S(0) × exp((μ - 0.5σ²)T + σ√T × Z)

각 항의 의미:

• S(0) = 현재 가격
• μ = 과거 데이터로 추정한 연환산 드리프트(기대 수익률)
• σ = 과거 데이터로 추정한 연환산 변동성
• T = 시간 지평(연 단위)
• Z = 표준 정규분포에서 추출한 난수

수천 개의 무작위 Z 값을 생성하면 수천 가지 미래 가격 경로가 만들어집니다. 목표 가격 이상으로 끝나는 경로의 비율이 바로 해당 목표에 도달할 확률입니다.

구체적인 예시

BTC 현재가가 $70,000이고, 30일 역사적 변동성이 연환산 65%라고 가정합니다. 3일 내에 BTC가 $73,500(5% 상승)에 도달할 확률은 얼마일까요?

1,500개의 시뮬레이션 경로를 실행합니다. 그 중 980개가 $73,500 이상에서 종료된다면, 추정 확률은 980/1500 = 65.3%입니다.

표준 MC만으로는 부족한 이유

기본 몬테카를로에는 실제 사용 시 잘 알려진 몇 가지 문제가 있습니다:

문제 1: 노이즈

1,000번 시뮬레이션을 돌리면, 가격 변화가 거의 없는데도 추정 확률이 한 봉에서 65%, 다음 봉에서 58%로 튀는 현상이 발생합니다. 이것이 유한한 시뮬레이션에서 비롯된 샘플링 노이즈입니다.

해결책: 분산 감소 기법

• 대립 변량(Antithetic Variates) — 각 난수 Z에 대해 -Z도 함께 시뮬레이션합니다. 이 쌍을 이루는 경로는 음의 상관관계를 가지므로, 편향 없이 분산을 약 50% 줄입니다.
• 제어 변량(Control Variates) — 폐형식 Black-Scholes 확률을 '제어 변수'로 활용합니다. 알려진 해석적 해를 사용해 MC 추정치를 조정하면, 분포가 로그 정규분포에 가까울 때 분산을 50~90% 줄일 수 있습니다.
• 층화 샘플링(Stratified Sampling) — 전체 분포에서 무작위로 샘플링하는 대신, 분포를 구간(strata)으로 나누고 각 구간에서 균등하게 샘플링합니다. 전체 확률 공간이 빠짐없이 커버됩니다.

문제 2: 희귀 이벤트

급락 확률이 실제로 3%라면, 안정적인 추정값을 얻을 만큼 충분한 급락 샘플을 확보하려면 10,000회 이상의 시뮬레이션이 필요합니다. 1,000회만 돌리면 급락 샘플이 20~40개에 불과해 신뢰할 수 있는 추정이 불가능합니다.

해결책: 중요도 샘플링(Importance Sampling)

실제 분포 대신, 샘플링 분포를 희귀 이벤트(급락) 영역으로 이동시켜 샘플링합니다. 그런 다음 샘플링 편향을 보정하기 위해 각 샘플에 우도비(likelihood ratio)를 곱해 가중치를 다시 부여합니다. 결과적으로 동일한 시뮬레이션 횟수에서 급락 샘플을 10~100배 더 확보할 수 있습니다.

문제 3: 봉 간 변동(Jitter)

MC는 매 봉마다 처음부터 재계산하기 때문에, 시장이 실질적으로 변하지 않았는데도 확률 추정치가 크게 출렁입니다.

해결책: 파티클 필터(베이지안 상태 추정)

파티클 필터는 확률 '파티클'의 집합을 유지하며, 새로운 가격 데이터가 들어올 때마다 점진적으로 업데이트합니다. 매 봉마다 새로 시작하는 MC와 달리, 파티클 필터는 지속적으로 학습하여 더 매끄럽고 반응성 높은 확률 추정치를 생성합니다.

확률에서 트레이딩 의사결정으로

단순한 확률 수치만으로는 충분하지 않습니다. 견고한 의사결정 체계에는 복수의 독립적 확인이 필요합니다:

4요소 의사결정 엔진

1. MC 유효 엣지 — 우세한 방향의 확률이 > 33% 이상이어야 함(최소 손익비 1.5:1)
2. 파티클 필터 일치 — PF가 MC 방향에 > 54% 이상으로 독립적으로 동의해야 함
3. 편향 엣지 — P(BULL)과 P(BEAR)의 차이가 > 5 퍼센트포인트 이상이어야 함
4. 모델 수렴 — MC와 Black-Scholes 해석적 해가 허용 오차 내에서 일치해야 함. 큰 차이는 팻 테일이나 시뮬레이션 부족을 의미함

3~4가지 요소가 동시에 부합할 때만 높은 신뢰도의 시그널이 발생합니다. 이를 통해 대부분의 거짓 시그널과 노이즈를 걸러낼 수 있습니다.

켈리 기준을 활용한 포지션 사이징

신뢰할 수 있는 확률 추정치가 확보되면, 최적 포지션 사이징은 자연스럽게 따라옵니다. 켈리 기준은 배분할 자본 비율을 다음과 같이 계산합니다:

f* = (p × b - q) / b

• p = 추정 승률
• q = 1 - p (패배 확률)
• b = 배당률
• f* = 베팅할 자본 비율

중요: 풀 켈리는 수학적으로 최적이지만 변동성이 매우 큽니다. 실제로는 분수 켈리(Fractional Kelly)(풀 켈리의 10~20%)를 사용해 수익 성장과 드로우다운 관리를 균형 있게 조절합니다.

리스크 관리: 꼬리 리스크와 VaR

몬테카를로는 방향성 확률만 추정하는 것이 아닙니다. 동일한 시뮬레이션으로 리스크 관리를 위한 완전한 손익(P&L) 분포를 생성합니다:

• Value at Risk (VaR 95%) — 95%의 경우 초과하지 않는 손실 수준
• Expected Shortfall (ES 95%) — 최악의 5% 시나리오에서의 평균 손실
• 급락 확률 — 대규모 이동(예: BTC -10%)이 발생할 구체적인 확률

급락 확률이 시장별 임계값을 넘어서면, 방향성 엣지가 아무리 강해 보여도 모든 강세 시그널을 억제해야 합니다. 꼬리 리스크가 너무 높을 때는 어떤 엣지도 취해서는 안 됩니다.

보정: 확률이 정확한가?

확률 기반 시스템에서 가장 중요한 지표는 보정(Calibration)입니다. 브라이어 점수(Brier Score)는 예측 정확도를 다음과 같이 측정합니다:

BS = (1/N) × Σ(예측값 - 실제값)²

• < 0.10 = 우수한 보정 — 예측이 매우 정확함
• 0.10-0.20 = 양호한 보정 — 트레이딩에 사용 가능
• > 0.20 = 불량한 보정 — 파라미터 재조정 필요

실제 자본을 투입하기 전에 50회 이상의 예측에서 브라이어 점수를 관찰하세요. 점수가 상승하고 있다면 시장 레짐이 변화한 것이므로 모델 재보정이 필요합니다.

실전 응용: 예측 시장

Polymarket, Kalshi 같은 플랫폼이 실제 이진 계약을 제공하면서, 몬테카를로 확률 추정치가 직접 거래 가능한 형태가 되었습니다:

1. Polymarket에서 "금요일까지 BTC > $80K"가 58¢에 거래 중
2. MC 모델이 P(BULL)을 72%로 추정, 브라이어 점수 0.11
3. 내재 엣지 = +14 퍼센트포인트
4. 켈리 사이징에 따라 자본의 8.2% 배분
5. 실행: BULL 계약을 58¢에 매수, 72% 승률 예상

이것은 시장의 내재 확률과 모델의 추정 확률 사이의 차익거래입니다.

알아야 할 한계점

• GBM은 로그 정규 수익률을 가정 — 실제 시장은 팻 테일을 가지며, 특히 암호화폐의 플래시 크래시 시에는 더욱 두드러집니다
• 역사적 변동성의 시차 — 레짐이 변화할 때 과거 데이터 기간이 현재 상황을 반영하지 못할 수 있습니다
• 이벤트에는 적용 불가 — 실적 발표, FOMC 결정, 규제 발표는 어떤 MC 모델도 예측할 수 없는 불연속성을 만들어냅니다
• 파티클 필터 해상도 — 파티클 200개는 합리적인 수준의 확률 추적을 제공하지만 정밀하지는 않습니다