켈리 공식(Kelly Criterion)은 투자와 도박에서 장기적으로 자본을 최대화하기 위해 사용하는 자금 배분 공식이다.
1. 켈리 공식의 기원
켈리 공식은 1956년 AT&T 벨 연구소의 수학자 존 켈리(John L. Kelly Jr.)가 정보이론을 바탕으로 제시한 공식이다. 원래는 잡음이 있는 통신 채널에서 정보 전송률을 최대화하기 위해 개발되었지만, 곧 동일한 수학이 자본의 기하평균 성장률 문제에도 적용될 수 있음이 밝혀졌다. 이후 이 공식은 도박, 경마, 블랙잭, 주식 투자 등 반복적 확률 게임에서 최적 베팅 비중을 계산하는 도구로 확산되었다.
2. 수학적 정의
켈리 공식은 기대값이 양수인 게임에서 최적 비중을 계산해 주는 공식이며, 식은 다음과 같다: ‘f = (bp – q) / b’
여기서 f는 전체 자본 대비 베팅해야 할 비율, b는 배당률(배팅 승리 시 배당금 대비 원금), p는 승률, q는 패배 확률(1 – p)이다. f가 양수일 때만 베팅하고, 0 이하라면 베팅하지 않는 것이 장기적으로 유리하다.
예를 들어, 어떤 게임에서 60% 확률로 1배당(1:1) 이길 수 있다면 f = (1×0.6 – 0.4)/1 = 0.2, 즉 전체 자산의 20%를 베팅하는 것이 최적이다. 20%보다 더 크게 걸면 변동성이 커지고 장기 성장률이 오히려 낮아진다. 반대로 20%보다 작게 걸면 자본이 너무 느리게 성장한다.
3. 작동 원리
켈리 공식은 E[ln(W)], 즉 로그 기대값을 최대화한다. 로그 함수는 자본이 커질수록 같은 비율의 손실에 더 민감하게 반응하기 때문에, 지나치게 큰 베팅을 하면 장기 성장률이 줄어든다. 반대로 너무 작은 베팅을 하면 성장률이 최적점보다 낮아진다.
수학적으로 표현하면, 초기 자본 W0에서 n번의 베팅 후 자본은 ‘Wn = W0 × ∏(1 + f×ri)’ 로 나타난다. 여기서 ri는 i번째 베팅의 수익률, f는 투자 비중이다. 이 식은 n번의 베팅을 거치며 자본이 연속적으로 곱해져 성장한다는 사실을 보여준다.
이때 양변에 자연로그를 취하면 곱셈이 덧셈으로 바뀌어 계산이 단순해진다: ‘ln(Wn) = ln(W0) + Σ ln(1 + f×ri)’
이 식은 자본의 로그 값이 초기 로그 자본에 각 베팅의 로그수익률을 더한 합으로 표현됨을 보여준다. n이 커질수록, 즉 베팅을 무한히 반복할수록 계좌 성장 속도는 개별 로그수익률의 평균값으로 수렴한다. 결국 장기 복리 성장률은 E[ln(1 + f×r)] 으로 정의되는 평균 로그수익률에 의해 결정된다. 켈리 공식은 이 로그수익률을 투자 비중 f에 대해 미분하고, 그 결과가 0이 되는 지점을 찾아 최적 비중을 구한 것이다.
4. 실질적인 예시
원유 선물 시장을 예로 들어 보자. WTI 가격이 배럴당 80달러일 때, 한 달 뒤 55% 확률로 84달러까지 오르고 45% 확률로 78달러까지 떨어진다고 가정하자. 단순 기대값으로 계산하면 0.55×(+4) + 0.45×(–2) = +1.1달러, 즉 기대값은 양수다. 이 경우 투자자는 매수 포지션을 잡는 것이 합리적이다.
하지만 중요한 질문은 ‘얼마만큼 투자해야 하는가?’다. 전 재산을 모두 투자했다가 가격이 78달러로 떨어지면 손실이 커서 복구가 어렵다. 켈리 공식은 이때 최적 비중을 계산한다. 예상 수익률은 +5%, 예상 손실률은 –2.5%라면, f는 대략 0.3~0.35 수준이 나온다. 즉 전체 자산의 약 30%만 투자하는 것이 장기적으로 복리 성장률을 최대화한다.
5. 부분 켈리
실전에서는 ‘풀 켈리’보다 절반이나 1/3만 적용하는 부분 켈리를 선호한다. 이유는 켈리 공식이 가정하는 p와 b 값이 실제로는 확률적 추정치이기 때문이다. 승률을 잘못 추정하면 과도한 베팅으로 손실을 키울 수 있다. 따라서 보수적으로 접근하기 위해 계산된 f보다 더 작은 비중으로 베팅하는 것이 일반적이다.
예를 들어 앞선 원유 시장 사례에서 f=30%가 나왔다면, 실제로는 15% 정도만 투자하는 방식이다. 이렇게 하면 성장률은 다소 낮아지지만 변동성이 줄고, 파산 위험을 더 낮출 수 있다.
6. 변동성과 심리적 요인
켈리 공식은 수학적으로는 최적이지만, 투자자가 실제로 감내할 수 있는 변동성 범위를 고려하지 않는다. 포지션 크기가 커질수록 계좌의 일별 등락 폭이 커지고, 투자자가 중간에 심리적으로 흔들릴 가능성이 커진다. 특히 원유 시장처럼 변동성이 큰 자산에서는 이 부분이 중요하다.
예를 들어 하루 변동폭이 ±5%인 원유 ETF에 자산의 30%를 배팅했다면, 하루 만에 전체 계좌가 ±1.5% 움직인다. 이를 심리적으로 견디지 못해 중간에 포지션을 청산하면 켈리 공식이 전제하는 장기 복리 성장률을 얻을 수 없다. 따라서 투자자는 자신의 위험 감내 수준을 고려해 켈리 비중을 조정해야 한다.
7. 한계점
켈리 공식은 승률 p와 손익비 b가 안정적이고 정확하게 추정된다는 가정을 전제로 한다. 그러나 실제 시장에서 이 값들은 끊임없이 변한다. 원유 가격은 지정학적 사건, OPEC 감산·증산 결정, 미국 재고 발표 등으로 예측 불가능하게 움직인다. 과거 데이터로 추정한 승률이 미래에도 그대로 유지된다고 볼 수 없으며, 예측 오차가 커질수록 계산된 비중은 과도해지고 변동성은 기하급수적으로 커진다. 이 때문에 실전에서는 켈리 공식의 결과를 그대로 적용하기보다 추정치의 불확실성을 반영해 보수적으로 비중을 조정해야 한다.
또한 켈리 공식은 베팅 결과가 서로 독립적이라고 가정하지만, 금융시장은 상관관계가 높고 꼬리 사건이 동시다발적으로 발생한다. 원유, 주식, 환율이 한 방향으로 급변하는 국면에서는 손실이 동시에 발생해 계좌가 급격히 줄어들 수 있다. 2008년 금융위기나 2020년 코로나 쇼크처럼 단기간에 유동성이 마르는 상황에서는 풀 켈리 비중이 지나치게 공격적이 되어, 장기 복리 성장보다 생존 자체가 위협받는다. 이런 문제를 보완하기 위해 일부 투자자는 극단 시나리오를 가정한 스트레스 테스트를 병행하고, 켈리 비중을 위기 상황에서도 감당 가능한 수준으로 낮춰야 한다.
마지막으로, 현실의 투자자는 보통 여러 자산에 동시에 투자한다. 단일 게임에 대한 켈리 공식은 단순하지만, 포트폴리오 전체에 적용하려면 자산 간 상관관계와 공분산까지 고려해야 한다. 이를 다변량 켈리(Multivariate Kelly)라 부르며, 자산별 최적 비중을 동시에 풀어야 하는 다변수 최적화 문제로 변한다. 실무에서는 몬테카를로 시뮬레이션이나 평균-분산 최적화 모델을 활용해 근사치를 구하고, 여기에 추가적인 안전 마진을 둔다. 결국 켈리 공식은 강력한 이론적 도구지만, 시장의 불확실성과 상관 구조를 반영한 현실적 조정 없이는 지나치게 공격적인 결과를 낼 수 있다는 점을 유념해야 한다.
8. 마무리
켈리 공식은 장기적으로 자본을 가장 빠르게 키울 수 있는 비중을 제시하는 강력한 수학적 도구다. 그러나 그 전제는 확률과 손익비를 정확히 알고 있고, 베팅이 독립적이며 분포가 안정적이라는 이상적 조건 위에 세워져 있다. 실제 시장은 예측 불가능한 변수와 상관관계, 꼬리 위험이 상존하기 때문에 계산 결과를 그대로 적용하면 오히려 계좌가 위험에 노출될 수 있다.
결국 중요한 것은 도구 그 자체보다 그 도구를 이해하는 깊이다. 켈리 공식의 원리와 한계를 정확히 알고, 현실의 불확실성과 심리적 제약을 반영해 조정할 때 비로소 이 공식은 강력한 도구가 된다. 어떤 도구든 맹목적으로 쓰기보다, 그 구조와 가정을 이해한 뒤 자신에게 맞는 방식으로 활용해야 효과가 극대화된다.
PS – 장인의 도구를 쥐었다고 해서 모두가 장인이 되는 것은 아니다.
같이 보면 좋은 글
–베이지안 업데이팅이란?, 수학이 알려주는 유연한 사고
–카지노 산업, 해자가 있어도 수익성이 낮은 이유
–대수의 법칙이란?, 확률적 사고방식과의 결합
–정규 분포를 배워야 하는 이유, 다양한 예시와 한계점
–휴리스틱(Heuristic), 복잡한 세상을 단순하게 풀어내는 도구