동전을 무한 번 던진다고 하자. 앞면이 무한히 자주 나올 확률은 얼마인가? 고전적인 확률론으로는 이 질문에 답할 수 없다. 라플라스적 확률, 즉 “전체 경우의 수 가운데 유리한 경우의 수가 차지하는 비율”이라는 정의는 애초에 경우의 수가 유한할 때만 의미를 가진다. 기하학적 확률(길이나 넓이의 비율)로 확장하더라도 여전히 앞의 질문에 답할 수 없다. 동전을 무한 번 던지는 결과 전체의 모임은 \(\{H,T\}^{\mathbb N} ,\) 즉 \(0\)과 \(1\)의 무한수열 전체이고 그 크기는 비가산이다. “앞면이 무한히 자주 나온다”라는 사건은 이 공간의 부분집합인데, 그 정의 자체가 이미 가산 번의 논리 연산을 필요로 한다. (모든 \(N\)에 대해, 적당한 \(n\ge N\)이 존재하여 \(n\)번째 결과가 앞면인 것, 즉 가산교집합과 가산합집합을 겹겹이 쌓은 꼴이다.)
가산집합을 사용하는 개념에 기시감이 느껴진다. 즉 \(\sigma\)-대수를 정의할 때 이처럼 가산 연산에 대해 닫혀 있는 집합족이 필요했다. 확률이라는 개념을 무한한 대상에 대해서까지 다루려면, 처음부터 측도론의 언어로 다시 구성해야 한다는 뜻이다. 이 일을 해낸 사람은 콜모고로프다. [안드레이 콜모고로프가 1933년 저서 “확률론의 기초개념”(Grundbegriffe der Wahrscheinlichkeitsrechnung)에서 확률론 전체를 측도론 위에 재건했다. 보렐이 1909년에 이미 가산가법성을 확률에 도입했고 프레셰, 레비, 슈타인하우스 등도 비슷한 방향으로 나아가고 있었지만, 그 모든 흐름을 하나의 공리 체계로 완성한 것은 콜모고로프였다. 흥미롭게도 콜모고로프는 이 책에서 조건부 기댓값을 정의할 때 이미 라돈-니코딤 정리를 사용했다.]
이 글에서는 지금까지 구성해 온 측도론 전체가 확률론이라는 특수한 사례로 재구성되는 과정을 확인한다. 사건은 가측집합이고, 확률변수는 가측함수이며, 기댓값은 적분이다. 이와 같은 재구성의 끝에는 조건부 기댓값이 있는데, 이 개념은 앞서 증명한 라돈-니코딤 정리에 기반을 두고 있다.
콜모고로프의 공리화
확률론을 측도론으로 재건하는 사전 작업은 사실 이름을 바꾸어 붙이는 일에 가깝다.
확률공간, 확률변수, 분포의 정의
측도공간 \((\Omega,\,\mathcal F,\,P)\)가 \(P(\Omega)=1\)을 만족시키면, 이 공간을 확률공간(probability space)이라고 부른다. \(\Omega\)의 원소를 표본, \(\mathcal F\)의 원소를 사건(event)이라고 부른다. 가측함수 \(X:\Omega\to\mathbb R\)를 확률변수(random variable)라고 부른다. 확률변수 \(X\)에 대해, \(\mathbb R\)의 가측집합 \(B\)마다 \[ P_X(B)=P(X\in B) \] (즉 \(P(X^{-1}(B))\))로 정의된 측도 \(P_X\)를 \(X\)의 분포(distribution) 또는 법칙(law)이라고 부른다.
\(P_X\)가 실제로 측도라는 사실은 곧바로 확인된다. \(P_X(\varnothing)=P(X^{-1}(\varnothing))=P(\varnothing)=0\)이다. 쌍마다 서로소인 \(\{B_n\}\)에 대해 \(X^{-1}(B_n)\)들도 쌍마다 서로소이므로 [\(X\)가 함수이므로, 서로 다른 \(B_n\)의 원상이 겹치면 그 원상의 점에서 \(X\)가 두 값을 가져야 하는데 그럴 수 없다.] \[ P_X\left(\bigcup_nB_n\right)=P\left(\bigcup_nX^{-1}(B_n)\right)=\sum_nP(X^{-1}(B_n))=\sum_nP_X(B_n) \] 이다. 이렇게 함수를 통해 측도를 다른 공간으로 옮기는 구성을 밀어내기측도(pushforward measure)라고 부른다.
확률변수 \(X\)의 분포함수(distribution function)를 \(F_X(x)=P(X\le x)\)로 정의하면, \(F_X\)는 증가함수이고 우연속이다. [\(x_n\downarrow x\)이면 \(\{X\le x_n\}^c=\{X>x_n\}\)이 증가하는 집합열이고 \(\{X>x_n\}\uparrow\{X>x\}\)이므로, 측도의 아래로부터의 연속성에 의하여 \(P(X>x_n)\to P(X>x)\)이다. \(P(\Omega)=1\)이므로 \(P(X\le x_n)=1-P(X>x_n)\to1-P(X>x)=P(X\le x)\), 즉 \(F_X(x_n)\to F_X(x)\)를 얻는다.] \(P_X\)는 정확히 \(F_X\)의 르베그-스틸체스 측도 \(\mu_{F_X}\)와 같다.
기댓값의 정의
확률변수 \(X\)가 \(L^1(\Omega,\mathcal F,P)\)에 속하면, \(X\)의 기댓값(expectation)을 \[ \mathbb E[X]=\int_\Omega X\,dP \] 로 정의한다.
기댓값을 \(\Omega\) 위에서 계산하는 대신 \(\mathbb R\) 위에서, 즉 \(X\)의 분포만 가지고 계산할 수 있다면 훨씬 편리할 것이다. 실제로 그렇게 된다.
무의식적 통계학자의 법칙 (law of the unconscious statistician)
함수 \(g:\mathbb R\to\mathbb R\)가 가측함수이고 \(g(X)\in L^1(P)\)이면 \[ \mathbb E[g(X)]=\int_\Omega g(X)\,dP=\int_{\mathbb R}g\,dP_X \] 이다. 특히 \(g\)가 항등함수이면 \[ \mathbb E[X]=\int_{\mathbb R}x\,dP_X(x) \] 이다.
증명은 앞서 여러 차례 사용한 방법, 즉 지시함수에서 단순함수로, 다시 일반 가측함수로 확장하는 방식을 그대로 적용하면 충분하다. \(g=\mathbb 1_B\) (\(B\)는 가측집합)인 경우 \[ \int_\Omega\mathbb 1_B(X)\,dP=P(X\in B)=P_X(B)=\int_{\mathbb R}\mathbb 1_B\,dP_X \] 이므로 등식이 성립한다. \(g\)가 단순함수, 즉 \(g=\sum_ic_i\mathbb 1_{B_i}\)이면 양변의 선형성에 의하여 그대로 확장된다. \(g\ge0\)이 일반적인 가측함수이면 단순함수 근사 정리에 의하여 단순함수의 증가열 \(g_n\uparrow g\)를 선택하고, \(g_n(X)\uparrow g(X)\)이므로 단조수렴 정리를 양변에 적용하면 등식을 얻는다. 부호가 있는 \(g\)는 \(g^+,\,g^-\)로 쪼개면 된다.
이 정리 덕분에, 확률변수 \(X\) 자체를 다루지 않고도 그 분포 \(P_X\)만 알면 기댓값을 비롯한 모든 확률적인 질문에 답할 수 있다. 이산확률변수의 기댓값이 \(\sum_ix_ip_i\)로, 밀도함수를 갖는 연속확률변수의 기댓값이 \(\int x\rho(x)\,dx\)로 계산되던 것은, 앞서 확인했듯 \(P_X=\mu_{F_X}\)라는 하나의 사실에서 볼 때 그 두 공식이 애초에 하나였음을 보여 준다.
독립성
확률론에서 가장 중요한 개념 하나를 아직 정의하지 않았다. 두 사건, 두 확률변수, 또는 두 정보의 원천(\(\sigma\)-대수)이 서로 아무 영향도 주지 않는다는 뜻의 독립성이다.
독립성의 정의
사건 \(A_1,\,\ldots,\,A_n\)이 독립(independent)이라는 말은, \(\{1,\,\ldots,\,n\}\)의 모든 부분집합 \(S\)에 대해 \[ P\left(\bigcap_{i\in S}A_i\right)=\prod_{i\in S}P(A_i) \] 가 성립한다는 뜻이다. \(\sigma\)-대수 \(\mathcal G,\,\mathcal H\subseteq\mathcal F\)가 독립이라는 말은, 모든 \(G\in\mathcal G\), \(H\in\mathcal H\)에서 \(P(G\cap H)=P(G)P(H)\)가 성립한다는 뜻이다. 확률변수 \(X,\,Y\)가 독립이라는 말은, \(X\)가 생성하는 \(\sigma\)-대수 \[ \sigma(X)=\{X^{-1}(B):B\text{ is measurable}\} \] 과 \(\sigma(Y)\)가 독립이라는 뜻이다.
사건의 독립을 정의할 때 모든 부분집합 \(S\)에 대한 조건이 필요한 이유는, 쌍마다의 독립(\(S\)가 원소 두 개짜리인 경우)만으로는 전체가 독립임이 보장되지 않기 때문이다. [고전적인 반례가 있다. 정사면체의 네 면에 \((1,1,0)\), \((1,0,1)\), \((0,1,1)\), \((0,0,0)\)을 하나씩 적어 던진다고 하자. \(A_i=\{i\text{번째 좌표가 }1\}\) (\(i=1,2,3\))로 두면, 임의의 두 사건은 독립이지만 (각 사건이 확률 \(1/2\)이고 교집합도 \(1/4\)이다) 세 사건을 한꺼번에 보면 \(P(A_1\cap A_2\cap A_3)=0\neq(1/2)^3\)이다.]
독립인 확률변수의 곱의 기댓값이 기댓값의 곱이라는 사실은 직관적으로 당연해 보이지만, 그것을 증명하려면 곱측도와 토넬리 정리를 사용해야 한다.
독립 확률변수의 곱의 기댓값
확률변수 \(X,\,Y\)가 독립이고 \(X,\,Y\in L^1(P)\) (또는 \(X,\,Y\ge0\))이면 \(XY\in L^1(P)\) (또는 \(XY\ge0\)이 의미를 갖는 값으로 적분 가능)이고 \[ \mathbb E[XY]=\mathbb E[X]\,\mathbb E[Y] \] 이다.
증명은 다음과 같다. 먼저 결합분포(joint distribution) \(P_{(X,Y)}\)가 곱측도 \(P_X\times P_Y\)와 같다는 사실을 보이자. (\(P_{(X,Y)}\)는 \(\mathbb R^2\)의 가측집합 \(E\)에 대해 \(P_{(X,Y)}(E)=P((X,Y)\in E)\)로 정의된 밀어내기측도다.) 사각형 \(A\times B\)에 대해 \[\begin{aligned} P_{(X,Y)}(A\times B) &= P(X\in A,\,Y\in B)\\[6pt] &= P(X\in A)P(Y\in B)\\[6pt] &= P_X(A)P_Y(B)\\[6pt] &= (P_X\times P_Y)(A\times B) \end{aligned}\] 이다. (가운데 등식이 바로 독립성의 정의다.) 곱측도는 사각형 위에서의 값으로 유일하게 정해지므로 (\(P_X,\,P_Y\)가 확률측도라 유한측도이고, 따라서 \(\sigma\)-유한이다) \(P_{(X,Y)}=P_X\times P_Y\)이다.
이제 무의식적 통계학자의 법칙을 \((X,Y):\Omega\to\mathbb R^2\)와 함수 \(g(x,y)=xy\)에 적용하면 (같은 증명이 이차원에서도 그대로 성립한다) \[ \mathbb E[XY]=\int_{\mathbb R^2}xy\,dP_{(X,Y)}=\int_{\mathbb R^2}xy\,d(P_X\times P_Y) \] 이다. 두 확률변수 \(X,\,Y\ge0\)인 경우는 \(xy\ge0\)이므로 토넬리 정리에 의하여 \[\begin{aligned} \int_{\mathbb R^2}xy\,d(P_X\times P_Y) &= \int_{\mathbb R}\left(\int_{\mathbb R}xy\,dP_Y(y)\right)dP_X(x) \\[4pt] &= \int_{\mathbb R}x\left(\int_{\mathbb R}y\,dP_Y(y)\right)dP_X(x) \\[4pt] &= \mathbb E[Y]\int_{\mathbb R}x\,dP_X(x)=\mathbb E[X]\,\mathbb E[Y] \end{aligned}\] 를 얻는다. (안쪽 적분에서 \(x\)는 상수로 빠져나온다.) \(X,\,Y\in L^1(P)\)인 일반적인 경우는, 먼저 \(|X|,\,|Y|\ge0\)에 토넬리 정리를 적용하고 \[ \mathbb E[|XY|]=\mathbb E[|X|]\,\mathbb E[|Y|] < \infty \] 임을 확인하여 \(XY\in L^1(P)\)를 얻는다. 그 뒤 \(X=X^+-X^-\), \(Y=Y^+-Y^-\)로 쪼개어 네 항 \[ \mathbb E[X^+Y^+],\quad \mathbb E[X^+Y^-],\quad \mathbb E[X^-Y^+],\quad \mathbb E[X^-Y^-] \] 에 각각 방금 보인 음이 아닌 경우의 결과를 적용하고 다시 합치면 된다.
여러 수렴 개념
확률변수의 수열이 “수렴한다”는 말은 하나로 정해지지 않는다. 어떤 기준으로 가까움을 재느냐에 따라 서로 다른(그리고 세기가 다른) 개념이 생긴다.
세 가지 수렴 개념의 정의
확률변수의 수열 \(\{X_n\}\)과 확률변수 \(X\)에 대해 다음을 정의한다.
- 거의 확실히(almost surely; a.s.) \(X_n\to X\)라는 것은 \[ P\left(\{\omega:X_n(\omega)\to X(\omega)\}\right)=1 \] 을 의미한다. (“거의 어디서나”라는 개념을 확률측도에 그대로 특수화한 것이다.)
- \(X_n\to X\)로서 확률수렴(in probability)한다는 것은 모든 \(\varepsilon > 0\)에서 \(P(|X_n-X| > \varepsilon)\to0\)을 의미한다.
- \(X_n\to X\)로서 \(L^p\) 수렴한다는 것은 \(\mathbb E[|X_n-X|^p]\to 0\)을 의미한다. (\(L^p\) 노름수렴 \(\|X_n-X\|_p\to0\)을 그대로 특수화한 것이다.)
네 번째 수렴 개념은 앞의 셋과 성격이 다르다. 앞의 셋은 \(X_n\)과 \(X\)를 같은 표본공간 위에서 점마다(또는 그에 가깝게) 비교하지만, 다음 개념은 오직 분포끼리만 비교한다. 그래서 \(X_n\)과 \(X\)가 같은 확률공간에 있을 필요조차 없다.
분포수렴의 정의
\(X_n\to X\)으로서 분포수렴(in distribution)한다는 말은, \(F_X\)가 연속인 모든 점 \(x\)에서 \(F_{X_n}(x)\to F_X(x)\)가 성립한다는 뜻이다.
이 네 개념은 강도가 다르며, 다음과 같은 함의 관계를 형성한다.
(\(L^p\) 수렴) ⇒ (확률수렴),
(거의 확실한 수렴) ⇒ (확률수렴) ⇒ (분포수렴).
여기서 어느 화살표도 거꾸로는 성립하지 않는다.
먼저 \(L^p\) 수렴이 확률수렴을 함의한다는 것을 보이자. 이 증명에는 확률론에서 가장 자주 쓰이는 부등식이 필요하다.
마르코프 부등식 (Markov's inequality)
함수 \(Y\ge0\)이 가측함수이고 \(a > 0\)이면 \[ P(Y\ge a)\le\frac{\mathbb E[Y]}{a} \] 이다.
증명은 점별 부등식 \(a\cdot\mathbb 1_{\{Y\ge a\}}\le Y\)에서 바로 나온다. (\(Y\ge a\)인 점에서는 \(a\cdot1\le Y\)이고, 그 바깥에서는 \(a\cdot0=0\le Y\)이기 때문이다.) 양변에 기댓값을 취하면 (순서보존성에 의하여) \(a\,P(Y\ge a)\le\mathbb E[Y]\)를 얻는다.
이제 \(L^p\)수렴이 확률수렴을 함의함을 보이자. \(\varepsilon > 0\)이 임의로 주어지면, \(Y=|X_n-X|^p\)와 \(a=\varepsilon^p\)에 마르코프 부등식을 적용하여 \[\begin{aligned} P(|X_n-X| > \varepsilon) &= P(|X_n-X|^p > \varepsilon^p) \\[6pt] & \le P(|X_n-X|^p\ge\varepsilon^p)\\[3pt] & \le\frac{\mathbb E[|X_n-X|^p]}{\varepsilon^p} \end{aligned}\] 를 얻는다. \(L^p\)수렴에 의하여 우변이 \(0\)으로 수렴하므로 \(P(|X_n-X| > \varepsilon)\to0\)이다.
거의 확실한 수렴이 확률수렴을 함의한다는 사실도 비슷한 방식으로 보인다. \(Y_n=\sup_{m\ge n}|X_m-X|\)로 두면 \(Y_n\)은 감소하고, 거의 확실한 수렴의 정의에 의하여 \(Y_n\downarrow0\)이 거의 확실히 성립한다. \(P(\Omega)=1 < \infty\)이므로 (여집합에 측도의 아래로부터의 연속성을 적용하면, 앞서 분포함수의 우연속성을 보일 때와 같은 방식이다) \(P(Y_n > \varepsilon)\to0\)이다. \(\{|X_n-X| > \varepsilon\}\subseteq\{Y_n > \varepsilon\}\)이므로 \(P(|X_n-X| > \varepsilon)\le P(Y_n > \varepsilon)\to0\)이다.
확률수렴이 분포수렴을 함의한다는 증명은 이 글에서 다루지 않는다. [증명의 핵심은, \(F_X\)의 연속점 \(x\)와 임의의 \(\varepsilon > 0\)에 대해 \(\{X_n\le x\}\)를 \(\{X\le x+\varepsilon\}\)과 \(\{|X_n-X| > \varepsilon\}\)으로 가르는 부등식 \[ F_{X_n}(x)\le F_X(x+\varepsilon)+P(|X_n-X| > \varepsilon) \] 을 세우고, 반대 방향의 부등식도 비슷하게 세운 뒤 \(\varepsilon\to0\)으로 보내는 것이다.]
이제 역이 성립하지 않는다는 사실을 반례로 확인하자. 먼저 확률수렴(그리고 \(L^p\)수렴)이 거의 확실한 수렴을 함의하지 않는다는 것을 보이자. \(\Omega=[0,\,1]\)(르베그 측도)이라고 하고, 구간 \([0,\,1]\)을 점점 잘게, 그러나 반복하여 훑는 수열 \[\begin{aligned} X_1 &=\mathbb 1_{[0,1]},\\[6pt] X_2 &=\mathbb 1_{[0,1/2]},\\[6pt] X_3 &=\mathbb 1_{[1/2,1]},\\[6pt] X_4 &=\mathbb 1_{[0,1/3]},\\[6pt] X_5 &=\mathbb 1_{[1/3,2/3]},\\[6pt] X_6 &=\mathbb 1_{[2/3,1]},\\[6pt] \vdots \end{aligned}\] 을 생각하자. (구간의 길이를 \(1,\,1/2,\,1/2,\,1/3,\,1/3,\,1/3,\,\ldots\)으로 줄여 가며 매번 \([0,\,1]\)을 전부 훑는다.) \(n\)번째 구간의 길이를 \(\ell_n\)이라고 하면 \(\ell_n\to0\)이므로, 임의의 \(\varepsilon\in(0,\,1)\)에 대해 \[ P(|X_n-0| > \varepsilon)=P(X_n=1)=\ell_n\to0 \] 이다. 즉 \(X_n\to0\)은 확률수렴한다. (\(\mathbb E[X_n^p]=\ell_n\to0\)이므로 \(L^p\)수렴도 한다.) 그런데 임의의 \(\omega\in[0,\,1]\)에 대해, 이 구간들이 \([0,\,1]\)을 무한히 되풀이하여 훑으므로 \(\omega\)를 포함하는 구간이 무한히 많다. 그러므로 \(X_n(\omega)=1\)인 \(n\)이 무한히 많으면서 동시에(구간의 길이가 \(0\)으로 줄어들므로) \(X_n(\omega)=0\)인 \(n\)도 무한히 많다. 즉 \(X_n(\omega)\)는 어떤 \(\omega\)에서도 수렴하지 않는다. 거의 확실한 수렴이 실패하는 것이다.
이제 거의 확실한 수렴이 \(L^p\)수렴을 함의하지 않는다는 것을 보이자. \(\Omega=[0,\,1]\)에서 \[ X_n=n\cdot\mathbb 1_{(0,1/n)} \] 으로 두면, \(\omega > 0\)인 모든 \(\omega\)에서 \(n > 1/\omega\)이면 \(X_n(\omega)=0\)이므로, \(X_n\to0\)이 \(\omega=0\)을 제외한 모든 점에서(그러므로 거의 확실히) 성립한다. 그런데 \[ \mathbb E[X_n^p]=n^p\cdot\frac1n=n^{p-1} \] 인데, \(p\ge1\)이면 이 값은 \(\infty\)로 발산하므로 \(L^p\)수렴은 실패한다.
마지막으로 분포수렴이 확률수렴을 함의하지 않는다는 것을 보이자. \(X\)가 표준정규분포를 따른다고 하자. (대칭분포이므로 \(-X\)도 같은 분포를 따른다.) \(X_n=-X\)(모든 \(n\)에서 같다)로 두면, \(X_n\)의 분포는 \(X\)의 분포와 항상 같으므로 \(X_n\to X\)는 자명하게 분포수렴한다. 그런데 \(X_n-X=-2X\)이므로 \[ P(|X_n-X| > \varepsilon)=P\left(|X| > \frac{\varepsilon}{2}\right) \] 는 \(0\)이 아닌 상수이고 \(n\)에 따라 전혀 줄어들지 않는다. 확률수렴은 실패한다.
큰 수의 약법칙
마르코프 부등식을 조금 다듬으면, 확률변수가 평균에서 크게 벗어날 확률의 상계를 분산으로 표현하는 부등식을 얻는다.
체비쇼프 부등식 (Chebyshev's inequality)
확률변수 \(X\)의 분산이 존재하고 \(\varepsilon > 0\)이면 \[ P\left(|X-\mathbb E[X]|\ge\varepsilon\right)\le\frac{\mathrm{Var}(X)}{\varepsilon^2} \] 이다.
증명은 마르코프 부등식을 \(Y=(X-\mathbb E[X])^2\ge0\)과 \(a=\varepsilon^2\)에 적용하면 곧바로 끝난다. \[\begin{aligned} P\left(|X-\mathbb E[X]|\ge\varepsilon\right) &= P\left((X-\mathbb E[X])^2\ge\varepsilon^2\right)\\[4pt] &\le\frac{\mathbb E[(X-\mathbb E[X])^2]}{\varepsilon^2}\\[3pt] &=\frac{\mathrm{Var}(X)}{\varepsilon^2} \end{aligned}\] 이다. [이레네-쥘 비엔에메가 1853년에 최소제곱법을 다루던 논문에서 이 부등식을 먼저 진술했지만 증명 없이 남겨 두었다. 14년 뒤인 1867년 파프누티 체비쇼프가 논문 “평균값에 관하여”(О средних величинах)에서 독립적으로 이 부등식을 증명하고 큰 수의 법칙에 적용했는데, 이 논문이 널리 읽히면서 지금의 이름이 붙었다. 체비쇼프의 제자 마르코프가 앞서 다룬 더 기본적인 부등식도, 바로 이 체비쇼프의 증명 방식을 일반화하여 얻은 것이다.]
이제 확률론에서 가장 유명한 정리를 증명할 준비가 되었다.
큰 수의 약법칙 (weak law of large numbers)
확률변수 \(X_1,\,X_2,\,\ldots\)가 독립이고 동일한 분포를 따르며 \(\mathbb E[X_i]=\mu\), \(\mathrm{Var}(X_i)=\sigma^2 < \infty\)라고 하자. \[ S_n=\frac{X_1+\cdots+X_n}{n} \] 으로 두면 \(S_n\to\mu\)는 확률수렴한다.
증명은 다음과 같다. 기댓값의 선형성에 의하여 \[ \mathbb E[S_n]=\frac1n\sum_{i=1}^n\mathbb E[X_i]=\mu \] 이다. 이제 분산을 계산하자. \[\begin{aligned} \mathrm{Var}(S_n) &= \mathbb E\left[(S_n-\mu)^2\right]=\mathbb E\left[\left(\frac1n\sum_{i=1}^n(X_i-\mu)\right)^2\right] \\[4pt] &= \frac1{n^2}\sum_{i=1}^n\sum_{j=1}^n\mathbb E\left[(X_i-\mu)(X_j-\mu)\right] \end{aligned}\] 인데, \(i\neq j\)이면 \(X_i-\mu\)와 \(X_j-\mu\)도 독립이므로 (독립인 확률변수에 함수를 씌운 것은 여전히 독립이다) 앞 절의 정리에 의하여 \[ \mathbb E\left[(X_i-\mu)(X_j-\mu)\right]=\mathbb E[X_i-\mu]\,\mathbb E[X_j-\mu]=0\cdot0=0 \] 이고, \(i=j\)이면 \(\mathbb E[(X_i-\mu)^2]=\mathrm{Var}(X_i)=\sigma^2\)이다. 그러므로 이중합에서 \(i=j\)인 \(n\)개의 항만 남아 \[ \mathrm{Var}(S_n)=\frac1{n^2}\sum_{i=1}^n\sigma^2=\frac{\sigma^2}{n} \] 이다. 이제 체비쇼프 부등식을 \(S_n\)에 적용하면, 임의의 \(\varepsilon > 0\)에 대해 \[ P\left(|S_n-\mu|\ge\varepsilon\right)\le\frac{\mathrm{Var}(S_n)}{\varepsilon^2}=\frac{\sigma^2}{n\varepsilon^2}\ \longrightarrow\ 0\quad(n\to\infty) \] 이다. 즉 \(S_n\to\mu\)는 확률수렴한다.
조건부 기댓값
이제 이 글의 핵심 개념에 이르렀다. “정보가 주어졌을 때 기댓값을 다시 계산한다”라는 직관적 개념을, 라돈-니코딤 정리를 사용하여 엄밀하게 정의한다.
정보를 수학적으로 어떻게 표현할 수 있을까? \(\mathcal G\subseteq\mathcal F\)가 부분 \(\sigma\)-대수라고 하자. \(\mathcal G\)에 속하는 사건만 ‘관찰할 수 있다’고 생각하면, \(\mathcal G\)는 정확히 그만큼의 정보를 나타낸다. 이 정보가 주어졌을 때, 적분 가능한 확률변수 \(X\)에 대한 최선의 추측을 정의하고자 한다.
착상은 다음과 같다. \(\mathcal G\)에 속하는 사건 \(A\)마다 \[ \nu(A)=\int_AX\,dP \] 로 새로운 집합함수를 정의하자. \(X\)가 부호를 가질 수 있으므로 \(\nu\)는 (\(\mathcal G\) 위의) 부호측도다. [\(\nu\)가 가산가법적이라는 사실은, 적분이 서로소인 집합에 대해 가산가법적으로 쪼개진다는 사실(단조수렴 정리의 증명 과정에서 다룬 것과 같은 종류의 사실)에서 나온다.] 그런데 \(A\in\mathcal G\)에서 \(P(A)=0\)이면 \(\nu(A)=\int_AX\,dP=0\)이다. 즉 \(\nu\)는 (\(\mathcal G\) 위로 제한한 측도 \(P|_{\mathcal G}\)에 대해) 절대연속이다. \(P\)는 확률측도이므로 유한측도이고, 따라서 \(\sigma\)-유한이다. 그러므로 라돈-니코딤 정리(부호측도로 확장한 형태, 즉 \(\nu\)를 조르당 분해하여 \(\nu^+,\,\nu^-\)에 각각 적용한 형태)를 사용할 수 있다.
조건부 기댓값의 정의
확률변수 \(X\in L^1(\Omega,\mathcal F,P)\)이고 \(\mathcal G\subseteq\mathcal F\)가 부분 \(\sigma\)-대수라고 하자. 라돈-니코딤 정리에 의하여 존재하는, \(\mathcal G\)에 대해 가측이고 \[ \int_AX\,dP=\int_A\mathbb E[X\mid\mathcal G]\,dP\quad(\forall A\in\mathcal G) \] 를 만족시키는 (\(P\)에 대해 거의 어디서나 유일한) 함수 \(\mathbb E[X\mid\mathcal G]\)를 \(X\)의 \(\mathcal G\)에 대한 조건부 기댓값(conditional expectation)이라고 부른다.
이 정의는 처음 보면 낯설 수 있다. \(\mathbb E[X\mid\mathcal G]\)는 \(\mathcal G\)-가측함수, 즉 \(\mathcal G\)에 담긴 정보만으로 계산할 수 있는 확률변수이면서, 동시에 \(\mathcal G\)에 속하는 모든 사건 위에서 \(X\)와 정확히 같은 적분값을 갖는 함수다. \(\mathcal G\)가 모든 정보(\(\mathcal F\))를 담고 있다면 \(\mathbb E[X\mid\mathcal F]=X\)이다. [\(X\) 자신이 이미 \(\mathcal G\)-가측이므로 등식이 자명하게 성립한다.] 반대로 \(\mathcal G\)가 아무 정보도 담지 않는 자명한 \(\sigma\)-대수 \(\{\varnothing,\,\Omega\}\)라면 \(\mathbb E[X\mid\mathcal G]=\mathbb E[X]\)이다. [상수함수만이 이 \(\mathcal G\)에 대해 가측이기 때문이다.] 조건부 기댓값은 이 두 극단 사이에서, \(\mathcal G\)가 허용하는 만큼만 \(X\)를 반영한 값이다.
여기서 짚고 넘어갈 것이 있다. 콜모고로프는 1933년에 이미 정확히 이 구성, 즉 라돈-니코딤 정리로 조건부 기댓값을 정의하는 방식을 사용했다. 조건부 확률을 조건부 기댓값의 특수한 경우, 즉 \(X=\mathbb 1_A\)일 때 \[ P(A\mid\mathcal G):=\mathbb E[\mathbb 1_A\mid\mathcal G] \] 로 정의하면, 조건부 확률이라는 훨씬 오래된 개념도 사실은 이 정의에 기반을 두게 되는 것이다.
조건부 기댓값의 정의만으로는 실제 계산에서 그 값을 계산하기는 어렵다. 조건부 기댓값이 만족시키는 기본 성질 세 가지를 확인하자. 세 증명 모두 뼈대가 같다. 원하는 등식의 양변이 \(\mathcal G\)-가측이고 \(\mathcal G\)의 모든 사건 위에서 같은 적분값을 준다는 사실을 보인 뒤, 라돈-니코딤 정리의 유일성으로 마무리한다.
조건부 기댓값의 선형성
\(X,\,Y\in L^1(P)\)이고 \(a,\,b\in\mathbb R\)이면, \(P\)에 대해 \[ \mathbb E[aX+bY\mid\mathcal G]=a\,\mathbb E[X\mid\mathcal G]+b\,\mathbb E[Y\mid\mathcal G] \text{ a.e.} \] 가 성립한다.
증명은 다음과 같다. 우변은 \(\mathcal G\)-가측함수의 선형결합이므로 \(\mathcal G\)-가측이다. 임의의 \(A\in\mathcal G\)에 대해 \[\begin{aligned} \int_A\left(a\,\mathbb E[X\mid\mathcal G]+b\,\mathbb E[Y\mid\mathcal G]\right)dP &= a\int_A\mathbb E[X\mid\mathcal G]\,dP+b\int_A\mathbb E[Y\mid\mathcal G]\,dP \\[4pt] &= a\int_AX\,dP+b\int_AY\,dP=\int_A(aX+bY)\,dP \end{aligned}\] 이다. (둘째 등식은 조건부 기댓값의 정의이고, 나머지는 적분의 선형성이다.) 우변이 \(\mathcal G\)-가측이면서 \(\mathcal G\)의 모든 사건에서 \(aX+bY\)와 같은 적분값을 주므로, 라돈-니코딤 정리가 보장하는 유일성에 의하여 \[ a\,\mathbb E[X\mid\mathcal G]+b\,\mathbb E[Y\mid\mathcal G]=\mathbb E[aX+bY\mid\mathcal G] \] 이다.
탑 성질 (tower property) \[ \mathbb E\left[\mathbb E[X\mid\mathcal G]\right]=\mathbb E[X] \]
증명은 조건부 기댓값의 정의에서 \(A=\Omega\)를 대입하면 곧바로 끝난다. \(\mathcal G\)가 \(\sigma\)-대수이므로 \(\Omega\in\mathcal G\)이고, 정의에 의하여 \[ \int_\Omega\mathbb E[X\mid\mathcal G]\,dP=\int_\Omega X\,dP \] 즉 \(\mathbb E\left[\mathbb E[X\mid\mathcal G]\right]=\mathbb E[X]\)이다. \(\mathcal G\)라는 정보로 걸러 낸 추측이라도, 그 추측 자체의 평균은 원래 \(X\)의 평균과 같다는 뜻이다.
알려진 인자 빼내기 (taking out what is known)
함수 \(Z\)가 \(\mathcal G\)-가측이고 유계이면 \[ \mathbb E[ZX\mid\mathcal G]=Z\,\mathbb E[X\mid\mathcal G] \] 이다.
증명은 다음과 같다. 먼저 \(Z=\mathbb 1_B\) (\(B\in\mathcal G\))인 경우를 보이자. 우변 \(\mathbb 1_B\,\mathbb E[X\mid\mathcal G]\)는 \(\mathcal G\)-가측이다. 임의의 \(A\in\mathcal G\)에 대해 \(A\cap B\)도 \(\mathcal G\)에 속하므로 (\(\mathcal G\)가 교집합에 닫혀 있다) \[ \int_A\mathbb 1_B\,\mathbb E[X\mid\mathcal G]\,dP=\int_{A\cap B}\mathbb E[X\mid\mathcal G]\,dP=\int_{A\cap B}X\,dP=\int_A\mathbb 1_BX\,dP \] 이다. (가운데 등식이 조건부 기댓값의 정의다.) 유일성에 의하여 \(\mathbb E[\mathbb 1_BX\mid\mathcal G]=\mathbb 1_B\,\mathbb E[X\mid\mathcal G]\)이다. 방금 증명한 선형성에 의하여 이 등식은 \(\mathcal G\)-가측인 단순함수 \(Z\)로 곧바로 확장된다. 일반적인 유계 \(\mathcal G\)-가측함수 \(Z\)는 단순함수 근사 정리로 단순함수의 열로 근사한 뒤 지배수렴 정리로 양변의 극한을 취하면 된다.
조건부 기댓값의 추상적인 정의가 실제로 무엇을 계산하는지, 익숙한 예를 사용하여 확인해 보자. \(\Omega\)의 분할 \(B_1,\,B_2,\,\ldots\)(쌍마다 서로소, \(\bigcup_iB_i=\Omega\), 각 \(P(B_i) > 0\))가 주어졌고 \[ \mathcal G=\sigma(\{B_i\}) \] (이 분할이 생성하는 \(\sigma\)-대수, 즉 \(B_i\)의 합집합으로 만들 수 있는 모든 집합의 모임)라고 하자. \(\mathcal G\)-가측함수는 정확히 각 \(B_i\) 위에서 상수인 함수다. [함수 \(f\)가 \(\mathcal G\)-가측이고 적당한 \(B_i\) 위에서 상수가 아니라고 하면, \(f\)가 서로 다른 두 값 \(c\neq c'\)을 \(B_i\) 안에서 갖는데 \(\{f>c'\}\cap B_i\)가 \(B_i\)의 진부분집합이면서 공집합이 아니어야 한다. 그런데 \(\mathcal G\)의 원소는 \(B_i\)의 합집합뿐이므로 \(B_i\)를 진부분집합으로 쪼개는 가측집합이 없다. 모순이다.] 그러므로 \[ f(\omega)=\sum_i\frac{\int_{B_i}X\,dP}{P(B_i)}\,\mathbb 1_{B_i}(\omega) \] 로 정의된 함수 \(f\)는 \(\mathcal G\)-가측이다. (각 \(B_i\) 위에서 상수이기 때문이다.) 임의의 \(A\in\mathcal G\)는 \(A=\bigcup_{i\in I}B_i\)(적당한 첨수 집합 \(I\)) 꼴이므로 \[\begin{aligned} \int_Af\,dP &= \sum_{i\in I}\int_{B_i}f\,dP=\sum_{i\in I}\frac{\int_{B_i}X\,dP}{P(B_i)}\cdot P(B_i) \\[4pt] &= \sum_{i\in I}\int_{B_i}X\,dP=\int_AX\,dP \end{aligned}\] 가 성립하여, \(f\)가 정확히 조건부 기댓값의 정의 조건을 만족시킨다. 유일성에 의하여 \[ \mathbb E[X\mid\mathcal G](\omega)=\frac{\int_{B_i}X\,dP}{P(B_i)}=\mathbb E[X\mid B_i]\qquad(\omega\in B_i) \] 이다. 즉 \(\omega\)가 어느 조각 \(B_i\)에 속하는지만 확인한 뒤, 그 조각 위에서 \(X\)의 평균(흔히 ‘조건부 가중평균’이라고 부르는 값)을 대응시키는 것이 \(\mathbb E[X\mid\mathcal G]\)다. 라돈-니코딤 정리라는 일반적인 존재성 증명이, 이산적인 경우에는 이렇게 구체적인 평균 계산으로 환원된다.
조건부 기댓값에서 마팅게일로
지금까지 구성해 온 측도론이 확률론이라는 특수한 사례 속으로 완전히 녹아드는 것을 확인하였다. 확률공간은 측도공간이고, 확률변수는 가측함수이며, 기댓값은 적분이고, 분포는 밀어내기측도다. 독립인 확률변수의 곱의 기댓값이 기댓값의 곱이 된다는 사실을 푸비니-토넬리 정리를 사용하여 증명하였고, 거의 확실한 수렴, 확률수렴, \(L^p\) 수렴, 분포수렴이라는 네 가지 수렴 개념 사이의 관계를 정리하였다. 마르코프 부등식에서 체비쇼프 부등식을 얻고, 이를 사용하여 큰 수의 약법칙을 증명하였다. 마지막으로 라돈-니코딤 정리를 사용하여 조건부 기댓값을 정의하고, 선형성, 탑 성질, 알려진 인자 빼내기라는 기본 성질을 증명하였으며, 이산적인 경우의 예를 사용하여 그 의미를 확인하였다.
이것으로 측도론과 그 응용을 다루는 부분이 끝난다. 크기를 재는 도구를 정의한 뒤, 그 위에 적분을 구성하고, 함수공간의 구조를 살피고, 측도 자체를 추상화하여 부호측도를 도입하고, 마침내 확률론 전체를 재구성하였다. 그런데 조건부 기댓값으로 이야기가 끝나는 것은 아니다. 시간이 흐르면서 정보가 점점 늘어난다고 하자. 즉 \(\sigma\)-대수의 증가열 \(\mathcal F_1\subseteq\mathcal F_2\subseteq\cdots\)가 주어지고(이와 같은 증가열을 여과(filtration)라고 부른다), 확률변수의 수열 \(\{X_n\}\)이 각 \(X_n\)마다 \(\mathcal F_n\)-가측이면서 \[ \mathbb E[X_{n+1}\mid\mathcal F_n]=X_n \] 을 만족시킨다고 하자. 이런 수열을 마팅게일(martingale)이라고 부른다. “내일의 최선의 추측이 오늘의 값과 같다”라는, 공정한 게임을 수식으로 옮긴 개념이다. 관심 있는 사람은 마팅게일 이론을 찾아보기 바란다.
🍭