Conditional PMF와 Conditional Expectation 예제로 보기

동전을 세번 뒤집는 실험이 있다고 하자

 

그리고 확률변수 X, Y에 대해서 각각 다음과 같이 정의했다.

X = Num of Heads in 3 Flips

Y = Position 1st Head(0 if No Heads)

 

 

1) Sample Space 구하기

 

S = {HHH, HHT, HTH, THH, HTT, THT, TTH, TTT}

 

HHH를 확률변수 X와 Y에 대응시켜보자.

X : H가 3개 나왔으므로 3

Y : H가 첫번째에 나왔으므로 1

 

이처럼 모든 outcome들을 확률변수를 통해 실수로 매핑한다.

 

 

2) Marginal PMF, Joint PMF 구하기

 

왼쪽의 표를 통해서 X와 Y의 Joint PMF $P_{XY}(x, y)$와 함께 Marginal PMF를 구할 수 있다.

 

Outcome	X	Y
HHH	3	1
HHT	2	1
HTH	2	1
THH	2	2
HTT	1	1
THT	1	2
TTH	1	3
TTT	0	0

 

 

3) Marginal과 Joint의 관계를 통해 Conditional PMF 구하기

 

$\textrm{Conditional}=\dfrac{\textrm{Joint}}{\textrm{Marginal}}$

 

$P(A|B) = \dfrac{P(A\cap B)}{P(B)}$ 인 것과 같이 Conditional PMF에서도 이러한 개념이 적용된다.

 

$$P_{Y|X}(y|x) = \dfrac{P_{XY}(x, y)}{P_X(x)}$$

 

Conditional PMF를 어떻게 해석해야 하는가?

$P_{Y|X}(y|x_i)$ : $x=x_i$라는 어떤 특정값일 때, y의 PMF는 어떻게 되는지?

 

 

여기까지 하면 조건부 확률을 구할 수 있게 되었다.

 

그렇다면 조건부 기댓값은 어떻게 구하면 될까?

 

 

4) Conditional PMF로 Conditional Expectation 구하기

 

조건부 기댓값은 $x = x_k$라는 특정 값일 때의 Y에 대한 기댓값

$E[Y|x_k] = \sum\limits_j y_j \cdot P_Y(y_j|x_k)$을 구한다.

 

$E[y|x=0]=0$

$E[y|x=1]=\frac{1}{3}\cdot 1 + \frac{1}{3}\cdot 2 + \frac{1}{3}\cdot 3 = 2$

$E[y|x=2]=\frac{2}{3}\cdot 1 + \frac{1}{3}\cdot 2 = \frac{4}{3}$

$E[y|x=3]=1$

 

x가 0일 때, 1일 때, ... 등 X가 상수값을 가져 Deterministic한 상황에서 Y의 PMF가 달라진다.

그리고 그에 따른 Y의 기댓값을 구하게 되니 $E[Y|X]$는 x의 함수이자, y에 대한 기댓값이다.

 

y에 대해서 기댓값을 구하기 때문에 y는 더이상 randomness하지 않고 deterministic해진다.

 

 

$E[Y] = E[E[Y|X]]$인 Law of Iterated Expectation이라는 원칙이 있다.

$E[Y|X]$까지는 특정 X = i 마다 Y의 PMF가 달라지고, 그런 상황에서 Y에 대한 기댓값을 구하게 되겠다.

이 기댓값은 어떠한 상수로 나오게 될 테니 Deterministic한 Y에 대한 기댓값이 나오겠다.

그리고 이는 X의 함수이다.

 

여기서 또한번 X에 대한 평균을 내면 다음과 같다.

$E[E[Y|X]] = \sum_\limits{i=-\infty}^{\infty}E[Y|X=i]P(X=i) = E[Y]$

 

그 결과는 곧 $E[Y]$와 같아지는데, 이 둘이 정말 같은지 직접 눈으로 확인해보자.

1) $E[Y] = 0 \cdot \frac{1}{8} + 1 \cdot \frac{4}{8} + 3 \cdot \frac{1}{8} = \frac{11}{8}$

2) $E[E[Y|X]] = 0 \cdot P_X(0) + 2\cdot P_X(1) + \frac{4}{3} \cdot P_X(2) + 1\cdot P_X(3) = \frac{11}{8}$

 

2)를 해석해보건대 $x = x_i$가 무조건적으로 일어났다는 조건 하에 계산된 것에서,

실질적으로 어떤 확률로 $x = x_i$가 발생하는지 그 비율 $P_X(x)$을 곱한 것으로 볼 수 있겠다.