[수리통계학] [3] Conditional Probability and Independence

1. Introduction

1.1. Definition [1] - Conditional Probability

- A와 B라는 사건이 일어났을때 (P(A) > 0) Conditional Probability of B given A는 다음과 같이 정의된다.

- 이는 기존의 Probability의 3가지 공리에도 부합하게 된다.

 

1.2. Theorem [1] - Conditional Probability multiplication rule

- 해당 Conditional Probability를 Intersection에 대해 정리하면 다음과 같이 정리가능하다.

 

- 이를 여러개의 event들에 대해서 일반화가능하다.(증명은 간단히 할 수 있으므로, 생략)

- 이를 조금 더 보기 좋게 Countable Intersection으로 적어주면 다음과 같이 정리가능하다.

 

1.3. Theorem [2] - law of total probability

- sample space C를 완전히 커버하면서 disjoint한 events {A_1,...,A_k}가 있다고 가정해보자

- 여기서 event B를 다음과 같이 표현 가능하다.

- 이를 P(B)에 대해서 나타내면 다음과 같다.

- Conditional Probability Multiplication rule을 적용하여 나타내면 다음과 같다.

- 이러한 결과를 바탕으로  law of total probability 을 유도 가능하다.

 

1.4. Theorem [3] - Bayes' Theorem

- 여기서 분모를 law of totalprobability로 정리하면 다음과 같이 식이 전개된다.

 

- P(A)는 prior probabilities(사전 확률)을 의미하고,

- P(A|B)는 Posterior probabilities(사후 확률)을 의미한다.

- Bayes' Theorem의 의미는 다음 예시를 통해 이해하기 쉬울것이다.

- P(비O | 흐림) : 흐린날에 비가올 확률을 구하고 싶을 때,

- P(흐림 | 비O) , P(흐림 | 비X) : 기존에 비가 올때와 안 올때의 그날 흐릴 확률을 계산하면 쉽게 구할 수 있다.

- 즉, 과거의 확률을 바탕으로 예측하고자하는 확률을 계산할 수 있는 의미가 존재한다고 이해하면 좋다.

 

2. Independence

- 사건 A가 발생해도, 사건 B의 확률이 변하지 않을 때, 우리는 사건 A와 사건 B가 independent하다고 말한다.

- 정확한 표현은 Stochastically Independent하다고 한다. 

 

- 이를 multiplication rule을 이용하여 다음과 같이 intersection으로 표현하면 다음과 같다.

 

2.1. Mutually Independence

- 모든 부분집합들이 전부 Independent하면 Mutually Independent하다고 말한다.

- 만약 event가 4개라면, 2쌍, 3쌍 4쌍의 경우를 모두 체크해야한다.