가능도(Likelihood)
vs 확률(Probability)
2. 셀 수 있는 사건(이산사건)의 확률(2)
동전을 예로 들어 보자.
동전을 10번 던져서 나올 수 있는 앞면의 횟수는 0~10번이고 각 확률은 \(p = _{10}C_{n}\frac{1}{2}^n\frac{1}{2}^{10-n} = _{10}C_{n}\frac{1}{2}^{10}=\frac{_{10}C_{n}}{1024}\)로 구할 수 있다.
2. 셀 수 있는 사건(이산사건)의 확률(3)
- 앞의 두 경우는 모두 일어날 수 있는 사건의 개수가 6개, 11개로 정해져 있다. -> 이산사건
- 따라서 각각의 확률을 구할 수 있고, 구한 확률의 총합은 1이 된다.
- 즉 이산사건에서의 확률 = 가능성 이다.
3. 셀 수 없는 사건(연속사건)의 확률(3)
- 확률밀도함수(Probability Density Function, PDF)로 특정 구간에 속할 확률을 살펴보자.
- PDF 값이 1에서 6사이에서는 전부 0.2이고 나머지 구간에서는 전부 0이다.
- 확률의 총합은 1이므로 전체 직사각형의 넓이 역시 1이고 \(y\)값은 전부 0.2가 된다.
- 이를 바탕으로 2에서 4사이의 숫자가 뽑힐 확률은 \(2\times 0.2 = 0.4\) 이다.
1 ~ 6의 숫자 뽑기
3. 셀 수 없는 사건(연속사건)의 확률(4)
- 우리에게 익숙한 표준정규분포(Standard normal distribution)의 확률밀도함수를 살펴보자.
- 표준정규분포의 PDF는 다들 알고 있는대로(?) \(\frac{1}{\sqrt{2\pi}}e^{-z^2/2}\)이며,
- \(z\)가 특정 값일 확률은 0이지만 -1.96 ~ 1.96에 속할 확률은 0.95이다.
표준정규분포의 확률밀도함수
3. 셀 수 없는 사건(연속사건)의 확률(5)
- 표준정규분포에서 \(z\)가 정확히 -2,0,…999일 확률은 모두 0이므로 각 사건이 일어날 가능성에 차이가 없다고 말해야 한다.
- but 우리는 가장 솟아 있는 0 근처일 경우의 가능성이 가장 높고, 0에서 멀어질수록 낮아짐을 직관적으로 알 수 있다.
- 즉 확률 로는 연속사건 간의 가능성 차이를 나타낼 수 없다는 한계가 있다.
표준정규분포의 확률밀도함수
4. 가능도 : 연속사건 中 특정 사건이 일어날 가능성
- 가능도의 직관적인 정의 : 확률밀도함수의 \(y\)값 (PDF값)
- 이산사건: 확률 = 가능도
- 연속사건: 확률 \(\neq\) 가능도 => PDF값 = 가능도
6. 모양이 일그러진 동전 - MLE
1000번 던져 앞면이 400번 나올 가능성을 최대로 하는 \(p\)값(MLE)을 구해보자.
\(L=_{1000} C_{400}p^{400}(1-p)^{600}\)이 최대가 되려면 \(\frac{3}{2}p=1-p\), 즉 \(p=0.4\)이 된다.
따라서 동전을 던져 앞면이 나올 확률 \(p\)를 0.4로 추정할 수 있다.
동전 앞면이 나올 확률 \(p\)에 따른 가능도 \(L\)
7. 나의 실제 키 - MLE
5번 측정해서 178, 179, 180, 181, 182(cm)가 나왔다면 나의 실제 키와 MLE는 얼마일까?
키의 측정값이 \(x\)일때의 가능도, 즉 정규분포의 \(y\)값은 \(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)이다.
\(L\) \(=\frac{1}{\sqrt{2\pi}\sigma^2}e^{-\frac{(178-\mu)^2}{2\sigma^2}}\times\frac{1}{\sqrt{2\pi}\sigma^2}e^{-\frac{(179-\mu)^2}{2\sigma^2}}\times\frac{1}{\sqrt{2\pi}\sigma^2}e^{-\frac{(180-\mu)^2}{2\sigma^2}}\times\frac{1}{\sqrt{2\pi}\sigma^2}e^{-\frac{(181-\mu)^2}{2\sigma^2}}\times\frac{1}{\sqrt{2\pi}\sigma^2}e^{-\frac{(182-\mu)^2}{2\sigma^2}}\)이 최대가 되려면
\((178-\mu)^2+(179-\mu)^2+(180-\mu)^2+(181-\mu)^2+(182-\mu)^2\)이 최소가 되도록 하는 \(\mu=180\)이 된다.
실제 키에 따른 가능도 \(L\)
8. Conclusion
이산사건과 연속사건에서의 확률 예시를 살펴봄으로써 가능도(Likelihood)와 최대가능도 추정량(MLE)에 대한 이야기를 나눴다.
다시 한 번 아래 내용을 되새기며 가능도에 대한 개념을 짚고 넘어가기를 바란다.
셀 수 있는 사건 : 확률 = 가능도
셀 수 없는 사건 中 특정 사건이 일어날 확률 = 0
셀 수 없는 사건 : PDF값 = 가능도
진실을 찾는 방법 : 최대가능도 추정량(Maximum Likelihood Estimator, MLE)
