반응형
반응형
Likelihood (가능도)
Probability(확률)
- 어떤 사건이 일어날 가능성
- 특정 확률분포가 주어졌을 때, X가 관측될 확률
Likelihood (가능도)
- 특정 X가 주어졌을 때, 어떤 확률 분포에서 나왔는가에 대한 확률
- 이미 일어난 사건에 대한 정보를 활용해 어떤 모수(parameter)값이 가장 적합한지 나타내는 척도
- 정규분포라면 모수는 평균과 표준편차
- 가능도가 높다 = 해당 모수를 가진 분포가 관측치에 적합함 = 모델을 잘 설명함
- MLE로 가능도를 최대화 하는 모델 파라미터(평균, 표준편차)를 찾음
Likelihood function
- likelihood function은 데이터가 주어졌을 때 모수가 얼마나 적합한지를 나타내는 함수
- "주어진 모수 $\theta$에서 데이터 $x$가 발생할 확률을 계산
$$L(\theta|x) = f(x|\theta) = \sum_{k=1}^{n}{P(x_k|\theta)}$$
- $L$ : likelihood function
- $\theta$ : 모수(parameter)
- $x$ : 데이터
- $f(x|\theta)$ : 모수 $\theta$를 가지는 확률분포에서 데이터 $x$가 발생할 확률밀도 함수
보통은 자연로그를 활용한 Log-likelihood function을 이용함
$$L(\theta|x) = logP(x|\theta) = \sum_{k=1}^{n}{logP(x_k|\theta)}$$
동전 던지기 실험 예제
- 앞면이 나올 확률(Probability) : 0.5
- 실제로 동전을 10번 던졌더니 앞면이 7번 나옴
$L(\theta | x_1, x_2, ..., x_n) = \theta^7 (1-\theta)^3$
likelihood : 우리가 수집한 데이터가, 공정한 동전에서 나왔는지, 편향된 동전에서 나왔는지를 판단함
(공정한 동전 = 우리가 설정한 가정(Probability) = 앞면과 뒷면이 나올 확률리 각각 50%로 동일한 동전)
➨ 가능도가 높을 수록 공정한 동전에서 나왔을 가능성이 높음
➨ theta값이 0.5에 가깝다면 문제의 가설(probability)을 채택할 수 있음
Maximum Likelihood Estimation (MLE, 최대 우도 추정법)
- 각 관측값 X에 대한 총 가능도가 최대가 되게 하는 파라미터를 추청하는 방법
- 확률분포의 파라미터를 추정하는 방법
MLE 구하기
데이터가 주어졌을 때, 그 데이터를 가장 잘 설명할 수 있는 모델 파라미터를 찾음
1. log-likelihood function 정의
$$argmax L(\theta|x) = argmax logP(x|\theta) = argmax \sum_{k=1}^{n}{logP(x_k|\theta)}$$
2. log-likelihood function의 파라미터에 대해 미분 ➨ 최대화하는 파라미터를 찾음
반응형