통계적 추정치중의 하나인 ML estimator(maximum likelihood estimator)에 대해 알아보겠습니다. 이름에서 보다시피 가능도(likelihood)를 최대화 하는 추정치 입니다. ML estimator는 한글로는 최대가능도 추정치라고 부릅니다. 이름이 길기 때문에 MLE (Maximum Likelihood Estimator)라고 줄여서 부릅니다. 이번글에서는 MLE에 대해 알아볼것입니다. MLE가 무엇인지 알아보기위해 가능도의 정의와 이 가능도를 크게한다는것의 의미를 알아보겠습니다.
가능도(likelihood)의 정의 및 의미
가능도를 얘기하기전에 랜덤벡터 $X$,$Y$가 존재한다고 합시다.
그리고 $Y$는 관찰대고 $X$는 관찰되지 않는다고 가정합니다. 그리고 조건부 확률인 $f(y|x)$에 대해서는 알고 있다고 합시다. $Y=y$가 관찰되었을 때 어느 $X=x$에서 이 $Y=y$가 나왔는지 보기위해 측정하는 수치가 가능도 입니다. 다시 식을 써볼게요
$$l(x) = f(y|x)\tag{1}\label{1}$$
여기서 $y$는 관찰이 된 고정치 입니다. $l(x)$는 $y$라는 것은 $x$가 바꼈을 때 $y$가 관찰될 확률을 의미하겠네요.
MLE의 정의와 의미
가능도의 의미는 위에서 확인했습니다. 그러면 MLE 는 무엇일까요? 위의 식 \ref{1}을 가장크게 하는 $x$를 의미합니다.
$$ g(y) = argmin_{x} f(y|x) $$
위의 식을 MLE of $x$ based on $y$라고 부릅니다.
MLE를 구한다는것은 $y$는 $x$에 영향을 받는 분포에서 나온 결과인데 $y$이 제일 나올만한(가능도가 젤 큰) $x$를 구한다는 이야기 입니다.