SOGM'S Data

지난 포스팅에서 MLE와 딥러닝과의 관계를 말하면서 결국 우리가 자주 사용하는 CE 손실함수는 LIkelihood를 최소화하는 MLL에서의 파라미터를 찾는 것과 같다는 것을 알았다. 지난 포스팅 참고:walwalgabu.tistory.com/entry/MLE%EC%99%80-MAP-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B3%BC%EC%9D%98-%EA%B4%80%EA%B3%84%EC%97%90-%EB%8C%80%ED%95%B41?category=945132 MLE와 MAP 그리고 딥러닝과의 관계에 대해...[1] Likelihood (가능도, 우도) - 입력으로 주어진 확률 분포(파라미터)가 얼마나 데이터를 잘 설명하는지 나타내는 점수 ..

Likelihood (가능도, 우도) - 입력으로 주어진 확률 분포(파라미터)가 얼마나 데이터를 잘 설명하는지 나타내는 점수 * 데이터를 잘 설명한다 -> 해당 확률 분포에서 높은 확률 값을 가지는 것을 의미한다. 어떠한 현상에 있어 확률 변수 x와 x의 확률의 곱의 합이 가능도가 된다. 그러나 우리는 확률의 곱이 무수히 시행되면 그 값이 작아지게 되고 ( 분모가 무한대로 커지므로 ) 컴퓨터의 덧셈 연산의 장점을 위해 , 우도를 출력하는 함수에 log를 씌워서 log-likelihood로 변경한다. 그렇다면 우리가 해야할 일은 위에 있는 log-likelihood를 가장 최대화 하는 세타θ 를 찾아야한다. 이때 어떠한 log-likelihood를 우도함수라고 한다면 이 함수는 위로 볼록한 함수이다. 이때..