MLE와 MAP 그리고 딥러닝과의 관계에 대해...[2]

 

지난 포스팅에서 MLE와 딥러닝과의 관계를 말하면서 

결국 우리가 자주 사용하는 CE 손실함수는 LIkelihood를 최소화하는 MLL에서의 파라미터를 찾는 것과 같다는 것을 알았다. 

지난 포스팅 참고:walwalgabu.tistory.com/entry/MLE%EC%99%80-MAP-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B3%BC%EC%9D%98-%EA%B4%80%EA%B3%84%EC%97%90-%EB%8C%80%ED%95%B41?category=945132

MLE와 MAP 그리고 딥러닝과의 관계에 대해...[1]

 

그렇다면 MAP(Maximum A Posterior Estimation)이란? 

그전에 Base's rule을 보자 

출처: 김기현의 자연어 처리 

 

MAP는 이때 Posterior을 최대화 하는 θ를 찾는다. 

MLE는 ikelihood인 P( Dㅣθ )만 고려 했다면

MAP는 P( Dㅣθ )* P(θ) 를 고려함으로서 파라미터 자체를 고정된 것이아닌 Radndom Variable이며 Priopr 분포를 따른다고 본다.   

 

MAP는 우리가 아는 신경망의 가중치(w1, b1, .... , wn,bn) 들이 모두 정해진 것이 아닌 어떠한 분포를 가진 것으로 생각하는 것이다.

즉 파라미터의 Uncertainty를 고려하여, overfitting을 막을 수 있다.

하지만 이 사전확률 P(θ)는 아직 까지 딥러닝에서 적용되기엔 갈 길이 멀다고 한다. 

현재 이러한 MAP 관점의 딥러닝 알고리즘고 모델의 논문들이 연구되고 있다.

 

더 자세하게 알고 싶다면 다음 블로그를 참조.

taeoh-kim.github.io/blog/bayesian1/ 

Bayesian Deep Learning: Introduction

출처:

I. Goodfellow, Y. Bengio, A. Courville, “Deep Learning” (2015)