1. EM Algorithms- 다음과 같이 m개의 training dataset이 있다고 가정해보자.- 우리의 목표는 데이터에 맞추어 모델 p(x,z)의 parameter를 추정하는 것이다.- 이때 likelihood는 다음과 같이 정의된다.- 여기서 z는 latent variable이다.(latent variable은 표현되지 않은 잠재적 feature라고 생각하면 된다.)- Expectation-Maximization algorithms을 통해 MLE을 효율적으로 계산할 수 있다.- l(theta)을 직접적으로 극대화하는 것은 어렵기 때문에, - lower-bound을 반복적으로 구성한 후(E-step)- (M-step) 해당 lower-bound을 최적화하는 전략을 사용하게 된다. - 각 i에 대..
