[CS 224n] [5] Recurrent Neural Networks (Lecture 5)

1. Language Modeling

- Language Modeling은 어떤 word가 다음에 나올지를 예측하는 task이다.

- word로 이루어진 sequence가 주어졌을 때 그 다음에 올 word의 probability를 계산해야한다.

 

- 이걸 이용하여 전체 Sequence에 대한 Probability는 다음과 같이 표현 가능하다.

 

- 즉, Language model이 제공한 next word를 예측한 Probability를 계속 곱해나가는 것을 의미한다.

 

- 우선 n-gam Language Model에 대해서 알아보자.

 

2. n-gram Language Models

- 주어진 word 앞의 N-1개 단어들을 기반으로 다음 단어의 출현 확률을 predict하는 모델이다.

- 위의 가정을 markov assumption이라고 하는데, 단어는 주변 단어들에만 영향을 받는다는 가정이다.

 

3. RNN