1. Language Modeling- Language Modeling은 어떤 word가 다음에 나올지를 예측하는 task이다.- word로 이루어진 sequence가 주어졌을 때 그 다음에 올 word의 probability를 계산해야한다. - 이걸 이용하여 전체 Sequence에 대한 Probability는 다음과 같이 표현 가능하다. - 즉, Language model이 제공한 next word를 예측한 Probability를 계속 곱해나가는 것을 의미한다. - 우선 n-gam Language Model에 대해서 알아보자. 2. n-gram Language Models- 주어진 word 앞의 N-1개 단어들을 기반으로 다음 단어의 출현 확률을 predict하는 모델이다.- 위의 가정을 markov ..
