![]()
1. Language Modeling- Language Modeling은 어떤 word가 다음에 나올지를 예측하는 task이다.- word로 이루어진 sequence가 주어졌을 때 그 다음에 올 word의 probability를 계산해야한다. - 이걸 이용하여 전체 Sequence에 대한 Probability는 다음과 같이 표현 가능하다. - 즉, Language model이 제공한 next word를 예측한 Probability를 계속 곱해나가는 것을 의미한다. - 우선 n-gam Language Model에 대해서 알아보자. 2. n-gram Language Models- 주어진 word 앞의 N-1개 단어들을 기반으로 다음 단어의 출현 확률을 predict하는 모델이다.- 위의 가정을 markov ..
![]()
1. Introduction- NLP를 공부하기 위해선, 문장이 어떻게 이루어져 있는지, 문장에 대한 분석을 할 줄 알아야 한다.- 그 분석 방법 중 parsing에 포커싱을 두고 있다.- Parsing은 크게 두가지로 나뉜다.2. Parsing- 한국어 같은 경우, Constituency Parsing보단, Dependency Parsing이 더 유리하다고 한다. 2.1. Constituency Parsing- Consitituency parsing은 문장을 구성하고 있는 각 phrase를 파악하여 문장을 분석하는 방식이다.- 우리가 알고있는, 각 단어를 품사로 나타낼 수 있고, 그 단어들이 모이면, 명사구 등등으로 표현이 가능해진다.- 이 구들이 모여서, 문장을 이루게 된다.- 이걸 백트래킹하여 각 ..
- 기본적인 Backpropagation과 Neural network basics에 대한 내용이기에,- 생략합니다. (밑 포스팅 참고바랍니다.)https://ceulkun04.tistory.com/123 [논문 리뷰] [Deep Learning] Deep Learning - Yann LeCun, Yoshua Bengio, Geoffrey Hinton0. Referencehttps://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf1. Introduction- 현재 머신러닝은 현대 사회의 많은 측면에서 핵심적인 역할을 하고 있다.- 이러한 머신러닝 관련한 프로그램들은 점점 더 자ceulkun04.tistory.com
0. 참고- 해당 챕터들은 전부 paper review로 대체합니다.- Paper review하면서, 강의속의 내용도 넣어놨기에 참고 바랍니다 1. Negative Samplinghttps://ceulkun04.tistory.com/246 [논문 리뷰] [NLP] Distributed Representations of Words and Phrasesand their Compositionality0. Referencehttps://arxiv.org/abs/1310.4546 Distributed Representations of Words and Phrases and their CompositionalityThe recently introduced continuous Skip-gram model is an ..
