NLP

- 기본적인 Backpropagation과 Neural network basics에 대한 내용이기에,- 생략합니다. (밑 포스팅 참고바랍니다.)https://ceulkun04.tistory.com/123 [논문 리뷰] [Deep Learning] Deep Learning - Yann LeCun, Yoshua Bengio, Geoffrey Hinton0. Referencehttps://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf1. Introduction- 현재 머신러닝은 현대 사회의 많은 측면에서 핵심적인 역할을 하고 있다.- 이러한 머신러닝 관련한 프로그램들은 점점 더 자ceulkun04.tistory.com

0. Referencehttps://aclanthology.org/D15-1036/ Evaluation methods for unsupervised word embeddingsTobias Schnabel, Igor Labutov, David Mimno, Thorsten Joachims. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. 2015.aclanthology.org1. Introduction- 본 논문은 Embedding Vector의 품질을 측정하는 방식에 대해 다룬 논문이다.- 기존의 word embedding vector의 평가 방법은 크게 두 가지 범주로 나뉜다. i) Extrins..

0. Referencehttps://nlp.stanford.edu/pubs/glove.pdf1. Introduction- 대부분의 word vector를 embedding할 땐, norm이나 cosine similarity 등의 intrinsic quality를 평가하게 된다.- 단순히 거리 대신, 벡터 간 structure of difference를 평가하면 더 품질이 좋지않을까?" king - queen ~ man - woman"- 즉, word간의 다양한 dimensions of meaning을 잘 표현하고 있는지를 평가하면 더 품질이 좋지않을까? - 우선 word vector를 학습하는 방법은 크게 두 가지로 나뉜다.i) Global Matrix Factorization(ex, Latent Sem..

0. Referencehttps://arxiv.org/abs/1310.4546 Distributed Representations of Words and Phrases and their CompositionalityThe recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that capture a large number of precise syntactic and semantic word relationships. In this paper we present several extensarxiv.org1. Introductio..