Paper Review(논문 리뷰)

0. Referencehttps://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf1. Introduction- 현재 머신러닝은 현대 사회의 많은 측면에서 핵심적인 역할을 하고 있다.- 이러한 머신러닝 관련한 프로그램들은 점점 더 자주 딥러닝이라는 기술적 기법의 한 분야로 활용되고 있다.- 해당 논문에선 딥러닝에 대한 전반적인 종류와 특징,베이스를 쌓기위한 기초적인 내용들을 담고 있다.1.1. 전통적인 머신러닝- 전통적인 머신러닝 기법은 원시 데이터를 처리하는 능력에 한계가 있다.- 데이터에서 유용한 패턴을 발견하거나 분류하려면, 데이터를 사람이 직접 설계한 특징(feature)로 변환해야 한다.-이는 feature extractor 설계라는 복잡한 작업을..

0. Referencehttps://jmlr.org/papers/v15/srivastava14a.html Dropout: A Simple Way to Prevent Neural Networks from OverfittingDropout: A Simple Way to Prevent Neural Networks from Overfitting Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov; 15(56):1929−1958, 2014. Abstract Deep neural nets with a large number of parameters are very powejmlr.org1. Introduct..

0. referencehttps://arxiv.org/abs/1502.03167 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftTraining Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful paramarxiv..