overfitting

1. Assumptions- 이번 Lecture에선 미리 두가지 가정을 하고 간다.- 첫 번째: (x,y) ~ D를 만족하는 data distribution D가 존재한다. - 두 번째: 모든 Samples들은 Independent하다. 2. Bias & Variance우리는 Lecture 8에서 다음과 같이 Underfitting과 Overfitting에 대해서 알아보았다. - 이걸 bias와 Variance입장에서 한번 봐보자. (다음 4개의 plot을 보면 쉽게 이해 가능하다.)- bias가 커질수록 Under-fitting되고, Variance가 커질수록 Over-fitting된다.- 여기서 기존의 데이터셋의 크기가 커지면 커질수록 Variance는 작아진다고 한다.- 그래서 모델을 학습할 때 데..

0. Reference https://arxiv.org/abs/2209.03032 Machine Learning Students Overfit to OverfittingOverfitting and generalization is an important concept in Machine Learning as only models that generalize are interesting for general applications. Yet some students have trouble learning this important concept through lectures and exercises. In this paperarxiv.org1. Introduction- 해당 논문은 Overfitting에 대해..

1. Bias / Variance- 다음과 같이 같은 데이터셋이 3개가 있다고 생각해보자.- Regression Problem을 푼다고 생각했을 때 다음과 같이 3개로 나타낸다고 생각해보자.- 첫번째 : 일차함수 , 두번째 : 이차함수, 세번째 : 오차함수- 우리는 이중에 가장 적합하다고 생각하는 건 아마 두번째 그림이 가장 잘 설명한다고 생각할 것이다.- 첫번째 일차함수 같은 경우 데이터를 덜 설명하게 된다. 이를 Under fitting이라고 한다.(High bias를 가진다.)- 세번째 오차함수 같은 경우 데이터를 과하게 설명하게 된다. 이를 Over Fitting이라고 한다.(HIgh Variance를 가진다.) 2. Regularization- Overfitting을 방지하기 위해 나오게 된 기..

0. Referencehttps://jmlr.org/papers/v15/srivastava14a.html Dropout: A Simple Way to Prevent Neural Networks from OverfittingDropout: A Simple Way to Prevent Neural Networks from Overfitting Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov; 15(56):1929−1958, 2014. Abstract Deep neural nets with a large number of parameters are very powejmlr.org1. Introduct..