loss function

1. MVUE(minimum variance unbiased estimator)- Y = u(X1,...,Xn)이라고 할때, Y가 MVUE라면 다음을 만족해야한다.i) E(Y) = theta #Unbiasednessii) Var(Y)  - MVUE는 여러 추정량 중에서 분산이 가장 작은 불편 추정량을 찾는 것을 목표로 한다. 2. Decision Function and Loss Function- Y = u(X1,...,Xn) 을 통해서 Estimate하여 나오게된 epsilon(y)를 우리는 Decision function이라고 한다.- 실제 모수와 Decision function간의 차이를 나타내는 function을 Loss function이라고 한다.- 이 Loss function의 Expectati..

1. 손실함수(Loss Function)- 신경망 학습에서 현재의 상태를 나타내는 하나의 지표라고 생각하면 됨- 그 지표를 가장 좋게 만들어주는 파라미터를 찾게 해주는 함수라고 생각하자.- 손실함수는 신경망의 성능의 나쁨을 나타내는 지표- 손실 함수의 값이 클수록 좋지 않음을 알 수 있음( 값을 최소로 만드는 게 목적)- 밑시딥1 에선 MSE, CEE 만 다루기에 이 2개에 대해서 알아보자. 2. 평균 제곱 오차(MSE | Mean Squared Error)- 데이터가 신경망을 거쳐 나온 확률 벡터와 라벨을 원 핫 인코딩하여 나온 확률 벡터를 고차원 공간의 점으로 이햐한 후 피타고라스 정리로 거리를 측정함- 미분 계산의 편의를 위해 제곱근은 없애고 앞에 1/2를 곱해줘서 수정해줌(밑시딥1에서) - Cod..