[밑시딥1] [5] 손실함수(Loss Function)

1. 손실함수(Loss Function)

- 신경망 학습에서 현재의 상태를 나타내는 하나의 지표라고 생각하면 됨

- 그 지표를 가장 좋게 만들어주는 파라미터를 찾게 해주는 함수라고 생각하자.

- 손실함수는 신경망의 성능의 나쁨을 나타내는 지표

- 손실 함수의 값이 클수록 좋지 않음을 알 수 있음( 값을 최소로 만드는 게 목적)

- 밑시딥1 에선 MSE, CEE 만 다루기에 이 2개에 대해서 알아보자.

 

2. 평균 제곱 오차(MSE | Mean Squared Error)

- 데이터가 신경망을 거쳐 나온 확률 벡터와 라벨을 원 핫 인코딩하여 나온 확률 벡터를 

고차원 공간의 점으로 이햐한 후 피타고라스 정리로 거리를 측정함
- 미분 계산의 편의를 위해 제곱근은 없애고 앞에 1/2를 곱해줘서 수정해줌(밑시딥1에서)

 

- Code

import numpy as np

def sum_squares_error(y, t):
    return 0.5 * np.sum((y - t)**2)

 

3. Cross Entropy Error(CEE)

- 교차 엔트로피는 정보이론에서 확률분포사이의 거리를 재는 방법

- 데이터가 신경망을 거쳐 나온 확률 벡터와 라벨을 원핫 인코딩하여 나온 확률 벡터의 교차엔트로피는 다음과 같음

 

-Code)

 

def cross_entropy_error(y, t):
    delta = 1e-7
    return -np.sum(t * np.log(y + delta))