softmax

1. Perceptron- 우리는 앞서 Lecture 3에서 Logistic Regression에서 Sigmoid Function을 썼었다.- 이 Sigmoid function은 전체 실수집합을 0과1사이로 압축시켜주는 역할을 한다.- 즉, 일종의 Probability Function이라고도 할 수 있다. - 우리는 이런 생각을 할 수 있다.- 굳이 sigmoid로 나타내지말고, 그냥 0보다 작으면 0, 0보다 크면 1로 둬도 괜찮은거 아닌가?- 이걸 그래프로 나타내면 다음과 같다.(이걸 Perceptron이라고 한다.)- 이를 수식으로 나타내면 다음과 같다.- 이를 마찬가지로 h()로 가설을 세우면 다음과 같을것이다.- 따라서 update는 다음과 같이 이루어진다.- 해당식에서 learning rate..

1. 다차원 배열의 계산1.1. 다차원 배열- 다차원 배열은 기본적으로 숫자의 집합이라고 생각하면 편하다. - 간단히 배열이란 직사각형의 집합이라고 생각하면 된다. 만일 N차원으로 나열된 것이라면 N차원 배열이라고 정의한다.- 특히 2차원 배열은 행렬(Matrix)라고 부르고, 가로방향을 행, 세로 방향을 열이라고 정의한다. cf) 3차이상인 배열은 텐서(Tensor)라고 부른다. - 간단한 코드 예제를 봐보자. 1.2. 행렬 곱 - 이를 예제와 함께 보면 다음과 같다.- m x n 행렬과 n x l행렬의 곱은 m x l 행렬이 된다.  - 행렬 곱은 numpy에서 np.dot()을 이용하여 구할 수 있다. ex)  2. 신경망에서의 행렬 곱 - 신경망과 행렬곱은 무슨 연관이 있을까? - 다음과 같이 신..