cs229

1. Derivation of this classification- 우리는 Lecture 6 에서 SVM에 대해서 간단하게 알아보았다.- classifier은 다음과 같이 출력하게 된다.- 여기서 우리의 목적은 w,b를 찾아내는 것을 의미한다.- 가장 Optimal한 Solution을 찾기 위해서 다음 조건을 만족해야 한다.- 밑의 최악의 경우의 Gamma가 최대가 되도록 해야한다.- 여기서 ||w||는 크기가 어떻게 나오더라도 직선자체는 변하지 않는다.- 그래서, 우리는 이러한 사실을 바탕으로 식조작이 편하게 고쳐줄 수 있다.- 그래서 ||w|| = 1 / gamma라고 둬보자.- 그러면 우리가 목표하고자 하는 건 다음과 같다.max( gamma) = max(1 / ||w||) 이기 때문에 - max(..

1. Naive Bayes1.1. Remind- Lecture 5 에서 정리했던 내용을 그대로 복습하게 되면서, 추가적으로 말 못했던 내용도 추가해서 포스팅하고자 한다.- 우리는 앞서 GDA에선 feature vector x가 연속적이였다.- 이번엔 이산값을 가질 때의 학습 알고리즘에대해 알아보자.- 머신러닝을 이용하여 이메일 스팸 필터를 만든다고 생각해보자.- 즉, 메시지를 분류하여 스팸인지 스팸이 아닌지 판단하려고 한다. - 스팸 필터를 구성하기 위해 스팸 또는 스팸이 아닌 것으로 라벨이 지정된 이메일로 구성된 train dataset이 있다고 가정하자.- 이메일을 표현하는 데 사용되는 feature x를 저정하여 스팸 필터를 설계할 것이다. - email을 Dictionary에 있는 단어 수와 동일..

1. Generative learning algorithms- 본격적으로 시작하기전에 간단하게 binary classification을 봐보자.- 다음과 같은 데이터가 주어져 있다고 해보자. - 그러면, gradient descent을 이용하거나 Normal equation을 이용하여- parameters을 update하여 다음과 같은 binary classification을 이룰것이다.  - 이를 discriminative learning algorithms이라고 하는데,- P(y|x)을 학습하는것과 같다. (ex, h(x) = {0,1}) - 이와 대조되는 건 Generative learning algorithms이라고 한다.- 즉, P(x | y)을 학습하는 것과 같다. (x : feature , ..

1. Perceptron- 우리는 앞서 Lecture 3에서 Logistic Regression에서 Sigmoid Function을 썼었다.- 이 Sigmoid function은 전체 실수집합을 0과1사이로 압축시켜주는 역할을 한다.- 즉, 일종의 Probability Function이라고도 할 수 있다. - 우리는 이런 생각을 할 수 있다.- 굳이 sigmoid로 나타내지말고, 그냥 0보다 작으면 0, 0보다 크면 1로 둬도 괜찮은거 아닌가?- 이걸 그래프로 나타내면 다음과 같다.(이걸 Perceptron이라고 한다.)- 이를 수식으로 나타내면 다음과 같다.- 이를 마찬가지로 h()로 가설을 세우면 다음과 같을것이다.- 따라서 update는 다음과 같이 이루어진다.- 해당식에서 learning rate..