DS Study

1. EM Algorithms- 다음과 같이 m개의 training dataset이 있다고 가정해보자.- 우리의 목표는 데이터에 맞추어 모델 p(x,z)의 parameter를 추정하는 것이다.- 이때 likelihood는 다음과 같이 정의된다.- 여기서 z는 latent variable이다.(latent variable은 표현되지 않은 잠재적 feature라고 생각하면 된다.)- Expectation-Maximization algorithms을 통해 MLE을 효율적으로 계산할 수 있다.- l(theta)을 직접적으로 극대화하는 것은 어렵기 때문에, - lower-bound을 반복적으로 구성한 후(E-step)- (M-step) 해당 lower-bound을 최적화하는 전략을 사용하게 된다. - 각 i에 대..

1. Introduction- Lecture 14부터 Unsupervised Learning에 대해서 알아갈 것이다.- 즉, unlabeled data를 이용하여 학습하는 것을 의미한다.2. K-means Clustering- Clustring이란 말 그대로 군집화하는 걸 의미하는데,- labeling되어있지 않는 데이터를 다음과 같이 군집화 하는 것을 의미한다.- K-means Clustering의 과정은 다음과 같다.- 이를 보기 좋게 시각화해서 보이면 다음과 같이 행동하게 된다. - k-means clustering을 수식으로 나타내면 다음과 같다.- 만일 training set이 {x_1,x_2,...,x_n}으로 주어져 있다고 해보자.- 우선 각 cluster의 center를 initializa..

1. Introduction- 지금까지 다양한 Machine Learning 기법들에 대해서 배워보았다.- 이번 챕터에선 Dubugging하는 방법에 대해 알아가보고자 한다.- 머신러닝을 적용한 application에 대해 포커싱했다고 보면 된다.2. Debugging Learning algorithms- 어떤 문제를 풀기 위해 머신러닝 기법을 사용하였는데 기대만큼 안나오는 경우가 있을 것이다.- 이럴 경우 어떻게 대처해야할까?- 보통 다음과 같은 생각을 할 수 있다.(물론 더 많을것이다.)"""1. 더 많은 train data 수집2. features 개수 줄이기 3. features 개수 늘리기4. features 변경해보기5. 더 많은 epoch 추가하기6. 다른 Optimization 사용해보기7..

1. Introduction- 딥러닝에 대한 간단한 개념들이라 들어가있는 핵심 키워드만 포스팅하고자 한다.- 자세한 내용은 포스팅은 생략하도록 하겠다.(자세히 다른 포스팅에 올라갈 예정) - Backpropagation- Activation Function이 필요한 이유- He Initialization, xaviar Initialization- 다양한 Optimization