[논문 리뷰] [CV] Gradient-Based Learning Applied to Document Recognition, pytorch 구현

0. Reference

https://ieeexplore.ieee.org/document/726791

Gradient-based learning applied to document recognition

1. Convolutional Neural networks for isolated character recognition

- 기존의 Fully Connected Layer의 문제점은 다음과 같다.

i)

- 이미지의 픽셀은 인접한 픽셀과 관련이 되어 있는데, flatten을 거치면 locality 정보를 잃어버린다.

- 이로 인해 이동, 확대, 회전과 같은 변형에 취약해진다.

ii) 고해상도 이미지를 입력할 경우 parameter 수가 너무 많아지기 때문에, 막대한 계산비용을 초래한다.

1.1. Convolutional Networks

- FC Layer의 단점을 Convolution layer + pooling layer로 커버하게 된다.

- 우선 다음과 같은 장점이 존재한다.

 

i) local receptive fields를 학습할 수 있다, 즉, 주변 픽셀의 feature를 잘 추출할 수 있게 된다.

 

ii) shared weights

- FC Layer에 비해서 ConV Layer는 filter에만 weights가 주어지기 때문에, 학습할 파라미터 수가 적다.

iii) Subsampling

- 고해상도의 이미지를 저해상도의 이미지로 낮춰줄 수 있다. (Pooling을 통해)

 

1.2. LeNet-5

- LeNet-5의 구조는 다음과 같다.

i) C1

- Filter size : 5x5, stride = 1

- in channel : 1, out channel : 6

 

ii) S2

- Pooling size : 2x2, stride = 2

- average pooling

 

iii) C3 

- Filter Size : 5x5, stride = 1

- In Channel : 6, Out Channel : 16

- Overfitting을 방지하기 위해 다음 table에 맞춰서 필터를 연결하여 16개의 channel을 생성한다.

ex) 0번 feature map은 0,1,2번 filter를 통과후의 output

 

iv) S4

- Pooling size : 2x2, stride : 2

- average pooling

 

v) FC Layer

- 120 - 84 - 10

- 으로 FC Layer를 연결함

 

cf)

- 각각의 Activation function은 tanh을 사용하였다.

- Output Layer엔 RBF(Euclidean Radial Basis Function)을 사용하여 Output을 낸다.

 

1.3. Loss Function

- 사용되는 Lossfunction은 MSE를 사용한다.

 

2. Pytorch 구현

LeNet5.ipynb

0.11MB