[논문 리뷰] [CV] SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND <0.5MB MODEL SIZE

0. Reference

https://arxiv.org/abs/1602.07360

SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

1. Introduction

- SqueezeNet은 AlexNet 수준의 정확도를 유지하면서 파라미터 수는 50배감소를 목표로 설계된 CNN이다.

- 이에 대해 자세히 알아보자.

 

2. Squeeze Net

2.1. Architecture Design Strategies

- 본 논문에선 parameter를 줄이기 위해 3가지 전략을 사용하여 Fire module을 구성하였다.

i) 3x3 filter --> 1x1 filter(이렇게하면 parameter를 1/9만큼 줄일 수있다)

ii) 3x3 filter로 입력되는 input feature map channel을 감소시킨다.

iii) delayed maxpooling(feature map이 크면 클수록 신경망의 성능이 더 좋아진다한다. 그래서 최대한 쓰는걸 늦춘다.)

 

2.2. The Fire Module

- Fire Model은 Squeeze Layer(Channel Squeeze) 와 Expand Layer(Channel Expand)두가지로 구성된다.

 

 

- Squeeze Layer는 오직 1x1 filter로만 이루어져 있으며, input featuremap의 channel을 낮추는 역할을 하고,

- Expand Layer는 1x1,3x3 filter로 이루어져 있으며, channel을 높이는 역할을 한다.

- Expand Layer의 channel은 항상 Squeeze Layer보다 높게 잡는다.

 

2.3. The SqueezeNet Architecture

- resnet에서 skip connection과 비슷하게, bypass가 적용되어 있다.

- 2번짼 simple bypass고, 3번쨴 complex bypass인데, simple bypass가 더 성능이 좋았다고 한다.

 

3. Conclusion

 

- parameter수는 더 작고, AlexNet보다 성능이 향상됨을 알 수 있다.

- 해당 논문이 CNN모델을 경량화하는데 포커싱한 시점이라고 봐도 무관할것 같다고 느껴진다.