[논문 리뷰] [CV] SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH50X FEWER PARAMETERS AND <0.5MB MODEL SIZE
0. Reference
https://arxiv.org/abs/1602.07360
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size
Recent research on deep neural networks has focused primarily on improving accuracy. For a given accuracy level, it is typically possible to identify multiple DNN architectures that achieve that accuracy level. With equivalent accuracy, smaller DNN archite
arxiv.org
1. Introduction
- SqueezeNet은 AlexNet 수준의 정확도를 유지하면서 파라미터 수는 50배감소를 목표로 설계된 CNN이다.
- 이에 대해 자세히 알아보자.
2. Squeeze Net
2.1. Architecture Design Strategies
- 본 논문에선 parameter를 줄이기 위해 3가지 전략을 사용하여 Fire module을 구성하였다.
i) 3x3 filter --> 1x1 filter(이렇게하면 parameter를 1/9만큼 줄일 수있다)
ii) 3x3 filter로 입력되는 input feature map channel을 감소시킨다.
iii) delayed maxpooling(feature map이 크면 클수록 신경망의 성능이 더 좋아진다한다. 그래서 최대한 쓰는걸 늦춘다.)
2.2. The Fire Module
- Fire Model은 Squeeze Layer(Channel Squeeze) 와 Expand Layer(Channel Expand)두가지로 구성된다.
- Squeeze Layer는 오직 1x1 filter로만 이루어져 있으며, input featuremap의 channel을 낮추는 역할을 하고,
- Expand Layer는 1x1,3x3 filter로 이루어져 있으며, channel을 높이는 역할을 한다.
- Expand Layer의 channel은 항상 Squeeze Layer보다 높게 잡는다.
2.3. The SqueezeNet Architecture
- resnet에서 skip connection과 비슷하게, bypass가 적용되어 있다.
- 2번짼 simple bypass고, 3번쨴 complex bypass인데, simple bypass가 더 성능이 좋았다고 한다.
3. Conclusion
- parameter수는 더 작고, AlexNet보다 성능이 향상됨을 알 수 있다.
- 해당 논문이 CNN모델을 경량화하는데 포커싱한 시점이라고 봐도 무관할것 같다고 느껴진다.