[Paper Review] MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

Abstract 

MobileNets 

- 모바일 및 임베디드 비전 애플리케이션을 위해 설계

- 깊이별 분리 가능한 convolution 을 사용하는 간소화된 구조를 바탕으로 light weight deep neural network 구축

- 지연 시간과 정확성 사이의 효율적인 절충을 가능하게 하는 두 개의 간단한 전역 하이퍼파라미터 도입

     -> 제약 조건에 기반해 애플리케이션에 적합한 크기의 모델 선택 가능

 

2. Prior Work (작은 모델을 구축하는 이전 작업 검토)

이전의 모델들은 small network 에서 latency를 최적화했지만 speed를 고려하지 못했음

MobileNets - 주로 깊이별 분리 가능한 컨볼루션에서 구축됨

Flattened network - 완전 분해 가능한 컨볼루션으로 구성된 네트워크를 구축

Faxtorized Networks - 비슷한 분해된 컨볼루젼 소개 ( 위상학적 연결 사용)

Xception Networks - 깊이별 분리 가능한 필터를 확장해 Inception V3 Networks 성능을 뛰어넘음

Sqeezenet - 매우 작은 네트워크를 디자인하기 위한 병목(bottleneck) 접근 방식 사용

Structured transform networks & Deep fried convets - 축소된 계산 네트워크

 

Different approach for obtaining small networks  

shrinking , factorizing ,compressing pretrained network

- product quantization( 제품 양자화)

- hashing 

- pruning

- vector quantization ( 벡터 양자화 )

- huffman coding

 

distillation (더 큰 네트워크를 사용해 작은 네트워크를 가르치는 것)

 

 

3. MobileNet Architecture

MobileNet 구조와 모델크기와 효율성을 정의하는 데 사용되는 두 가지의 하이퍼파라미터 (multiplier, resolution multiplier)  설명

3.1 Depthwise Separable Convolution

MobileNets 의 standard convolution : 계산 비용과 모델 크기를 크게 줄임. 

- depthwise convolution : 각 입력 채널에 단일 필터를 적용 

- pointwise convolution ( 1 x 1 convolution ) : depthwise convolution 의 출력을 결합하기 위해 적용

standard convolution	depthwise convolution
하나의 단계에서 입력을 필터링하고 새로운 출력 세트로 결합	필터링과 결합을 구개의 별도 레이어로 나눔 ( 계산과 모델 크기를 줄임)

 

Standard Convolution

-  

 

 

4. ImageNet 및 다양한 애플리케이션과 사용 사례에 대한 실험 설명

5. 요약 결론