SPP(Spatial Pyramid Pooling) Net 개요

앞서 소개한 RCNN의 주요 문제점으로는 2000개의 Region 영역의 이미지가 CNN으로 입력 되면서 Object Detection 수행시간이 오래걸리고 추출된 영역의 ratio의 비율을 동일하게끔 맞춰줘야 된다는 문제점이 존재하였다.

 

출처 : 딥러닝 컴퓨터 비전 완벽 가이드

 

이런 RCNN의 개선 방안으로는 2000개의 Region Proposal 이미지를 CNN으로 Feature Extraction 하지 않고 원본 이미지만 CNN으로 feature map을 생성한 뒤 원본 이미지의 Selective Search로 추천된 영역의 이밎만 Feature map으로 매핑하여 별도의 추출을 거친다.

 

이때 여기서 CNN은 flatten fully connection input의 크기가 고정이 되어야 하기 때문에 서로 다른 사이즈의 이미지를 수용하지 않는다.

 

출처 : 딥러닝 컴퓨터 비전 완벽 가이드

 

이러한 문제를 해결하기 위해 SPP Layer구조가 도입되었다.

 

SPP는 CNN 이미지 분류에서 서로 다른 이미지의 크기를 고정된 크기로 변환하는 기법이다.

 

이 SPP LAYER를 먼저 소개하기에 앞서 bag of visual words에 대해 잠깐 소개를 하면

bag of visual words

 

개략적인 설명은 위의 그림과 같다. 이미지에서 추출된 일부 영역들의 histogram의 분포를 알아보아 이미지 분류에 사용되는 기법이다.

 

SPM(Spatial Pyramid Matching)

SPM이란 위의 bag of visual words를 조금더 응용한 개념이다. 이미지에서 부분적으로 구간을 나누어 그 구간에서의 histogram의 분포를 나타내주는 기법이다.

 

출처 : 딥러닝 컴퓨터 비전 완벽 가이드

 

SPM 방식을 사용하게 되면 서로 다른 크기의 feature map을 균일한 크기의 vector로 표현이 가능하게 된다.

 

출처 : 딥러닝 컴퓨터 비전 완벽 가이드

 

이런 SPM방식을 이용함으로서 이미지의 크기가 달라도 특징을 추출하여 FC layer를 구성할 수 있게 된다.

출처 : 딥러닝 컴퓨터 비전 완벽 가이드

 

기존의 RCNN의 경우 이미지 하나에 2000번의 cnn을 통과해야 했던 반면 SPP-NET에서는 이미지 한개는 한번만 cnn을 통과함으로서 효과적인 시간의 효율성을 이루어 낼 수 있었다.

 

기존의 RCNN 대비 획기적인 시간감소를 볼 수 있다.