OpenCV DNN은 장단점이 존재한다. 장점으로는 딥러닝 개발 프레임 워크 없이 쉽게 inference가 구현 가능하다. 하지만 GPU 지원 기능이 약하며, 모델을 학습할 수 있는 방법을 제공하지 않으며 오직 inference만 가능하다는 단점이 뚜렸하게 존재한다. OpenCV는 자체적으로 딥러닝 가중치 모델을 생성하지 않고 타 프레임워크(대표적으로 Tensorflow, Darknet, torch, caffe)에서 생성된 기존 모델을 변환하여 로딩하는 작업을 거친다. https://github.com/opencv/opencv/wiki/TensorFlow-Object-Detection-API 에 접속해보면 다양한 Tensorflow 모델 리스트들이 나온다. 각 모델들의 Weights와 config파일이 ..

Faster RCNN이란 간략하게 RPN와 Fast RCNN합친 방법으로 분류될 수 있다. Faster RCNN의 구조 가장 Fast RCNN과의 큰 차이점은 중간에 RPN(Region Proposal Network) layer를 뒀다는 점에서 차이가 있다. 기존의 Selective Search방법을 NN구조로 변경했다. 또한 학습 방법에서도 차이점이 존재한다.(이후 설명) RPN의 구현을 위해서는 필연적으로 Anchor Box의 도입이 필요했다. Anchor Box는 하나의 Point에 총 9개의 서로다른 크기의 box로 구성된다. 여기서 Anchor Box는 원본 이미지 자체에 구현되는 것이 아니라 feature map에서 매핑된다는 점이 중요하다. 즉 원본 이미지가 들어오면 사전 학습된 VGG Ne..

Fast RCNN은 지난 시간에 배웠던 SPP-NET과 크게 다르지 않았다. SPP-NET과는 다른 Fast RCNN의 주요 특징으로는 SPP-LAYER를 ROI Pooling Layer로 변경했고, 기존 svm을 softmax로 변환하고 multi-task loss함수로 classification과 regression을 함께 최적화 했다는 차이점이 존재한다. ROI Pooling이란 위와 같은 14*14 feature map이 존재하고 각각 8*4 roi와 14*7 roi가 존재한다고 할때 왼쪽과 같이 임의의 ROI를 고정 크기의 Pooling 영역으로 매핑시킨다. ROI Pooling을 적용한 fast RCNN의 구조는 다음와 같다 이전 시간에 배웠던 SPP-NET과는 크게 ROI Pooling부분에..

앞서 소개한 RCNN의 주요 문제점으로는 2000개의 Region 영역의 이미지가 CNN으로 입력 되면서 Object Detection 수행시간이 오래걸리고 추출된 영역의 ratio의 비율을 동일하게끔 맞춰줘야 된다는 문제점이 존재하였다. 이런 RCNN의 개선 방안으로는 2000개의 Region Proposal 이미지를 CNN으로 Feature Extraction 하지 않고 원본 이미지만 CNN으로 feature map을 생성한 뒤 원본 이미지의 Selective Search로 추천된 영역의 이밎만 Feature map으로 매핑하여 별도의 추출을 거친다. 이때 여기서 CNN은 flatten fully connection input의 크기가 고정이 되어야 하기 때문에 서로 다른 사이즈의 이미지를 수용하지 ..

R-CNN(Regions with CNN) RCNN의 전체적인 구조를 보면 아래 그림과 같다 먼저 Selective search부분에서 2000개의 proposal된 region을 추출하게 된다. 그 후 ImageNet 데이터 set으로 pretrained된 학습 모델에 2000개의 region을 fine-tuning 하게 된다. 여기서 RCNN모델의 Classification Dense Layer로 인해 이미지의 크기가 모두 동일해야 하므로 추출된 2000개의 이미지 사이즈를 동일하게 ratio를 맞추주는 과정을 거치게 된다. RCNN Training에서 Classification부분을 좀 더 자세히 살펴보면 아래 그림과 같은 구조로 이루어져 있다. 원본 이미지에서 Selective Search을 시키..