[Boostcamp Lv2][P stage] Week9-Day38. 2 stage detector :: seoftwa

📜 강의 정리 

---

2 Stage Detector

 

객체가 있을 법한 위치를 특정짓고, 해당 객체가 무엇인지 분류하는 2가지 단계를 거치는 모델을 2 stage detector라고 한다.

 

1. R-CNN

✔ Pipeline

1. Input Image
2. Extract Region proposals : Selective Search 방법을 통해 약 2000개의 RoI 추출
3. Warping : RoI의 사이즈를 조절해 모두 동일한 사이즈로 변경
   • warping을 하는 이유? FC layer의 입력 사이즈가 고정되어서, 동일한 사이즈로 맞춰줘야한다.
4. Compute CNN features : 각 region 마다 4096(64×64)-dim feature vector 추출(2000×4096) - semantic 정보 포함되어 있다, pretrained AlexNet 구조 사용(마지막에 FC layer 추가, 필요에 따라 fine-tuning)
5. Classify regions
   1. Feature vector를 SVM에 넣어 분류 진행 : Input : 2000×4096, Output : Class(c+1) + Confidence score
   2. Feature vector를 regression을 통해 BBOX 예측 : 중심점의 좌표와 가로 세로 길이를 학습한다.

 

✔ Selective Search

후보 영역 추출을 위해 사용되는 방법으로 약 2000개의 RoI를 추출

 

✔ Training

• AlexNet
  • Domain specific finetuning
  • Dataset 구성(when finetuning)
    • IoU > 0.5: gt와 RoI의 IoU가 0.5 이상이면 positive samples. (GT 하나에 대한 RoI가 하나 이상임)
    • IoU < 0.5: gt와 RoI의 IoU가 0.5 이하이면 negative samples
    • Positive samples 32, negative samples 96
• Linear SVM
  • Dataset 구성
    • Ground truth: positive samples
    • IoU < 0.3: negative samples
    • Positive samples 32, negative samples 96

• Hard negative mining
  • Hard negative: False positive
  • 배경으로 식별하기 어려운 샘플들을 강제로 다음 배치의 negative sample 로 mining 하는 방법
• BBox Regressor
  • Dataset 구성
    • IoU > 0.6 : positive samples
    • Negative sample은 bbox가 없다
  • Loss function
    • MSE Loss : 중심점과, width, height를 어느정도로 바꿀 것인지 변화에 대해 학습 

✔ Shortcomings

• 2000개의 Region 을 각각 CNN 통과 → CNN 연산 2000번 진행해야해서 매우 느림
• 강제 Warping, 성능 하락 가능성
• CNN, SVM classifier, bounding box regressor, 따로 학습
• End to End X

 

2. SPPNet

✔ Overall Architecture & R-CNN과 비교

R-CNN , SPP

R-CNN	SPPNet
2000개의 RoI에 대해 2000번의 ConvNet 연산 수행	1번의 ConvNet 연산을 통해 생성된 Feature map에서 2000개의 RoI 추출
고정된 size로 warping	Spatial Pyramid Pooling Layer를 통한 size 변경

 

✔ Spatial Pyramid Pooling

고정된 feature vector size를 위해 다양한 RoI의 size를 동일하게 변경하는 과정

1. Target feature map의 size를 정한다
2. Pooling을 진행하여 size를 맞춘다
3. 다양한 size로 pooling을 진행한 것을 flatten하여 concat한다
4. FC layer의 input으로 넣는다

 

✔ Shortcomings

• 2000개의 Region 을 각각 CNN 통과 → CNN 연산 2000번 진행해야해서 매우 느림
• 강제 Warping, 성능 하락 가능성
• CNN, SVM classifier, bounding box regressor, 따로 학습
• End to End X

 

3. Fast R-CNN

R-CNN과 달리 Selective Search를 제외하고는 End-to-end 과정이다. Conv layer, softmax classifier, bbox regressor 모두 하나의 NN으로 구성되어 있다. 

✔ Pipeline

1. 이미지를 CNN에 넣어 feature 추출(한 번만 수행한다) : VGG16 사용
2. RoI Projection 을 통해 feature map 상에서 RoI 를 계산
3. RoI Pooling 을 통해 일정한 크기의 feature 가 추출 : 고정된 vector 얻기 위한 과정
4. Fully connected layer 이후 Softmax Classifier 과 Bouding Box Regressor

 

✔ RoI Projection

원본이미지에서 Selective Search를 하는 과정은 같고 Feature Map에 2000개의 RoI를 투영한다.

원본이미지와 Conv Feature Map의 size가 같은 경우는 위처럼 진행을 하고, 다른 경우는 RoI의 비율을 원본이미지와 Feature Map의 비율에 맞추어서 조정해준다. 아래 예시에서는 400×400이  40×40이 됐으므로 RoI도 300을 10으로 나누어서 300×300이 30×30으로 바꾸어 Projection 한다.

 

✔ RoI Pooling

Spatial Pyramid Pooling과 거의 유사하지만, Spatial Pyramid Pooling은 Pyramid size가 1×1, 2×2, 4×4, 8×8 등의 여러가지인데, RoI pooling은 target size가 7×7 한개라는 점이 다르다.

✔ Training

• Multi Task Loss 사용
  • •(classification loss bounding box regression)
• Loss funciton
  • Classification : Cross entropy
  • BB regressor : Smooth L1(outlier에 덜 민감)
• Dataset 구성
  • IoU > 0.5: positive samples
  • 0.1 < IoU < 0.5: negative samples
  • Positive samples 25%, negative samples 75%
• Hierarchical sampling
  • R-CNN 의 경우 이미지에 존재하는 RoI 를 전부 저장해 사용
  • 한 배치에 서로 다른 이미지의 RoI 가 포함됨
  • Fast R-CNN 의 경우 한 배치에 한 이미지의 RoI 만을 포함
  • 한 배치 안에서 연산과 메모리를 공유할 수 있음

✔ Shortcomings

• 2000개의 Region 을 각각 CNN 통과 → CNN 연산 2000번 진행해야해서 매우 느림
• 강제 Warping, 성능 하락 가능성
• CNN, SVM classifier, bounding box regressor, 따로 학습
• End to End X

 

✔ 꼭 읽어볼 것

Fast R-CNN 논문 리뷰 블로그

 

4. Faster R-CNN

 

✔ Fast R-CNN vs. Faster R-CNN

Faster R-CNN은 Selective Search로 Region을 추출하던 부분이 없어지고, RPN이라는 딥러닝 기반의 네트워크를 도입하여 End-to-End 모델 구조이다. (Selective Search는 cpu 상에서 동작하고 학습 가능한 알고리즘이 아니다)

✔ Pipeline

1. 이미지를 CNN 에 넣어 feature maps 추출 (CNN 을 한 번만 사용)
2. RPN 을 통해 RoI 계산
3. NMS(Non Maximum Suppresion)

 

✔ RPN - Region Proposal Network

selective search 대체 방법으로 Anchor box를 사용한다. 각 셀마다 다양한 scale의 앵커박스가 주어진다.

아래와 같이 9개의 anchor box가 있고 64×64 feature map이 있다면 총 64×64×9개(약 36K개)의 RoI가 존재하게 된다.

36K는 2K개에 비해 매우 큰 숫자이므로 앵커박스가 객체를 포함하고 있는지 예측해야하고 bbox의 위치와 크기를 미세조정해야한다.

따라서 RPN은 각 셀마다 N개의 앵커박스가 객체를 포함하고 있는지 판단하고 만약에 포함하고 있다면 중심을 이동하고 크기를 조정하는 일을 한다.

 

1. CNN 에서 나온 feature map 을 input 으로 받음 . 𝐻: 세로 , 𝑊: 가로 , 𝐶: 채널
2. 3x3 conv 수행하여 intermediate layer 생성
3. 1x1 conv 수행하여 binary classification 수행 : 각 픽셀별로 9개의 앵커박스가 객체인지 아닌지 채널의 정보 저장
   • 2 ( object or not ) x 9 (num of anchors) 채널 생성 → 18개의 채널
   • 9개의 채널에 대해 sigmoid 연산을 하지 않고 object 있을 때의 9 채널 , 없을 때 9 채널 해서 18개의 채널을 사용하는 이유(=object가 있는지 아닌지 binary classification 문제를 logit값 2개를 이용해 표현하는 이유) : 9개의 channel을 만들어서 sigmoid를 씌워주는 경우에 threshold를 통해서 물체가 존재하는지 아닌지 판별을 해야하며, 그렇다면 특정 threshold 찾고 이에 맞게 학습을 해야한다는 점에 따라서 18개의 channel을 만들어 sigmoid를 씌워 더 높은 값에 따라 물체가 존재하는지 아닌지 판별하게 된다.
4. 1x1 conv 수행하여 bounding box regression 수행 : 3의 과정에서 객체가 포함되고 있다면 4 진행(어떻게 미세조정)
   • 4 ( bounding box ) x9 (num of anchors) 채널 생성 → 36개의 채널

 

Faster RCNN RPN의 NMS에서는 Object가 존재하는지 존재하지 않는지 계산한 Score 값을 기준으로 NMS를 진행