[Convolutional Neural Networks] Object Detection :: seoftware

📜 강의 정리 

 

* Cousera 강의 중 Andrew Ng 교수님의 Convolutional Neural Network 강의를 공부하고 정리한 내용입니다.

* 이미지 출처 : Deeplearning.AI

---

Detection Algorithms

 

Object Localization

위와 같은 예시에서 target label y를 살펴보면 [P_c, b_x, b_y, b_h, b_w, c1, c2, c3] 로 구성이 되어있다. P_c는 이미지에 객체가 있으면 1, 없으면 0이고 b_로 시작하는 것들은 바운딩박스에 관련된 것, c로 시작되는 것들은 각 클래스에 해당하는 객체가 이미지 안에 있는지 나타내는 것이다. 

만약 P_c(=y_1)가 1이라면 predict와 target간의 각각의 위치에 해당하는 인자끼리 loss를 구해서 더해주고, P_c가 0이라면 y1과 y1_hat 간의 loss만 구해준다.

 

Landmark Detection

 

landmark는 bbox의 b_x, b_y, b_h, b_w와 비슷하게 각각의 위치에 점을 찍어서 특징을 추출하는 것이다. 얼굴의 경우 눈 양 끝, 턱 선 등에 랜드마크를 찍을 수 있고, 신체에는 목, 어깨, 팔꿈치, 무릎 등에 랜드마크를 찍을 수 있다.

중요한 점은 학습을 시키기 위한 데이터셋을 만들기 위해 레이블링을 진행할 때 landmark1, landmark2, ..., landmark_n에 일관성을 지켜야한다는 점이다. 예를 들어 얼굴에서 landmark1이 코끝이라면 모든 이미지의 landmark1은 코끝을 찍은 점이어야 한다.

Object Detection

conv size를 점점 크게 해가면서 sliding window 방식을 사용한다. computational cost가 매우 높다는 단점이 있다.

Convolutional Implementation of Sliding Windows

FC layer를 convolutional layer로 변환한다.

Conv 연산을 통해 자동차가 있는 영역을 더 효율적으로 찾아내기는 하지만 바운딩박스가 정확하지 않다는 문제가 남아있다.

Bounding Box Predictions

✔ YOLO algorithm

3×3 grid, 19×19 grid 등으로 이미지를 분할해서 object localization 진행

자세하게 표현 하면 다음과 같다

Intersection Over Union

줄여서 IoU라고 하며, 객체 검출이 잘되었는지 확인하는 metric으로 사용된다. 

 

Non-max Suppression

객체 검출의 문제점은 동일한 객체에 대해서 여러번 검출할 수 있다는 점이다. non-max suppression은 이 문제를 해결하기 위한 방법이다. P_c가 가장 높은 것만 뽑아낸다.

 

Anchor boxes

위의 문제는 하나의 그리드셀 안에서 하나의 객체만 탐지할 수 있다는 점입니다. 이 문제를 해결하기 위해 anchor box를 도입했습니다

 

---

Region Proposal

segmentation을 활용하여 해당 영역에 객체가 있는지 확인

 

Semantic Segmentation with U-Net

object detection 보다 조금 더 섬세하게 객체를 분류하는 방식으로 픽셀이 어떤 객체에 속하는지 확인하는 방법이다.

 

Transpose Convolutions

transpose convolution은 U-Net 구조의 주요 부분이다.

일반 convolution의 경우 크기가 작아지는 방향으로 가지만 transpose convolution은 크기를 키우는 방향(원본 사이즈로 복구)하는 방향으로 진행된다.

Transpose convolution 진행과정

 

U-Net architecture intuition

앞에 반절은 convolution, 뒤에 반절은 transpose convolution 진행. earlier layer의 activation 결과를 later layer에 copy 해주면 효과가 좋은데, 그 이유가 무엇일까?

low level의 디테일과 high level의 semantic한 특징을 모두 담을 수 있게 되기 때문이다.

U-Net architecture