[Convolutional Neural Networks] Special applications: Face recognition & Neural style transfer :: seoftware

📜 강의 정리 

* Cousera 강의 중 Andrew Ng 교수님의 Convolutional Neural Network 강의를 공부하고 정리한 내용입니다.

* 이미지 출처 : Deeplearning.AI

 

---

Face Recognition

What is Face Recognition?

Face recognition 문제는 verification과 구별된다. Face verification은 1:1 비교라면 Face Recognition은 1:N 비교라는 점이 가장 큰 차이점이다.

 

One Shot Learning

One shot learning이란 한 사진(example)만 보고 분류를 하는 것을 말한다. Face recognition에서 one-shot learning은 해결해야할 문제 중에 하나이다. 아래의 예시에서는 오른쪽의 사진을 보고 왼쪽의 사진과 같은 사람인 것을 판별해야한다. Similarity function을 사용해서 두 이미지간의 유사도를 구한다. d(img1, img2)로 표시하고 함수 d의 결과가 threshold 이하이면 같은 사람, 초과면 다른 사람으로 판별한다

 

Siamese Network

앞에서 두 얼굴 이미지간의 유사도를 구하는 함수 d에 대해 언급했었는데, 이를 수행하는 방법이 Siamese Network 이다. 두 개의 다른 인풋에 대해 동일한 conv layer를 실행한 다음에 비교하는 개념이 Simese Network 이다. 이걸 제시하는 논문이 DeepFace인데 전에 한 번 본 적이 있다. 이 부분에 대해서는 다음에 논문 리뷰를 진행해보고 싶다. 추가적으로 뒤에 나오는 FaceNet에 대한 논문도 함께 읽어보기를 추천하셨다.

 

인풋 이미지 x에 대해서 f(x)로 인코딩을 진행한다. 그 다음 다른 사람에 대해서는 거리 함수 d의 값을 크게, 같은 사람에 대해서는 d의 값을 작게 학습시킨다. 예를 들어 각각 다른 사람의 이미지인 x1과 x2 이미지가 있을 때, x1과 x2를 인코딩하여 f(x1)과 f(x2)로 표현한다. 그런 다음 d(f(x1), f(x2))의 값을 크게 하여 학습을 진행한다. N명의 사람이 있을 때 모든 N명에 대해서 두명씩 묶어서 위의 과정을 수행해서 학습을 시킨다.

Triplet Loss

얼굴 이미지의 인코딩에 대해서 신경망의 파라미터를 잘 학습시키기 위해서 Triplet Loss Function을 사용한다. 두 얼굴을 비교하기 위해서는 Anchor image와 Positive image, Negative image 3개가 필요하다. Anchor image는 기준 이미지이고, Positive image는 동일한 인물의 이미지이고 Negative image는 다른 인물의 이미지이다. Anchor와 Positive간의 distance function의 결과와 Anchor와 Negative 간의 distance function의 결과를 내야하는데, 이 때 margin parameter인 α가 사용된다. α를 사용하는 이유는 d(A, P)와 d(A, N)의 값이 같으면 의도와 다르지만 두 값의 차가 0 이하라는 기준을 만족시키기 때문에 의도와 다르게 학습될 수 있기 때문이다. 따라서 0.2의 margin parameter를 사용해야한다.

 

Face Verification and Binary Classification

Triplet loss 말고도 Face verification을 하는 방법은 두 사람이 같은지(1) 다른지(0) 판별하는 binary classification 방법으로도 해결할 수 있다. 얼굴에 대해 인코딩한 임베딩 값을 구하고 임베딩 값 간의 로지스틱 회귀를 한다.

이 과정에서 매번 얼굴에 대한 임베딩을 구할 필요가 없고 임베딩된 값을 DB에 저장해서 사용할 수 있다.

 

---

Neural Style Transfer

What is Neural Style Transfer?

What are deep ConvNets learning?

각 레이어의 히든 유닛들을 시각화하여 어떤 특징(feature)을 가지고 있는지 살펴본다. layer 1으로 갈수록 단순한 특징을 갖는다.

Cost function

Style Transfer에서는 content와 style 두 개에 대한 cost function이 필요하다. J_content와 J_style의 합이 최종 cost function으로 사용된다.

Content Cost function

Style Cost Function

 

1D and 3D generalizations