[Segmentation] FCN의 한계를 극복한 models - 성능면

📜 강의 정리 

---

FCN의 한계점

한계점

1. 객체의 크기가 크거나 작은 경우 예측을 잘 하지 못하는 문제
   • 큰 object의 경우 지역정인 정보만을 활용하여 예측을 하는 경우
   • 작은 object가 무시되는 경우
   • 같은 object에 대해 다르게 예측하는 경우

   • 

2. Deconvolution의 절차가 간단하여 Object의 디테일한 모습이 사라지는 문제

   • 

---

Decoder를 개선한 models

1. DeconvNet

architecture : Decoder와 Encoder를 대칭으로 만든 형태

✔ Unpooling과 Transposed Convolution이 반복적으로 이루어진 형태

• Unpooling : 디테일한 경계 포착, 학습이 필요없어서 속도 빠름
• Transposed Convolution : 전반적인 모습 포착(Unpooling 후 비워진 셀 채우기)

✔ Analysis of Deconvolutional Network

• Deconv Net의 낮은 층은 전반적인 특징을, 깊은 층은 복잡한 패턴을 잡아낸다
• Unpooling(c, e, g, i)의 경우 경계값을 잡아내고, Transposed Convolution(그 외)의 경우 디테일한 값을 잡아낸다
• Unpooling 시에 return_indices를 True로 하여 어느 위치에서 pooling이 되었는지 위치 정보 저장

  • 

 

2. SegNet

DeconvNet 보다 속도가 빠른 모델

 

---

Skip connection을 적용한 models

1. FC DenseNet

• 이전 layer를 더해주는(sum)것이 아니라 concat의 방법으로 skip connection 적용
• encoder와 decoder 안에 각각 dense block이 있고, encoder에서 decoder로 전해주는 layer(skip connection)도 있음

2. Unet

 

---

Receptive field를 확장시킨 models

1. DeepLab v1

✔ Receptive field가 중요한 이유

• 

• 

Max pooling은 위의 예시처럼 효과적으로 receptive field를 넓힐 수 있도록 도와준다. 그러나 Resolution 측면에서는 low feature resolution을 가지는 문제점 발생

그렇다면, 이미지의 크기는 많이 줄이지 않고 파라미터의 수도 변함이 없는 채로 Receptive Field만 넓히는 방식은 없을까?

 

2. DilatedNet