[Structuring Machine Learning Projects] ML Strategy 2 :: seoftware

📜 강의 정리 

 

* Coursera 강의 중 Andrew Ng 교수님의 Structuring Machine Learning Projects 강의를 공부하고 정리한 내용입니다.

* 이미지 출처 : Deeplearning.AI

---

Error Anaylsis

1. Carrying out Error Anaylsis

고양이 분류 데이터셋에 강아지 사진, great cat(치타, 표범, 호랑이 등) 사진, 흐릿한 사진등이 섞여있다고 하면 학습 성능을 끌어올리는데 방해가 될 것이다. 그렇다고 모든 데이터의 에러를 수정하는 건 쉽지 않다. 따라서 100개 정도의 데이터셋을 뽑고 아래와 같은 표에 정리를 해서 몇 퍼센트가 오류가 있는 데이터셋인지 확인한다.

 

2.  Cleaning up Incorrectly Labeled Data

그렇다면 잘못 라벨링된 이미지 데이터는 어떻게 해야될까?

만약 잘못 라벨링된 것이 training set에 속하고, 그 비율이 크지 않다면 그냥 둬도 된다(물론 수정하면 좋지만). 딥러닝 모델은 Random error에 robust하기 때문이다. 그러나 systematic error에는 약하므로 주의해야한다. 예를 들어 흰 강아지에 대해 계속 1로 라벨링했다면 흰 강아지를 고양이로 분류하게 된다.

 

1에서 얘기했던 것처럼 Analysis 표를 그려보고 어떤 오류를 수정하는 것이 에러를 줄일 수 있는지 분석하는 과정이 필요하다

위의 예시를 보면 에러가 10% 일 때는 라벨링 잘못된 데이터를 수정하는 것보다 그 외의 것을 수정하는 것이 더 좋아보인다. 그러나 에러가 2%가 돼었을 때는 0.6%도 큰 수치이므로 잘못 라벨링된 데이터를 수정하는 것이 의미 있어진다.

✔ Guideline to correct incorrect dev/test set examples

1. 어떤 방식의 프로세스를 적용하던 dev/test set에 동일하게 적용할 것
2. 알고리즘이 잘 맞춘 것들을 포함해서 틀린 examples에 대해 살펴볼 것. 틀린 example을 보고 고치는 것은 쉽다. 알고리즘에서 틀린 것만 고치게 되면 bias estimate와 오류가 남는다. 알고리즘은 단순히 운으로 맞춘 것도 있기 때문에 맞은 것도 봐야한다.
3. Train dataset 과 Dev/Test dataset의 분포는 다를 수 있다.

 

3. Build your First System quickly, then Iterate

새로운 머신러닝 애플리케이션을 만들때는 첫번째 시스템을 빠르게 만들고 반복 테스트를 진행하라! 

 

Mismatched Training and Dev/Test set

1. Training and Testing on Different Distributions

Training set에는 우리가 목표로 하는 데이터셋 말고도 다양한 데이터가 들어갈 수 있다. 사용자로부터 나오는 이미지나 음성 같은 것은 Dev/Test set에 넣어주는 것이 바람직하다. 우리가 잘 맞추고 싶은 데이터가 사용자 데이터이기 때문이다. Dev/Test에 넣어주고 남은 것을 Train set에 포함한다. 

 

2. Bias and Variance with Mismatched Data Distributions

위에서 Train set 과 Dev/Test set의 분포가 달라지는 경우에 대해서 봤다. Train set과 Dev/Test set의 분포가 달라지게 되면 Bias와 Variance를 분석하는 방법이 달라진다.

Train과 Dev/Test set의 distribution이 다른 경우 Training-dev set을 활용할 수 있다. Training-dev set은 training set에서 shuffle하여 랜덤하게 뽑은 값을 dev용으로 사용하는 것이다. 그렇게 하면 Training error와 Dev error의 차이(variance)가 분포의 차이에서 오는 에러인지(dev가 더 흐리고 저화질인 사용자가 넣어준 사진이라고 가정)  Overfitting으로 인해 발생한 에러인지 확인할 수 있다. 

✔ 예시

• case 1. Train error : 1%, Train-dev error : 9%, Dev error : 10% → Variance problem(overfitting)
• case 2. Train error : 1%, Train-dev error : 1.5%, Dev error : 10%  → Data mismatch problem

 

일반화하여 도식화하면 아래와 같이 표현할 수 있다.

3. Addressing Data mismatch

bias와 variance에 대한 오류분석 및 해결책에 대해서는 지난 정리 때 했었다. Data mismatch 대한 문제 해결책은 무엇이 있을까? → 오류분석

Dev set에 대한 문제를 분석하고 Train set과 다른 특성 파악하고 Train set을 Dev set과 유사하게 변형하기. 또는 Dev set과 비슷한 데이터셋 수집하기. 또는 인공 데이터 합성(Artificial Data synthesis)

 

Learning from Multiple Tasks

1. Transfer Learning

딥러닝의 강점 중 하나는 한 태스크에서 학습한 것을 다른 태스크에 적용할 수 있다는 점이다. 이것이 Transfer learning(전이학습)이다.

• pre_training : 데이터 개수가 많은 경우 weight initialize를 pre_tranied 된 값으로 설정하고, 전체 layer에 대한 학습을 진행한다.
• fine-tunning : 데이터의 개수가 적은 경우 마지막 classification layer의 weight만 학습을 진행하고, 앞 부분의 feature extraction layer는 학습을 하지 않는다.

Transfer learning이 효과적인 이유는 대용량의 이미지에서 feature를 학습한 가중치를 사용하기 때문이다. 대용량의 이미지에서 선분, 점 등의 feature를 학습한 걸 적용하는 것이다. 

Transfer learning을 하기위한 조건은 pre_trained에 사용한 데이터의 크기가 transfer learning을 하려고 하는 데이터 크기보다 커야한다. image의 경우에는 class의 개수이고, 음성의 경우에는 시간이다. 

 

2. Multi-task Learning

transfer learning은 태스크 간의 sequantial한 순서가 있는 반면에, Multi-task learning은 동시에 시작한다.

Computer vision object detection을 제외하고는 transfer learning이 multi-task learning보다 훨씬 많이 사용된다.

 

End-to-end Deep Learning

1. What is end-to-end Deep Learning?

음성 인식과 같은 예시에서 전통적인 방법은 위의 방식대로 feature를 뽑아내고 음소화를 진행하여 단어를 생성하고 최종 번역을 하는 것이었다. 그러나 지금은 인풋과 아웃풋만 있을 뿐이다. 다만 많은 데이터가 필요하다. 지금도 적은 데이터에 대해서는 전통적인 방식이 더 잘 작동한다.