[Structuring Machine Learning Projects] Why ML Strategy :: seoftware

📜 강의 정리 

 

* Coursera 강의 중 Andrew Ng 교수님의 Structuring Machine Learning Projects 강의를 공부하고 정리한 내용입니다.

* 이미지 출처 : Deeplearning.AI

---

Introduction to ML Strategy

There are some strategy for improving your system(model). These strategy can make your system work effectively and quickly.

 

머신러닝을 효율적으로 하는 사람들은 어떤 효과를 위해 어떤 하이퍼파라미터를 튜닝해야하는지 뚜렷한 안목을 가지고 있다. 이런 하이퍼파라미터를 튜닝하는 과정을 Orthogonalization(직교화)라고 부른다.

 

 전체적인 시스템의 과정은 training set 학습 → dev set으로 확인 → test set 으로 테스트 → 실제 앱에 적용 이다.

✔ 각 과정에서 성능이 잘 안나온다면 적용할 수 있는 방법에 대해 알아보자

• Fit training set well on cost function : bigger network, better optimization algorithm(like Adam)
• Fit dev set well on cost function : Regularization, Bigger training set
• Fit test set well on cost function : Bigger dev set
• Performs well in real world : change dev set or cost function

Andrew 교수님은 early stopping 기술은 잘 안쓴다고 한다. Orthogonalization은 어떤 알고리즘이 시스템의 다른 부분에 영향을 주거나 부작용이 생기지 않도록 해야하는데, early stopping은 train set을 fitting하는 과정과 dev set을 fitting하는 과정 모두에 영향을 끼치게 된다.

 

Setting Up Your Goal

1. Single Number Evaluation Metric

하이퍼파라미터를 튜닝하거나 새로운 알고리즘 방법을 도입할 때, 실수평가지표가 있으면 효율이 더 좋아진다.

보통 팀 단위로 머신러닝 프로젝트를 진행할 때 Single Number Evaluation Metric(실수 평가 지표)을 사용을 권장한다.

Idea → Code  → Experiment의 반복하여 알고리즘을 계속 개선한다. 그 과정에서 알고리즘의 개선 정도를 평가하는 방법이 single number evalutation metric이다.

좋은 방법 중 하나는 Precision(정밀도)와 Recall(재현율)을 확인하는 것이다.

고양이를 분류하는 모델이 있다고 할 때, 정밀도는 모델이 고양이가 맞다고 올바르게 판단하는 퍼센트를 의미하고 재현율은 dev set에서 실제 고양이인 값 중에 고양이라고 판단한 퍼센트를 의미한다.

There is a trade-off between Precision and Recall.위의 피규어에서 오른쪽 표를 보면 Classifier A가 Recall 값은 더 높고, CLassifier B가 Precision 값은 더 높다. 따라서 여러개의 Classifier를 test 해보고 가장 좋은 classifier를 사용해야 한다.

교수님의 추천은 precision과 recall을 각각 보지말고 이 둘의 조화평균인 F1-score을 측정지표를 사용하라!

 

2. Satisficing and Optimizing Metric

 

Accuracy가 optimizing Metric이고, Running time 등의 요소가 Satisficing Metric이 된다.

고려하는 요소가 여러개가 있다면, 가장 중요한 요소를 optimizing metric으로 측정을 하고, 나머지에 대해서는 satisficing metric으로 한계치를 정한다. 위의 이미지의 예시의 경우 Running time이 satisficing metric이므로 running time이 100ms 이하인 것으로 satisficing metric을 설정할 수 있다.

 

3. Train/dev/test distributions

dev set과 test set의 분포 형태는 같아야 한다. 예를 들어, 이미지 분류를 위해 미국, 유럽, 한국, 브라질, 중국 등의 나라가 있는데 dev set은 미국, 유럽, 한국을 사용하고 test set에는 브라질, 중국을 사용하면 이미지의 분포가 달라진다. 따라서 적절하게 섞은 이미지 데이터셋을 사용해야 한다.

 

4. Size of the Development and Test set

데이터의 개수가 100, 1,000, 10,000개 정도로 작았던 과거에는 train과 test 비율이 70:30이거나 train, valid, test의 비율이 60:20:20 이 보편적이었다

현재는 데이터가 많아서 1,000,000개 정도의 데이터를 학습시키는 경우가 있으므로 1퍼센트만 해도 10,000개의 데이터여서 train, valid, test의 비율이 98:1:1로 train set의 비율이 압도적이다.

5. When to change Dev/Test sets and Metrics?

weight를 주어서 metric을 바꾸는 방법이 있다. A 분류기가 B 분류기보다 cat classifier로서의 성능이 더 좋지만 A는 포르노를 구분하는 능력이 B보다 없다고 하면, 사용자는 B 분류기를 선택하게 된다. 따라서 metric에서 포르노 사진에 대해서는 10을 곱하고 포르노가 아닌 사진 사진에 대해서는 weight를 1을 곱해서 포르노 사진에 대한 cost function value를 크게 만들어줄 수 있다.

만약 dev set의 사진은 고화질에 전체 사진일 수 있지만 실제 사용자가 사용하는 사진은 흐리고, 부분적인 사진일 수 있다. 따라서 이 때도 B classifier의 성능이 더 좋게 나올 수 있고, dev set의 dataset을 바꿔줘야 한다. 

 

Compare to Human-Level Performance

1. Why Human-level Performance?

머신러닝과 인간지능을 비교하는 이유 : 1. 딥러닝의 발전으로 머신러닝의 성능 향상 2. 머신러닝 디자인 과정이 효율적으로 발전

Bayes Error는 모델이 최적화되었을 때의 최고 성능일 때의 에러를 의미한다. human level performanc 최대치의 근사 또는 0%로 볼 수 있다(노이즈 심한 데이터 제외)

위의 예를 보면 다른 조건(training error, dev error)은 모두 같고 human error (⩳Bayes Error)값만 다르다. 그렇지만 human error가 1%인 경우 classifier가 bias에 집중하게 되고, human error가 7.5%인 경우에는 variance에 집중하게 된다는 차이가 생긴다.

Bayes error와 Training Error 사이의 차이를 Avoidable Bias라고 하고, Training error와 Dev error의 차이를 Variance라고 한다. Avoidable bias 값이 더 큰 경우에는 bias에 집중을 하고, Variance가 더 큰 경우에는 variance에 집중하면 된다.  

2. Improving your model performance

추가적으로 test set과 dev set과의 차이가 많이나면, dev set에 overfit 된 상태이므로 dev set의 크기를 늘려야한다.