[Improving Deep Neural Network] Week 2. Optimization algorithms :: seoftware

📜 강의 정리 

 

* Coursera 강의 중 Andrew Ng 교수님의 Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization 강의를 공부하고 정리한 내용입니다.

* 이미지 출처 : Deeplearning.AI

---

Optimization Algorithm

1. Mini-batch Gradient Descent

Having fast optimization algorithms, having good optimization algorithms can really speed up the efficiency of you and your team. Vectorization allows you to efficiently compute on all m examples, that allows you to process your whole training set without an explicit For loop. 

2. Understanding Mini-Batch gradient descent

• Cost(loss) function

  • 

    source : Deeplearning.AI

    잘못 라벨링된 데이터가 섞여 있는 batch의 경우에는 큰 loss 값을 가질 수 있고 batch마다 loss 값이 일정하지 않으므로 그래프에서 jittering이 발생한다.
• Choosing mini-batch size

  • 

    source : Deeplearning.AI

    batch가 여러개인 경우에는 각 iteration마다 너무 많은 시간이 걸리고, batch size가 1인 경우(Stochastic Gradient Descent)에는 훈련 속도가 너무 오래걸린다(lose speedup from vecterization). 따라서 적당한 batch size를 찾아야한다.
  • Tip1. If small training set(m<=2000) : use batch gradient descent
  • Tip2. Else, because of the way computer memory layed out and accessed, your code runs faster if your mini-batch size is a power of 2. (64, 128, 256, 512, 1024)
  • Tip3. All of your X{t}, Y{t} that that fits in CPU/GPU memory.

batch gradient descent에 대한 정의가 조금 헷갈렸었는데, batch gradient descent는 전체 데이터셋에 대해 loss를 구하고 기울기를 한 번만 update 하는 방식이다. 아래 사이트에서 BGD의 장단점을 읽어보면 쉽게 이해할 수 있다.
https://light-tree.tistory.com/133

딥러닝 용어정리, MGD(Mini-batch gradient descent), SGD(stochastic gradient descent)의 차이

 

3. Exponentially weighted Averages

source : Deeplearning.AI

β값이 0.9 일 때는 이전 9개의 값을 반영(현재 값까지 10개의 평균), β값이 0.98이면 현재 값 포함 50개의 평균, β값이 0.5이면 현재 값 포함 2개의 평균

 

4. Bias Correction in Exponentially weighted averages

• vt(biascorrection)​ = vt​/(1−βt) = {βvt−1​+(1−β)θt​}/(1−βt)

5. Gradient Descent with momentum

Momentum have effects of velocity and accelerator. 모멘텀을 적용하면 기존의 방향에 악셀을 더한다. 위의 예시로는 오른쪽으로는 많이 가고 세로 방향으로는 적게 간다.

v가 velocity, dw가 acceleration의 역할을 한다.

 

6. RMSProp (Root Mean Squared Propagation)

세로축을 b라고 하고, 가로축을 w라고 할 때, 가로축으로 빠르게 이동하고 싶으면 dw를 작게하여 Sdw를 크게 만들면 된다. 세로축으로 적게 이동하고 싶으면 db를 크게하여 Sdb를 작게 만들면 된다. 

 

7. Adam Optimization Algorithm

: RMSProp + Momentum

• Hyperparameters
  • α : need to be tune
  • β1 : 0.9
  • β2 : 0.999
  • ε : 1e-8

8. Learning Rate Decay

learning rate α를 점점 줄여나가는 과정. α가 너무 크면 학습은 빠르지만 최적값에 다가가기 어렵고, α가 너무 작으면 학습이 너무 느리다