Week34 [Boostcamp]Week3-Day14. Pytorch 활용 - Multi GPU, Hyperparameter tuning :: seoftware 목차 1. 강의정리 1-1. Pytorch - chap8. Multi GPU 1-2. Pytorch - chap9. Hyperparameter tuning 1-3. Pytorch - chap10. Pytorch Troubleshooting 2. 피어세션 정리 3. 데일리 회고 📜 강의 정리 * 부스트캠프 PyTorch 강의를 맡아주신 최성철 교수님의 강의를 정리한 것 입니다. [Pytorch] Chapter8. Multi GPU 학습시킬 데이터 양이 방대해지면서 한 대의 컴퓨터(node), 한 개의 GPU만으로는 부족하다 다중 GPU에 학습을 분산시키는 방법은 모델을 나누는 방법(Model Parallel)과 데이터를 나누는 방법(Data Parallel)이 있다. 1. Model Parallel Ale.. 2021. 8. 20. [Boostcamp]Week3-Day13. Pytorch 모델 불러오기 :: seoftware 목차 1. 강의정리 1-1. PyTorch - chap6. 모델 불러오기 1-2. PyTorch - chap7. Monitoring Tools for PyTorch 2. 피어세션 정리 3. 데일리 회고 📜 강의 정리 * 부스트캠프 PyTorch 강의를 맡아주신 최성철 교수님의 강의를 정리한 것 입니다. [PyTorch] Chapter6. 모델 불러오기 🌈 모델 저장 방법과 저장한 모델 불러오는 방법을 알 수 있다. 주로 CV는 CNN, NLP는 BERT 기본 모델을 불러와서 학습을 진행한다. 학습한 결과를 남에게 공유하고 싶다면 내 모델을 저장해야 한다. 1. 모델 저장 & 불러오기 model.save() : 모델 형태(architecture)와 파라미터를 저장 model.state_dict() : 모델.. 2021. 8. 19. [Boostcamp]Week3-Day12. Pytorch 구조 학습 :: seoftware 목차 1. 강의정리 1-1. PyTorch - chap4. Autograd & Optimizer 1-2. PyTorch - chap5. Dataset & Dataloader 2. 과제 - Custom Dataset 3. 피어세션 정리 4. 데일리 회고 📜 강의 정리 * 부스트캠프 PyTorch 강의를 맡아주신 최성철 교수님의 강의를 정리한 것 입니다. [PyTorch] Chapter4. AutoGrad & Optimizer 🌈 Process 흐름과 세부 구성에 대해 알아보자. 1. 네트워크는 수많은 반복의 연속이다. block으로 많이 비유되는 Layer 층이 반복된다. 2. 반복이 되는 Layer들은 torch.nn.Module로 구현할 수 있다. nn.Module은 기본적으로 Input, Output.. 2021. 8. 18. [Boostcamp] week3-Day11. Pytorch 기본 :: seoftware 목차 1. 강의정리 2. 과제 - Custom model 제작 3. 피어세션 정리 4. 데일리 회고 📜 강의 정리 * 부스트캠프 PyTorch 강의를 맡아주신 최성철 교수님의 강의를 정리한 것 입니다. 1. Tensor는 numpy와 사용법이 거의 동일하다! 2. reshape 보다는 view를 쓰자. 둘 다 shape을 변경하는 기능을 제공하지만, reshape은 가리키는 tensor의 shape을 변경하고, view는 새로운 tensor로 카피해서 shape을 변경한다. 3. squeeze, unsqueeze : squeeze는 tensor 내부의 크기가 1인 괄호를 없애준다. unsqueeze는 반대로 괄호를 하나 더 씌워주므로 dim을 써야한다. 4. dot, mm, matmul 차이 : dot은.. 2021. 8. 17. 이전 1 다음
