잔차학습1 [paper Review] Deep Residual Learning for Image Recognition 1. Introduction2012년 AlexNet의 등장 이후, 더 깊은 모델일 수록 이미지 classfication 정확도가 올라간다고 많이 알려지고 있었습니다. 예를 들어 VGG-19(19개 층), GoogLeNet(22개 층)과 같은 모델들이 있었고, 이외에도 많은 모델들이 구현되었습니다.아래 그래프는 2010년부터 2015년까지 ILSVRC대회에서의 top-5 오류율 감소 추이를 보여줍니다. 하지만 모델이 깊어질수루고 두 가지 문제가 발생하게 됩니다. 1. Gradient Vanishing 역전파 과정에서 층이 깊어질수록 기울기가 점점 작아져서 학습이 멈추게 됩니다.2. Gradient Exploding기울기가 지나치게 커지면 가중치가 비정상적으로 크게 업데이트 되어 학습이 불안정해집니다. 기.. 2025. 5. 12. 이전 1 다음
