Deep Networks with Stochastic Depth, ECCV 2016

*논문 요약

*해당 논문은 dropout이 나온지 2년 뒤, resnet이 나온지 1년 뒤인 2016년에 나온 논문입니다.

 

- 매우 깊은 신경망을 학습하는 것에는 여러 난관들이 따른다.

- gradient vanishing, forward flow diminishing, slow training time 등의 문제들이 있다.

- Training 할 때, 각 mini-batch 마다, 레이어의 부분집합들을 랜덤하게 drop 하고, 이전 입력을 출력으로 forward 시켜주면, - training time을 확연히 줄어들고, 거의 모든 데이터셋에서 test error을 많이 개선하며, residual networks 의 depth를 훨씬 깊게 만들어 기존보다 더 좋은 결과가 나옴을 확인할 수 있다.

 

 

on process... 아직 잘 감이 안온다

이게 dropout보다 유용할까?

다른 regularization 방식에 비해 어떤 점이 좋을까?

왜 ISLR challenge 1st Winner은 하필 이 방식을 regularization 방식으로 채택한 것 일까? 어떤 이유 때문에?