Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- essential deep learning paper reading
- conda오류
- conda
- 머신러닝
- Ai
- torch
- Machine Learning
- ML
- 리눅스 오류
- anaconda오류
- pyTorch
- 텐서
- 일귀
- 리눅스
- conda: command not found
- 공부
- Tensor
- pytorch tensor
Archives
- Today
- Total
Centric Software
Deep Networks with Stochastic Depth, ECCV 2016 본문
*논문 요약
*해당 논문은 dropout이 나온지 2년 뒤, resnet이 나온지 1년 뒤인 2016년에 나온 논문입니다.
- 매우 깊은 신경망을 학습하는 것에는 여러 난관들이 따른다.
- gradient vanishing, forward flow diminishing, slow training time 등의 문제들이 있다.
- Training 할 때, 각 mini-batch 마다, 레이어의 부분집합들을 랜덤하게 drop 하고, 이전 입력을 출력으로 forward 시켜주면, - training time을 확연히 줄어들고, 거의 모든 데이터셋에서 test error을 많이 개선하며, residual networks 의 depth를 훨씬 깊게 만들어 기존보다 더 좋은 결과가 나옴을 확인할 수 있다.
on process... 아직 잘 감이 안온다
이게 dropout보다 유용할까?
다른 regularization 방식에 비해 어떤 점이 좋을까?
왜 ISLR challenge 1st Winner은 하필 이 방식을 regularization 방식으로 채택한 것 일까? 어떤 이유 때문에?
'Paper Reviews' 카테고리의 다른 글
Depth Anything(2024) 논문 리뷰 (0) | 2024.02.17 |
---|---|
Batch Normalizaion(2015) 설명 (0) | 2023.09.03 |
1D Convolutional Neural Networks and Applications - A Survey (0) | 2023.08.30 |