Embedded World

Depth AnythingDepth Anything: Unleashing the Power of Large-Scale Unlabeled DataBrief lookover before reading monocular depth estimation foundation model models which are pretrained on vast amount of data semi-supervised learning unlabeled data를 활용하는 학습방식. labeled data로 학습된 teacher model을 가지고, unlabeled data의 pseudo depth map을 만들어, 새로운 student model에 labeled, unlabeled data를 supervised learning으..

왜 사용할까? batch normalization을 사용하는 이유는 1)학습 효율향상, 2)Regularization 때문입니다. 다시말해, batch normalization을 적용 시 1)모델이 훨씬 빠르게 학습되고 2)general feature또한 더 잘 찾아내 성능도 더 좋아진다고 생각해 볼 수 있을 것 같습니다. 어떻게 가능할까? 어떻게 이것이 가능할까요? 딥러닝의 학습 방식에는 한가지 문제가 있습니다. 바로 학습이 되면서 레이어들의 parameter가 계속해서 업데이트 되기 때문에, 각 레이어들의 output 또한 매번 다른 분포를 출력하게 되어, 그 값의 범위가 들쭉날쭉 해진다는 점 인데요.(internal covariate shift) 딥러닝은 레이어의 출력에 비선형함수를 달기 때문에 출..

*논문 요약 *해당 논문은 dropout이 나온지 2년 뒤, resnet이 나온지 1년 뒤인 2016년에 나온 논문입니다. - 매우 깊은 신경망을 학습하는 것에는 여러 난관들이 따른다. - gradient vanishing, forward flow diminishing, slow training time 등의 문제들이 있다. - Training 할 때, 각 mini-batch 마다, 레이어의 부분집합들을 랜덤하게 drop 하고, 이전 입력을 출력으로 forward 시켜주면, - training time을 확연히 줄어들고, 거의 모든 데이터셋에서 test error을 많이 개선하며, residual networks 의 depth를 훨씬 깊게 만들어 기존보다 더 좋은 결과가 나옴을 확인할 수 있다. on p..

1D CNN 이란 녀석의 동작과 특징 등이 궁금해 공부해 보며 해당 2019년 서베이 논문을 읽고 3줄로 요약해 보았다. 동작은, 짧은 1D 필터가 긴 1D데이터 막대기를 지나가며 convolution 연산을 수행한다고 생각하면 된다. - 1D data 에서 feature을 추출한다. - 2D CNN에 비해 상대적으로 얕은 깊이와, 작은 크기의 필터로 매우 좋은 성능을 보인다. - 그래서 computational cost가 정말 적게 든다. 모바일 기기에서 CPU로 충분히 동작할 정도이다. https://www.kaggle.com/competitions/asl-signs/discussion/406684 Google - Isolated Sign Language Recognition | Kaggle www...