https://dacon.io/en/codeshare/4444

Kaggle Competition을 진행하는 요즘, 나는 어디서부터 어떻게 건드려야 할지 모르는 기분에 압도당한적이 정말 많았다. 그러던 중, 우연히 기업 채용 공고에서 "Problem Solving"이란 키워드를 보았다. 주먹구구로 접근하는 듯 한 나의 모습에 초라함을 느끼던 찰나, '대학교 때 교양수업을 듣던 것 처럼, 인터넷에 있는 엔지니어링 Problem Solving 강의를 들어보면 어떨까?' 생각을 해보았다. 하나씩 영상을 정리해서 올려보겠다 :) 영상은, 우리가 어떤 문제를 마주했을 때 그 문제를 어떻게 풀어야 하는지에 대해 말한다. 화자인 Ariana Glantz는 "solution minded"라고 한다. 이는 마인드셋으로, 모든 문제에는 해결책이 존재하고, 우리가 그곳에 도달할 길을 가..

왜 사용할까? batch normalization을 사용하는 이유는 1)학습 효율향상, 2)Regularization 때문입니다. 다시말해, batch normalization을 적용 시 1)모델이 훨씬 빠르게 학습되고 2)general feature또한 더 잘 찾아내 성능도 더 좋아진다고 생각해 볼 수 있을 것 같습니다. 어떻게 가능할까? 어떻게 이것이 가능할까요? 딥러닝의 학습 방식에는 한가지 문제가 있습니다. 바로 학습이 되면서 레이어들의 parameter가 계속해서 업데이트 되기 때문에, 각 레이어들의 output 또한 매번 다른 분포를 출력하게 되어, 그 값의 범위가 들쭉날쭉 해진다는 점 인데요.(internal covariate shift) 딥러닝은 레이어의 출력에 비선형함수를 달기 때문에 출..

*논문 요약 *해당 논문은 dropout이 나온지 2년 뒤, resnet이 나온지 1년 뒤인 2016년에 나온 논문입니다. - 매우 깊은 신경망을 학습하는 것에는 여러 난관들이 따른다. - gradient vanishing, forward flow diminishing, slow training time 등의 문제들이 있다. - Training 할 때, 각 mini-batch 마다, 레이어의 부분집합들을 랜덤하게 drop 하고, 이전 입력을 출력으로 forward 시켜주면, - training time을 확연히 줄어들고, 거의 모든 데이터셋에서 test error을 많이 개선하며, residual networks 의 depth를 훨씬 깊게 만들어 기존보다 더 좋은 결과가 나옴을 확인할 수 있다. on p..

1D CNN 이란 녀석의 동작과 특징 등이 궁금해 공부해 보며 해당 2019년 서베이 논문을 읽고 3줄로 요약해 보았다. 동작은, 짧은 1D 필터가 긴 1D데이터 막대기를 지나가며 convolution 연산을 수행한다고 생각하면 된다. - 1D data 에서 feature을 추출한다. - 2D CNN에 비해 상대적으로 얕은 깊이와, 작은 크기의 필터로 매우 좋은 성능을 보인다. - 그래서 computational cost가 정말 적게 든다. 모바일 기기에서 CPU로 충분히 동작할 정도이다. https://www.kaggle.com/competitions/asl-signs/discussion/406684 Google - Isolated Sign Language Recognition | Kaggle www...