재미로 보는 딥러닝 발전 히스토리!
AI대학원 입시준비를 하며 딥러닝 기본 개념들을 자세히 보게 되었는데, 알고리즘들의 발전 순서를 이렇게 나열해보니 재미있어서 글로 작성해보았다.
오래된 순으로 정리해보았다!
출처는 인하대학교 도서관 여러 책들로부터다ㅋㅋ
아이디어가 처음 제시된 년도, 논문이 출판된 년도를 딱히 구분하진 않았으니, 세부적 년도에 오류가 있을 수 있으나, 흐름을 캐치하는데는 문제가 없을거다!
Binary Neural Network (McCulloch & Pitts) 1943
- 인간 신경망에서 영감을 받아 범용 계산장치의 구조로 모델링한, 돌이켜보면 첫 인공신경망이라 불리는 모델.
- 저 시대에 아무도 실용성을 논하지 않았을 것 같은데, 개인적으로 탐구정신이 너무 멋있다.
Perceptron (Frank Rosenblatt) 1957
- 기존 Binary Neural Network는 학습과정이 없어서 문제마다 신경망 구성을 바꿔야한다는 단점이 있다. perceptron은 새로운 입력이 들어오면 인공 신경망이 스스로 문제에 맞춰 학습을 할 수 있도록 고안하였다.
- Input data를 weight와 곱해서 가중합산을 하며, 그 결과를 step function으로 activation 하는 모델!
- 현재 모든 신경망의 basic building block이며, 모든 layer들의 기원이 되는 아주 헤리티지한 연구!
- 당시 perceptron을 이용해 알파벳과 숫자를 인식하는 데 성공했다!! 지금의 여론처럼, 당시에도 인간이 지능을 가진 기계를 만들었다며 세간의 주목을 받았다. 70년 전에도 비슷한 양상이었던 것을 보면, 시대가 바뀌었음에도 사람은 비슷하고, 역사는 되풀이된다는 말이 생각이 난다... (역사공부 많이 해야겠다..?)
MLP + Deep Learning (Alexey Grigorevich Ivakhnenko & Valentin Lapa) 1965
- MLP에 Deep Learning을 적용
- 정확히 조사하진 않았으나, 주목받을 정도로 학습에 효율이 있진 않았던 것 같다... 그러니 주목을 받지 못했겠지 싶다.
book "Perceptrons", AI WINTER... (Marvin Minsky & Seymour Papert) 1969
- 당시엔 지능을 바라보던 접근이 다른 두 학파, symbolism, connectionism이 있었다. 그 중 symbolism 학파의 수장인 Marvin Lee Minsky와 Seymour Papert는 "Perceptrons"라는 책을 통해 perceptron이 비선형 문제를 풀 수 없다는 한계를 지적하고 증명하였다. 그렇게 AI연구에 대해 비판적인 여론이 형성되며 투자가 동결되고, 연구의 암흑기가 왔다고 한다..
- 검색해보니, 당시 Marvin Minsky는 그저 문제를 지적했을 뿐, 저러한 여파는 생각하지 못하였다고 언급했다...
- 비선형 문제를 풀기 위해서 다층 perceptron이 필요했다!
Back-propagation (확실하지 않음) 1974?
- MLP에 효율적인 학습규칙을 부여했다!
- 당시, 이 연구는 조용히 묻히다가, 제프리 힌턴 교수 및 관련 연구진들이 1985년 AI연구를 다시 하며 발굴해 내었다!
+ 많은 back propagation 연구자들이 서로 자기가 먼저 연구했다고 주장했다고도 한다. [신경망 이론과 응용 I, 김대수 저자]
MLP + Back-propagation (Geoffry Hinton) 1985
- back-propagation 알고리즘을 적용해 비선형성을 가진 MLP를 성공적으로 학습시키면서, 얼어붙었던 AI시대를 다시 열어준 연구!
- 하지만, Overfitting과 Gradient Vanishing 이란 큰 단점이 존재하고있었다.
RBM, restricted boltzman machine (Geoffry Hinton) 2006
Dropout (Geoffry Hinton) 2012
- RBM과 달리, Overfitting을 방지하며 end-to-end로 학습할 수 있게 해준 알고리즘!
느낀점
나는 AI의 역사를 알아보면서 아무리 의미있는 연구를 한다 한들, 알려지지 못하면 쓰이지도 못한다는 생각이 들었다. 아직도 묻혀있는 보석같은 연구들도 많이 있을거고, 나도 내 (의미있는)연구가 묻히지 않고 알려질 수 있도록 생각해보는 과정도 필요하겠단 생각이 들었다. 연구자로서 앞으로도 이러한 재미있는 역사에 대해 더 알아보고싶다!
+ back propagation 알고리즘을 발견한 Paul Werbos도, Geoffry Hinton 및 Yann LeCUN 등 이를 적용해 MLP를 되살려낸 연구진들도 너무 대단하다 느껴진다.
모두의 관심이 집중되어있고, 그만큼 재미있는 일들이 아주 많이 일어나고있는 이 분야를 저런 석학분들의 태도를 본받으면서 끈질기고 치열하게 공부하며 몰입해 나아가고싶다!
+ 어떤 접근으로 저런 위대한 연구들을 하셨는지 궁금해졌다. 이런 부분을 다음에 또 알아보면서 참고해보아야 겠다!