https://www.youtube.com/watch?v=UFem7xa3Q2Q&list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ&index=24 위 스탠퍼드 cs224n 강의를 듣고 요약한 글 입니다. 틀린 부분은 지적해주시면 감사하겠습니다.^^ outlines 1. motivations for LM, 2. Orders of Magnitude of Data, 3. Universality of Scaling Laws, 4. scale up LM - consiquencies Fermi Estimates for LM 문제, 기초지식+논리추론, 효율적 대략적 근사치 추정 Why you study language? — motivation AI : our species best attempt ..

30일 첼린지 1일차, 금요일 forward 순 ​ 'I like staying at home.' 이란 문장이, transformer 모델에 들어가서 output으로 나오는 과정을 원리와 데이터의 흐름을 중심으로 차근차근 생각해보았다. ​ 0. input sentence tokenizing input >>> 'I like staying at home.' tokenized >>> ['i', 'like', 'stay', '##ing', 'at', 'home', '.'] output(token_to_id) >>> [151, 3751, 6758, 19, 534, 616, 1, , , ..., ] output.shape = (max_seq_len, ) ​ WordPiece(BERT), 은전한닢, Mecab 등의 ..