Google DSC Sookmyung

📅 5주차 발표 내용 📝 Sequence to sequence learning with neural networks 🙋 혜주 링크: https://arxiv.org/pdf/1409.3215.pdf 주제: 두 개의 LSTM 모델을 활용한 기존 기계 번역의 한계 개선 배경: 기존의 SMT와 RNN 방식으로는 긴 문장 처리와 어순 구조 변화에 대응하기 어렵다는 단점이 존재 내용 Encoder와 Decoder, 즉 2개의 LSTM을 사용하고 이를 다시 4개의 layer로 쌓아 모델 생성 => 파라미터의 수가 늘어나 깊은 학습 가능 입력 문장의 순서를 뒤집었을 때 결과가 더 좋음 발표자료: https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/mai..

📚 3주차 발표 내용 💡 하람 주제 : Layer Normalization 링크 : https://arxiv.org/pdf/1607.06450.pdf 배경 Batch Normalization을 이용하면 feed-forward neural network 에서 학습시간을 줄일 수 있다. 하지만, Batch Normalization의 효과는 batch size 에 따라 달라지고, Batch Normalization을 RNN에 적용하는 방법이 명확하지 않다. 내용 BN은 "각 feature의 평균과 분산"을 구해서 batch에 있는 "각 feature를 정규화" 한다. 반면 LN은 "각 input의 feature들에 대한 평균과 분산"을 구해서 batch에 있는 "각 input을 정규화" 한다. 효과 Batch..