[DeepSleep] 논문 리뷰 스터디 5주차 / 이후 계획

📅 5주차 발표 내용

📝 Sequence to sequence learning with neural networks

🙋 혜주

• 링크: https://arxiv.org/pdf/1409.3215.pdf
• 주제: 두 개의 LSTM 모델을 활용한 기존 기계 번역의 한계 개선
• 배경: 기존의 SMT와 RNN 방식으로는 긴 문장 처리와 어순 구조 변화에 대응하기 어렵다는 단점이 존재
• 내용
  1. Encoder와 Decoder, 즉 2개의 LSTM을 사용하고 이를 다시 4개의 layer로 쌓아 모델 생성 => 파라미터의 수가 늘어나 깊은 학습 가능
  2. 입력 문장의 순서를 뒤집었을 때 결과가 더 좋음
• 발표자료: https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week5/SeqToSeq.md

 

📅 이후 스터디 계획

딥러닝 기반 기계번역 발전의 핵심 논문들을 리뷰하자! 

🌟 8/8 - Attention

🙋 혜주

• 📝 Neural Machine Translation by Jointly Learning to Align and Translate
• 링크: https://arxiv.org/pdf/1409.0473v7.pdf

🙋 도연

• 📝 Effective approaches to attention-based neural machine translation
• 링크: https://arxiv.org/pdf/1508.04025.pdf

🌟 8/15 - Transformer

🙋 수연

• 📝 Attention Is All You Need
• 링크: https://arxiv.org/pdf/1706.03762.pdf

🌟 8/22 - GPT / BERT

🙋 희

• 📝 Improving Language Understanding by Generative Pre-Training
• 링크: https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

🙋 하람

• 📝 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• 링크: https://arxiv.org/pdf/1810.04805.pdf