[DeepSleep] 논문 리뷰 스터디 6주차

📖  6주차 발표 내용

❄️ 혜주

• 선정한 논문: Neural Machine Translation by Jointly Learning to Align and Translate [pdf] 
• 발표 자료: https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week6/align.md
• 주제: Alignment model 의 등장과 입력 문장 벡터의 연관 순위 책정에 따른 번역 효율 향상
• 배경: 기존처럼 입력 문장을 고정된 길이의 context vector 로 변환할 시, 길이가 긴 입력 문장에 대해서는 번역 성능이 급격히 저하되는 문제점이 발생
• 내용
  1. decoder 에서 output 을 출력할 때, 입력 문장을 순차적으로 탐색해서 현재 생성하려는 decoder의 output 과 가장 관련있는 영역을 적용시킴
  2. 따라서 고정된 길이의 context vector 를 사용하지 않고, encoder 에서 생성한 여러 context vector 를 계속해서 참조하므로 문장의 길이가 길어도 성능 유지 가능

 

❄️ 도연

• 선정한 논문: Effective approaches to attention-based neural machine translation [pdf] 
• 발표 자료: https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week6/Effective%20approaches%20to%20attention-based%20neural%20machine%20translation.pdf
• 주제: Attention을 기반으로 한 NMT 모델
• 내용
  1. local attention과 global attention간의 비교
  2. Neural Machine Translation에서 attention을 잘 적용할 수 있는 방법
  3. 긴 input sequence에서 attention을 계산하는 방법

 

---

📖  7주차 발표 계획

❄️ 수연

• 선정한 논문: Attention Is All You Need [pdf]
• 주제: 순환 구조 없이 Attention만을 사용한 새로운 모델(Transformer) 제시