[DeepSleep] 논문 리뷰 스터디 4주차

📁 4주차 발표 내용

📄 희

• 주제: NLP-RNN 전반적인 개념 정리
• 내용
  1. NLP Pipeline
  2. 언어 모델(Language Model)
     • 통계적 언어 모델
     • 인공 신경망 모델
       • RNN
       • LSTM
       • GRU
       • Seq2Seq
       • Attention Mechanism
       • Transformer
  3. 단어의 표현 방법(Word Representation)
  4. 임베딩 기법
• 발표자료: https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week4/NLP-RNN.md

📄 도연

• 제목: Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
• 링크: https://arxiv.org/pdf/1406.1078.pdf
• 주제: RNN Encoder-Decoder 를 기반으로 한 seq2seq 모델
• 내용
  • SMT에서 각 phrase pair의 score를 구하는 데 RNN Encoder-Decoder 사용해 성능 높임
  • GRU 모델을 제안함으로써 더 적은 연산량이 요구되는 것을 가능케 함
• 발표자료: https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week4/Learning%20Phrase%20Representations%20using%20RNN%20Encoder%E2%80%93Decoder%20for%20Statistical%20Machine%20Translation.pdf

 

📂 5주차 발표 계획

• 회의 : 같은 주제 안에서 논문을 선정하여 읽어보자
• 목표 : 6-8주차에 NLP 관련 논문을 읽기 위해서 RNN의 개념과 논문들을 먼저 살펴보자

📄 혜주

• 제목: Sequence to sequence learning with neural networks
• 링크: https://arxiv.org/pdf/1409.3215.pdf
• 내용: Encoder, Decoder 2개의 LSTM을 통해 입력과 출력의 크기가 고정되지 않아 긴 문장 처리에 유용