[DeepSleep] 논문 리뷰 스터디 8주차

🚀 8주차 발표 내용

📝 GPT-1 Improving Language Understanding by Generative Pre-Training

🙋‍♀️ 희

• 논문 링크 : https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
• 주제 : GPT-1, Generative 사전 학습을 통한 언어 이해 개선
• 목표 : 약간의 fine-tuning만으로 다양한 task에 잘 전이하는, 범용적인(universal) representations 학습하기
• 구조 : 기존 Transformer의 decoder를 12개 쌓은 구조 (decoder에서 Multi-Head Attention 제외)
  • Unsupervised pre-training
  • Supervised fine-tuning

  • 

• 결과 : GPT-1은 생성적 사전 학습(generative pre-training)의 힘을 보여주었고, 더 큰 데이터셋과 더 많은 매개변수로 이러한 잠재력을 더 잘 발휘할 수 있는 다른 모델에 대한 길을 열어주었다. 그리고 이듬해 나온 GPT-2가 바로 그러한 모델 중 하나다.
• 발표자료 : https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week8/GPT.md

 

📝 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

🙋‍♀️ 하람

• 논문 링크 : https://arxiv.org/pdf/1810.04805.pdf
• 주제 : BERT, 사전 학습된 깊은 양방향 트랜스포머를 이용한 언어 이해
• 구조 : Multi-layer bidirectional transformer encoder
  •   

    

  • Pre-training BERT
    • Masked Language Model(MLM)
    • Next Sentence Prediction(NSP)
  • Fine-tuning BERT
    • BERT_BASE, BERT_LARGE
• 결과 : 11개의 NLP tasks에서 SOTA
• 발표자료 : https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week8/BERT.pdf

 

🎉✨1기 마지막 스터디 종료! 마지막까지 수고 많으셨습니다!✨🎉