[DeepSleep] 논문 리뷰 스터디 3주차

📚 3주차 발표 내용

💡 하람

• 주제 : Layer Normalization
• 링크 : https://arxiv.org/pdf/1607.06450.pdf
• 배경
  • Batch Normalization을 이용하면 feed-forward neural network 에서 학습시간을 줄일 수 있다.
  • 하지만, Batch Normalization의 효과는 batch size 에 따라 달라지고,  Batch Normalization을 RNN에 적용하는 방법이 명확하지 않다.

• 내용
  • BN은 "각 feature의 평균과 분산"을 구해서 batch에 있는 "각 feature를 정규화" 한다.
  • 반면 LN은 "각 input의 feature들에 대한 평균과 분산"을 구해서 batch에 있는 "각 input을 정규화" 한다.

• 효과
  • Batch Normalization과 달리, 학습과 추론 시 동일한 계산량을 수행한다.
  • 각 단계에서 정규화 통계를 별도로 계산하여 RNN에 적용하는 것도 간단하다.
• 발표자료 : https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week3/layernormalization.pdf

💡 수연

• 제목 : Understanding the difficulty of training deep feedforward neural networks
• 링크 : http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
• 주제 : 딥러닝에서의 weight 초기화의 중요성
• 배경
  • 왜 랜덤 초기화에 따른 표준 경사하강법이 Deep neural network 학습에서 좋지 못한 성능을 보이는지에 대해 이해
  • Deep neural network에서의 비선형 활성함수의 (부정적인) 영향력 발견
• 내용
  • sigmoid, tanh, softsign을 사용한 네트워크의 각 레이어의 포화도 실험, 분석
  • 활성함수의 선택과 초기화 방법에 대한 평가
• 발표자료 : https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week3/Understanding%20the%20difficulty%20of%20training%20deep%20feedforward%20neural%20networks.md

 

📝 4-5주차 발표 계획

• 회의 : 같은 주제 안에서 논문을 선정하여 읽어보자
• 목표 : 6-8주차에 NLP 관련 논문을 읽기 위해서 RNN의 개념과 논문들을 먼저 살펴보자

💡 희

• 주제 : RNN 및 LSTM 개념 정리

💡 도연

• 주제 : Cho, Kyunghyun, et al. "Learning phrase representations using RNN encoder-decoder for statistical machine translation." arXiv preprint arXiv:1406.1078 (2014) (First Seq-to-Seq Paper)
• 링크 : https://arxiv.org/pdf/1406.1078.pdf

💡 혜주

• 주제 : Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. (2014) (Outstanding Work)
• 링크 : https://arxiv.org/pdf/1409.3215.pdf