[DeepSleep] 논문 리뷰 스터디 1주차

🍒 하람: https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week1/resnet.md

• 주제: Deep Residual Learning for Image Recognition (2015, ResNet)
• 링크 : https://arxiv.org/pdf/1512.03385.pdf
• 개요/배경
  • Batchnorm 도입 이후에 10개 이상의 레이어를 학습시킬 수 있게 되었다.
  • 층이 많은 모델일수록 층이 적은 모델과 비슷하거나 더 좋은 성능이 나와야 한다고 기대하였다
  • 하지만 여전히 깊은 모델은 얕은 모델보다 성능이 좋지 않았다.
  • 일부 레이어가 identity function (f(x)=x) 를 잘 배울 수 있도록 하면 어떨까?

• 목표 : 모델이 identity function 을 더 쉽게 배울 수 있도록 네트워크를 조절하자!
• 주요 용어
  • Plain block / Residual Block
  • StagesResidual Networks

 

🍒 수연: https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/main/Week1/AlexNet.md

• 주제: Imagenet classification with deep convolutional neural networks (AlexNet)
• 링크: http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
• 배경
  • 현재 MNIST 분류기의 인식 능력(에러 발생률 0.3% 이하)은 인간의 성능만큼 뛰어나지만, 현실의 사물들은 훨씬 더 다양성을 갖추고 있으므로 더 큰 크기의 학습 데이터가 필요
  • LabelMe, ImageNet 등 매우 큰 규모의 이미지 데이터베이스의 등장
  • 이미지의 특성에 대해 강력한 추론을 할 수 있으며, 훈련하기도 쉬운 CNN을 사용 (다만 성능은 standard feedforward NN보다 조금 나쁠 수 있음)
  • ILSVRC-2010과 ILSVRC-2012에서 CNN을 이용한 모델(AlexNet)로 우승

• 주요 내용
  • AlexNet의 네트워크 성능 향상과 훈련 속도 단축 방법
  • AlexNet의 Overfitting을 방지하기 위한 기법
  • AlexNet의 구조