[DeepSleep] 딥러닝 스터디 4주차

📅 앞으로의 스터디 계획

⌚ 스터디 시간: 매주 일요일 오후 1시반

📝 격주로 논문 리뷰 진행 (하람, 수연 / 혜주, 서희, 도연)

➕ 본인 발표 전 스터디에서 본인이 리뷰할 논문, 개요 알려주기

 

📅 7/4(일) 발표 예정 논문

📝 Deep Residual Learning for Image Recognition (2015, ResNet)

🙋 이하람

• 링크 : https://arxiv.org/pdf/1512.03385.pdf
• 개요/배경
  • Batchnorm 도입 이후에 10개 이상의 레이어를 학습시킬 수 있게 되었다.
  • 층이 많은 모델일수록 층이 적은 모델과 비슷하거나 더 좋은 성능이 나와야 한다고 기대하였다.
  • 하지만 여전히 깊은 모델은 얕은 모델보다 성능이 좋지 않았다.
  • 일부 레이어가 identity function (f(x)=x) 를 잘 배울 수 있도록 하면 어떨까?

• 목표 : 모델이 identity function 을 더 쉽게 배울 수 있도록 네트워크를 조절하자!
• 주요 용어
  • Plain block / Residual Block
  • Stages
  • Residual Networks

 

📝 Imagenet classification with deep convolutional neural networks (AlexNet)

🙋 남수연

• 링크: http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
• 배경
  • 현재 MNIST 분류기의 인식 능력(에러 발생률 0.3% 이하)은 인간의 성능만큼 뛰어나지만, 현실의 사물들은 훨씬 더 다양성을 갖추고 있으므로 더 큰 크기의 학습 데이터가 필요
  • LabelMe, ImageNet 등 매우 큰 규모의 이미지 데이터베이스의 등장
  • 이미지의 특성에 대해 강력한 추론을 할 수 있으며, 훈련하기도 쉬운 CNN을 사용 (다만 성능은 standard feedforward NN보다 조금 나쁠 수 있음)
  • ILSVRC-2010과 ILSVRC-2012에서 CNN을 이용한 모델(AlexNet)로 우승
• 주요 내용
  • AlexNet의 네트워크 성능 향상과 훈련 속도 단축 방법
  • AlexNet의 Overfitting을 방지하기 위한 기법
  • AlexNet의 구조