[DeepSleep] 딥러닝 스터디 1주차

🙋🏻‍♀️ Summary

• 1주차 스터디 : Basic ML / DNN 개념 + 모델 구현 (tensorflow / pytorch)

 

📑 스터디 자료

• 부스트코스 파이토치로 시작하는 딥러닝 기초
• 부스트코스 텐서플로우로 시작하는 딥러닝 기초

 

🌟 1주차 스터디

❤️ 딥러닝이란?

딥러닝(deep learning, 심층학습)은 머신러닝을 구현하는 알고리즘의 일종이다. 머신러닝을 구현하는 알고리즘에는 로지스틱 회귀, 서포트 벡터 머신(Suppor vector machine, SVM), 결정 트리, 랜덤 포레스트, 신경망(neural networks) 등이 있다. 딥러닝은 그 중 신경망의 한 종류에 해당한다. - wikidocs 신경망이란 인간의 뇌가 가지는 생물학적 특성 중 뉴런의 연결 구조를 가리키며, 이러한 신경망을 본떠 만든 네트워크 구조를 인공신경망(Artificial Neural Network, ANN)이라고 부른다.

Cf. 인공지능 분야에서 신경망이란 보통 인공신경망을 지칭하며, 따라서 인공신경망을 따로 구분하지 않고 신경망이라고 부르기도 한다.

인공신경망

인공신경망은 여러 뉴런이 서로 연결되어 있는 구조의 네트워크이며, 입력층(input layer)를 통해 학습하고자 하는 데이터를 입력받게 된다. 이렇게 입력된 데이터들은 여러 단계의 은닉층(hidden layer)을 지나면서 처리가 이루어져 출력층(output layer)을 통해 최종 결과가 출력된다. 이러한 신경망을 3개 이상 중첩한 구조를 깊은 신경망(Deep Neural Network, DNN)이라고 부르며, 이를 활용한 머신러닝 학습을 특별히 딥러닝이라고 부른다. - tcpschool

🧡 DNN이란?

심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이루어진 인공신경망(Artificial Neural Network, ANN)이다. - 위키백과

Deep Neural Network

💛 DNN 모델 구현

[프로젝트 목표]

• Fashion-Mnist 데이터셋을 활용해 분류기 학습
• Multi layer perceptron, Batch normalization, ReLU를 활용해 네트워크 설계
  Cf. 다층 퍼셉트론(Multi layer perceptron, MLP)은 심층 신경망(DNN)의 하위집합으로 간주할 수 있지만, 문헌에서는 종종 같은 의미로 사용된다. - MLP vs DNN
• tf.data.Dataset을 이용하여 데이터입력 파이프라인(input pipeline) 만들기
• 손실함수(loss function)와 옵티마이져(optimizer) 정의
• 손실(loss)을 측정하고 경사(gradient)를 계산해 모델 파라미터 업데이트
• 학습된 모델의 성능 테스트

[프로젝트 과정]

1. Package load
2. 하이퍼파라미터 세팅
   • 학습에 필요한 하이퍼파라미터 값 초기화
3. Dataset load 및 tf.data.Dataset 구축
   • Fashion-MNIST 데이터셋을 정의해주고, 전체 데이터셋을 미니배치 단위로 뉴럴넷에 공급해주도록 tf.data.Dataset 정의
   • tf.data.Dataset을 이용하여 데이터 입력 파이프라인 설계
4. 데이터 샘플 시각화
5. 모델 (네트워크) 만들기 ⭐️
   • 학습시킬 뉴럴네트워크 설계
   • Multi Layer Perceptron(MLP) 레이어를 2개 쌓아 네트워크 설계
     Cf. MLP : 한 레이어의 모든 뉴런이 다음 레이어의 뉴런과 완전히 연결된 게층(Fully Connected layer 또는 Dense layer)
   • MLP의 레이어를 깊게 쌓을 때에는 반드시 비선형 activation function 필요 → ReLU 사용
     Cf. ReLU는 음수의 입력에 대해서는 0, 양수의 입력에 대해서는 입력값을 그대로 출력하는 함수
   • Sequential 모델을 사용
     Cf. Sequential 모델 : 해당 레이어의 output이 그대로 다음 레이어의 input이 되는 구조의 모델을 만들 때 사용
6. Loss function 및 Optimizer 정의
   • 생성된 모델 학습을 위해 손실함수 정의
   • 뉴럴네트워크는 경사하강(gradient descent) 방법을 이용하여 손실함수의 값을 줄이는 방향으로 파라미터 갱신(update)
   • 효과적인 경사하강 방법 적용을 위해 옵티마이저 함께 사용
7. Training
   • 모델에 데이터를 미니배치 단위로 제공해서 학습
8. Evaluate on test dataset
   • 학습된 모델의 성능 테스트

[소스코드]

• 2021-DeepSleep-DL-Study/Week1-DNN

 

🔧 문제점

• 강의에서 프로젝트 코드를 잘 작성했는지 확인해주는 체크함수가 제공되는데, tensorflow 버전과 잘 맞지 않는다. pytorch로 작성한 코드는 문제 없이 체크함수를 잘 통과했는데, tensorflow 로 작성한 세 명의 코드는 모두 요구한 성능이 나왔음에도 체크함수가 성능이 낮다고 판단하는 문제가 있다.
• 우리가 tensorflow 버전을 낮출지, 다른 해결방안을 찾든지, 그냥 넘어갈지 정해야 한다.

 

📌 다음 주에 할 일

• CNN 개념 + 모델 구현