Google DSC Sookmyung

📅 5주차 발표 내용 📝 Sequence to sequence learning with neural networks 🙋 혜주 링크: https://arxiv.org/pdf/1409.3215.pdf 주제: 두 개의 LSTM 모델을 활용한 기존 기계 번역의 한계 개선 배경: 기존의 SMT와 RNN 방식으로는 긴 문장 처리와 어순 구조 변화에 대응하기 어렵다는 단점이 존재 내용 Encoder와 Decoder, 즉 2개의 LSTM을 사용하고 이를 다시 4개의 layer로 쌓아 모델 생성 => 파라미터의 수가 늘어나 깊은 학습 가능 입력 문장의 순서를 뒤집었을 때 결과가 더 좋음 발표자료: https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/mai..

📚 3주차 발표 내용 💡 하람 주제 : Layer Normalization 링크 : https://arxiv.org/pdf/1607.06450.pdf 배경 Batch Normalization을 이용하면 feed-forward neural network 에서 학습시간을 줄일 수 있다. 하지만, Batch Normalization의 효과는 batch size 에 따라 달라지고, Batch Normalization을 RNN에 적용하는 방법이 명확하지 않다. 내용 BN은 "각 feature의 평균과 분산"을 구해서 batch에 있는 "각 feature를 정규화" 한다. 반면 LN은 "각 input의 feature들에 대한 평균과 분산"을 구해서 batch에 있는 "각 input을 정규화" 한다. 효과 Batch..

팀명 : open minder 팀원 : 신민혜, 이주연, 전혜주 팀장 : 이하람 팀 회의 시간 : 매주 (월), 목요일 저녁 8시, 회의 시간은 꼭 지킬 것, 불참시 최소 하루 전 공지 그라운드 룰 호칭 : 언니 X, only 이름 OK 블로그 쓰는 순서 : 이주연 -> 신민혜 -> 이하람 -> 전혜주 깃허브 / 블로그 마감 기한 : 월요일 회의 전까지 인증샷 담당 : 그 주 블로그 순서 구글 드라이브에 회의 내용 기록 목표 웹/앱처럼 서비스 형태의 프로젝트를 진행하고, 심화적으로 오픈소스 스터디를 진행한다. 딥러닝 스터디 : fastai 백엔드 스터디 : 스프링부트 일정 1월 : 프로젝트를 위한 스터디 - 2주차 : 딥러닝(1.11 명확히 정할 예정) 기법에 대한 공부(유튭강의) - 3주차 : fast..