Google DSC Sookmyung

5월 1주차 GDSC Sookmyung Weekly AI Trend LLM을 이해하기 위한 ‘Must-Read’ 같이 읽어요 😀 (2) 에디터 | 정시은 지난주에 이어 이번주에는 본격적으로 DeepMind가 작년에 발표한 Formal Algorithms for Transformers에 대해 알아보도록 하겠습니다. Transformer가 어디에 사용되는지, Transformer의 주 아키텍쳐 구성요소들, 토큰화에 대해 다뤄보도록 하겠습니다. 논문을 이해하기 위한 notation 먼저 논문을 쉽게 이해하기 위해 읽어보면 좋을 notation입니다. $[N]:=\{1,2,…,N−1,N\}$ 1~N까지 정수를 포함한 집합 $N_v: V$ vocabulary size $V ~= [N_v]$ vocabulary $..

4월 3주차 GDSC Sookmyung Weekly AI Trend Segment? 나에게 맡기라구! 😋 Meta의 Segment Anything Model 에디터 | 조유림 META에서 ‘Segmentation Anything Model(SAM)’과 ‘Segment Anything 1-Billion mask Dataset(SA-1B)을 공개하였습니다. SAM은 객체에 대한 일반적인 개념을 학습하고, 이미지나 영상의 어떤 객체에 대해서도 마스크를 생성할 수 있습니다. 말 그대로 ‘Segment Anything’, 즉 무엇이든, 어떤것이든 Segment 해준다는 것입니다. 다음은 META 기술 블로그에서 소개한 SAM의 내용입니다. SAM: A generalized approach to segmentati..

챗GPT란? 고도화된 챗봇 기존 챗봇 서비스와의 차이점 인공지능이 기존 웹상에 존재하는 수억 개의 데이터를 분석해 사람이 이해할 수 있는 자연어 형태로 답변 기존 대화 기억, 응답 ⇒ 맥락에 기반한 정교화된 답변 가능 사람의 피드백을 반영하는 강화학습을 적용 기존 챗봇: 답이 정해져 있는 데이터를 입력해 AI를 학습시키는 지도학습이었다. 챗GPT: 이용자들의 실시간 대화 데이터로 시행착오를 거치며 스스로 훈련하는 모델 기능 특정한 텍스트가 주어졌을 때, 이어서 붙을 텍스트가 무엇인지 예측하는 모델 how are you를 입력 받으면 다음 단어인 doing을 예측 최근 챗GPT가 더욱 각광받게 된 이유는? 출시된 지 5일 만에 약 100만 명의 사용자 확보하는 놀라운 속도를 보였다. 100만 명 ⇒ 넷플릭..

📅 5주차 발표 내용 📝 Sequence to sequence learning with neural networks 🙋 혜주 링크: https://arxiv.org/pdf/1409.3215.pdf 주제: 두 개의 LSTM 모델을 활용한 기존 기계 번역의 한계 개선 배경: 기존의 SMT와 RNN 방식으로는 긴 문장 처리와 어순 구조 변화에 대응하기 어렵다는 단점이 존재 내용 Encoder와 Decoder, 즉 2개의 LSTM을 사용하고 이를 다시 4개의 layer로 쌓아 모델 생성 => 파라미터의 수가 늘어나 깊은 학습 가능 입력 문장의 순서를 뒤집었을 때 결과가 더 좋음 발표자료: https://github.com/dsc-sookmyung/2021-DeepSleep-Paper-Review/blob/mai..