Google DSC Sookmyung

5월 1주차 GDSC Sookmyung Weekly AI Trend LLM을 이해하기 위한 ‘Must-Read’ 같이 읽어요 😀 (2) 에디터 | 정시은 지난주에 이어 이번주에는 본격적으로 DeepMind가 작년에 발표한 Formal Algorithms for Transformers에 대해 알아보도록 하겠습니다. Transformer가 어디에 사용되는지, Transformer의 주 아키텍쳐 구성요소들, 토큰화에 대해 다뤄보도록 하겠습니다. 논문을 이해하기 위한 notation 먼저 논문을 쉽게 이해하기 위해 읽어보면 좋을 notation입니다. $[N]:=\{1,2,…,N−1,N\}$ 1~N까지 정수를 포함한 집합 $N_v: V$ vocabulary size $V ~= [N_v]$ vocabulary $..

4월 4주차 GDSC Sookmyung Weekly AI Trend Generation Model 어디까지 활용될 수 있을까? :: Generation Model 정의 및 ai-workout-assistant 모델 소개 에디터 | 손수경 Generation Model이란 무엇을 생성한다는 것일까? 주어진 학습 데이터를 학습하고 학습 데이터의 분포를 따르는 유사 데이터를 생성하는 모델이다. 즉, 주어진 training data와 같은 distribution을 가진 새로운 sample을 만들어내는 모델이다. 위 그림과 같이 생성 모델은 실제 세계의 데이터로부터 비슷한 Fake Data를 생성할 수 있다. 또한, Time series data 등은 생성 모델에서 시뮬레이션이나 Planning에 사용 가능하다...