📅 7주차 발표 내용 📝 Attention Is All You Need 🙋 수연 논문 링크: https://arxiv.org/pdf/1706.03762.pdf 주제: RNN이나 CNN 없이, Attention만을 사용한 새로운 모델(Transformer) 제시 배경: 기존의 seq2seq 모델은 RNN을 이용하였는데, 순환 모델의 순차적인 특징으로 인해 학습 데이터의 병렬 처리가 불가능했으며 긴 시퀀스를 처리하는데 치명적. 그래서 Attention으로 이를 보정하였으나 여전히 RNN을 사용해야했기에 단점 존재. Attention만 이용하면 어떨까? 내용: recurrence를 사용하지 않고, Attention에 전적으로 의존하여 input과 output 간의 전역 의존성을 나타내는 기법 multi-hea..