생성형 AI는 어떻게 답을 만들까?

🔹 생성형 AI란 ?

생성형 AI는 단순한 정보 검색을 넘어서, 새로운 텍스트, 이미지, 음악 등을 생성할 수 있는 인공지능입니다. 최근 ChatGPT, Claude, Gemini와 같은 생성형 AI의 놀라운 능력에 많은 사람들이 감탄하고 있습니다. 이 AI들은 마치 사람처럼 대화하고, 글을 쓰고, 질문에 답변합니다. 그러나 이 AI들이 어떻게 이런 답변을 만들어내는지 그 내부 과정은 잘 알려지지 않았습니다.

이번 포스팅을 통해 생성형 AI가 어떤 원리로 작동하는지, 어떻게 우리의 질문을 이해하고 답변을 생성하는지 함께 살펴보겠습니다.

이 AI들은 사용자의 질문을 이해하고 새로운 답변을 생성하는데, 그 과정은 어떻게 이루어질까요?

🔹 생성형 AI의 핵심 기술

• 딥러닝 (Deep Learning): 신경망을 이용해 학습
• 자연어 처리 (NLP): 언어를 이해하고 생성
• 트랜스포머 (Transformer): 문맥을 파악하는 핵심 모델

ChatGPT 같은 AI는 트랜스포머 모델을 기반으로 학습합니다. 트랜스포머는 문장의 앞뒤 관계를 파악하고, 어떤 단어가 가장 적절한지 예측하는 데 사용됩니다.

핵심 기술로는 "어텐션 (Attention)" 이 있는데, 이는  AI가 문장에서 중요한 단어에 집중하는 기술입니다. 

'나는 아침에 [ ]를 마셨다'라는 문장에서, 트랜스포머는 앞뒤 단어를 분석해서 '커피' 또는 '우유' 같은 단어를 예측할 수 있습니다. 이처럼 AI는 확률적으로 가장 적절한 답변을 생성합니다.

 

🔹 AI가 답을 생성하는 8단계

1. 토큰화(Tokenization) → 문장을 작은 단위(토큰)로 나눔
2. 임베딩(Embedding) → 토큰을 숫자로 변환
3. 어텐션(Attention) → 문맥을 분석하여 중요한 부분을 찾아냄
4. 다층 처리(Multi-layer Processing) → 복잡한 패턴 학습
5. 다음 단어 예측(Next Token Prediction) → 가장 적절한 단어 선택
6. 샘플링(Sampling) → 단어나 문장을 확률적으로 선택
7. 반복 생성(Iterative Generation) → 문장을 하나씩 만들어감
8. 품질 관리(Quality Control) → RLHF(Reinforcement Learning from Human Feedback) 등을 활용해 답변의 질을 높임

 

🔹 생성형 AI의 한계와 해결책

• 환각(Hallucination): 실제 없는 정보를 만들어내는 문제
• 맥락 이해 한계: 긴 문서를 완벽히 이해하기 어려움
• 편향(Bias): 학습 데이터에 따라 편향이 발생 가능

딥시크(DeepSeek) 같은 새로운 모델의 등장과 함께 AI는 더 정확하고 효율적인 방향으로 발전할 것입니다. 또한, 앞으로 생성형 AI는 더 큰 맥락을 이해하고, 더 정확한 정보를 제공하며, 더 다양한 작업을 수행할 수 있도록 발전할 것입니다.

감사합니다.

---

참고자료

https://wikidocs.net/31379

16-01 트랜스포머(Transformer)