많은 사람들이 GPT를 사용할 때 “AI가 답을 알고 있어서 그대로 말해준다”라고 생각합니다. 하지만 실제 내부 동작은 조금 다릅니다. GPT는 정답을 데이터베이스에서 꺼내오는 방식이 아니라, 지금까지 입력된 문맥을 바탕으로 다음에 가장 올 가능성이 높은 토큰(Token)을 계산하는 과정을 수십 번에서 수천 번 반복하면서 문장을 만들어 갑니다.

예를 들어 “대한민국의 수도는”이라는 문장을 입력하면 GPT는 수만 개 이상의 후보 토큰 가운데 “서울”이 가장 높은 확률을 가진다고 계산합니다. 그다음에는 “입니다”, “.”, “이며” 등 다음 후보를 다시 계산합니다. 이 과정을 매우 빠르게 반복하기 때문에 사람은 하나의 문장을 한 번에 생성한 것처럼 느끼게 됩니다.

이번 글에서는 GPT가 다음 단어를 어떻게 예측하는지, Transformer와 Attention은 어떤 역할을 하는지, 왜 가끔 틀린 답을 만드는지까지 원리 중심으로 자세히 살펴보겠습니다.

1. GPT는 ‘단어’가 아니라 ‘다음 토큰’을 예측한다

가장 먼저 이해해야 하는 사실은 GPT가 사람처럼 단어를 이해하는 것이 아니라는 점입니다. GPT 내부에서는 문장이 토큰(Token)이라는 작은 단위로 분해됩니다. 토큰은 단어 하나일 수도 있고, 단어의 일부일 수도 있으며, 숫자나 특수문자 하나가 토큰이 되는 경우도 있습니다.

예를 들어 “Artificial Intelligence”라는 문장은 여러 개의 토큰으로 나뉠 수 있고, 한국어 역시 조사나 어미가 별도의 토큰으로 분리되는 경우가 많습니다. 즉 GPT는 “문장 전체”를 처리하는 것이 아니라 “토큰의 연속”을 처리하는 모델입니다.

모델이 학습하는 목표도 매우 단순합니다. 바로 현재까지 입력된 토큰을 보고 다음 토큰이 무엇일지를 맞히는 것입니다. 이것을 Next Token Prediction(다음 토큰 예측)이라고 부릅니다.

2. 다음 단어의 확률은 어떻게 계산할까?

예를 들어 사용자가 “오늘 날씨가”라고 입력했다고 가정해 보겠습니다. GPT는 이어질 수 있는 모든 토큰 후보를 동시에 계산합니다.

후보는 “좋다”, “맑다”, “춥다”, “비가”, “어때”, “.”처럼 매우 다양하며 실제로는 수만 개 이상의 토큰이 대상이 됩니다. 모델은 각각의 후보에 대해 확률을 계산한 뒤 가장 적절한 후보를 선택합니다.

물론 실제 모델은 이런 단순한 숫자가 아니라 수만 개 토큰에 대한 확률 분포를 동시에 계산합니다. GPU에서 매우 큰 행렬 연산이 이루어지기 때문에 이러한 계산이 몇 초 안에 끝날 수 있습니다.

3. Transformer가 중요한 이유

GPT의 핵심 구조는 Transformer입니다. 이전 세대의 RNN이나 LSTM은 문장을 순서대로 읽어야 했지만 Transformer는 입력 전체를 동시에 분석할 수 있습니다. 이 덕분에 훨씬 긴 문맥을 빠르게 처리할 수 있게 되었습니다.

Transformer 안에서 가장 중요한 요소는 Self-Attention입니다. Self-Attention은 현재 토큰을 예측할 때 앞에 있는 어떤 단어가 중요한지를 계산합니다.

예를 들어 “철수는 학교에 갔지만 우산을 가져오지 않았다. 그래서 그는…”이라는 문장이 있다면 “그는”이 누구를 의미하는지 판단하기 위해 앞부분의 “철수”에 높은 Attention을 부여하게 됩니다.

4. Attention은 무엇을 하는 기능일까?

Attention은 “중요도를 계산하는 장치”라고 이해하면 쉽습니다. 모든 이전 토큰을 동일하게 보는 것이 아니라 현재 예측에 도움이 되는 부분에 더 높은 가중치를 줍니다.

이러한 구조 덕분에 GPT는 수천 개 토큰이 이어지는 긴 대화에서도 앞에서 언급한 개념을 어느 정도 유지하며 답변할 수 있습니다. 물론 컨텍스트 길이를 초과하면 오래된 내용부터 처리 대상에서 제외됩니다.

5. Temperature와 Top-p는 왜 필요한가?

GPT는 항상 가장 높은 확률의 토큰만 선택하는 것은 아닙니다. 만약 항상 1등 후보만 선택한다면 답변이 지나치게 반복되고 창의성이 크게 떨어질 수 있습니다. 그래서 실제 생성 과정에서는 여러 샘플링(Sampling) 기법이 사용됩니다.

대표적인 것이 Temperature입니다. Temperature 값이 낮으면 가장 높은 확률의 토큰을 거의 그대로 선택하게 되어 답변이 일관되고 안정적입니다. 반대로 Temperature를 높이면 확률이 조금 낮은 후보도 선택될 가능성이 커져 다양한 표현과 창의적인 답변이 만들어질 수 있습니다.

Top-p(Nucleus Sampling)는 누적 확률이 일정 수준이 되는 후보만 남긴 뒤 그 안에서 토큰을 선택하는 방식입니다. 예를 들어 누적 확률 90% 안에 포함되는 후보만 대상으로 삼아 너무 가능성이 낮은 단어는 제외합니다.

6. 문장은 어떻게 계속 이어질까?

GPT는 토큰 하나를 생성했다고 해서 작업이 끝나는 것이 아닙니다. 생성된 토큰을 다시 입력의 일부로 추가한 뒤 다음 토큰을 다시 예측합니다.

예를 들어 “오늘은” → “날씨가” → “맑습니다” → “.” 순으로 하나씩 생성되며, 새로 생성된 토큰도 다음 계산에 포함됩니다. 결국 GPT는 매번 같은 작업을 반복하면서 긴 문장을 완성하게 됩니다.

7. GPT는 왜 틀린 답을 만들까?

GPT는 확률적으로 가장 자연스러운 토큰을 선택하는 모델입니다. 따라서 항상 사실을 확인하는 시스템은 아닙니다.

학습 데이터에 충분한 정보가 없거나 문맥이 모호하면 가장 그럴듯한 문장을 이어 붙이게 됩니다. 이것이 흔히 말하는 Hallucination(환각) 현상입니다.

즉 GPT는 거짓말을 하려는 것이 아니라 현재 문맥에서 가장 가능성이 높은 답을 생성하는 과정에서 실제 사실과 다른 내용을 출력할 수도 있습니다.

8. 검색 엔진과 GPT의 차이

9. 자주 묻는 질문(FAQ)

📚 함께 보면 좋은 글

GPT의 동작 원리를 더 깊게 이해하려면 아래 주제도 함께 읽어보세요. 토큰 처리부터 컨텍스트 관리, 문서와 표를 이해하는 방식까지 AI 내부 동작을 이어서 살펴볼 수 있습니다.

🔗 공식 자료

📖 출처

• OpenAI Documentation
• OpenAI Research
• Attention Is All You Need (Vaswani et al., 2017)
• Hugging Face Transformers Documentation
• Google Machine Learning Crash Course