GPT는 어떻게 다음 단어를 예측할까?
Transformer와 확률 계산으로 이해하는 GPT의 문장 생성 원리
- GPT는 문장을 통째로 외워서 출력하는 것이 아니라 다음 토큰의 확률을 계산합니다.
- Transformer 구조와 Attention 메커니즘을 이용해 이전 문맥을 분석합니다.
- 한 번에 한 단어가 아니라 수만 개 후보의 확률을 동시에 계산합니다.
- Temperature, Top-p 같은 샘플링 방식이 최종 출력에 영향을 줍니다.
- 예측을 반복하면서 긴 문장을 자연스럽게 이어갑니다.
많은 사람들이 GPT를 사용할 때 “AI가 답을 알고 있어서 그대로 말해준다”라고 생각합니다. 하지만 실제 내부 동작은 조금 다릅니다. GPT는 정답을 데이터베이스에서 꺼내오는 방식이 아니라, 지금까지 입력된 문맥을 바탕으로 다음에 가장 올 가능성이 높은 토큰(Token)을 계산하는 과정을 수십 번에서 수천 번 반복하면서 문장을 만들어 갑니다.
예를 들어 “대한민국의 수도는”이라는 문장을 입력하면 GPT는 수만 개 이상의 후보 토큰 가운데 “서울”이 가장 높은 확률을 가진다고 계산합니다. 그다음에는 “입니다”, “.”, “이며” 등 다음 후보를 다시 계산합니다. 이 과정을 매우 빠르게 반복하기 때문에 사람은 하나의 문장을 한 번에 생성한 것처럼 느끼게 됩니다.
이번 글에서는 GPT가 다음 단어를 어떻게 예측하는지, Transformer와 Attention은 어떤 역할을 하는지, 왜 가끔 틀린 답을 만드는지까지 원리 중심으로 자세히 살펴보겠습니다.
1. GPT는 ‘단어’가 아니라 ‘다음 토큰’을 예측한다
가장 먼저 이해해야 하는 사실은 GPT가 사람처럼 단어를 이해하는 것이 아니라는 점입니다. GPT 내부에서는 문장이 토큰(Token)이라는 작은 단위로 분해됩니다. 토큰은 단어 하나일 수도 있고, 단어의 일부일 수도 있으며, 숫자나 특수문자 하나가 토큰이 되는 경우도 있습니다.
예를 들어 “Artificial Intelligence”라는 문장은 여러 개의 토큰으로 나뉠 수 있고, 한국어 역시 조사나 어미가 별도의 토큰으로 분리되는 경우가 많습니다. 즉 GPT는 “문장 전체”를 처리하는 것이 아니라 “토큰의 연속”을 처리하는 모델입니다.
모델이 학습하는 목표도 매우 단순합니다. 바로 현재까지 입력된 토큰을 보고 다음 토큰이 무엇일지를 맞히는 것입니다. 이것을 Next Token Prediction(다음 토큰 예측)이라고 부릅니다.
GPT는 “문장의 의미를 먼저 이해한 뒤 답을 만든다”기보다, 이전 토큰을 바탕으로 가장 자연스러운 다음 토큰을 반복적으로 선택하면서 결과적으로 의미 있는 문장을 만들어 냅니다.
2. 다음 단어의 확률은 어떻게 계산할까?
예를 들어 사용자가 “오늘 날씨가”라고 입력했다고 가정해 보겠습니다. GPT는 이어질 수 있는 모든 토큰 후보를 동시에 계산합니다.
후보는 “좋다”, “맑다”, “춥다”, “비가”, “어때”, “.”처럼 매우 다양하며 실제로는 수만 개 이상의 토큰이 대상이 됩니다. 모델은 각각의 후보에 대해 확률을 계산한 뒤 가장 적절한 후보를 선택합니다.
물론 실제 모델은 이런 단순한 숫자가 아니라 수만 개 토큰에 대한 확률 분포를 동시에 계산합니다. GPU에서 매우 큰 행렬 연산이 이루어지기 때문에 이러한 계산이 몇 초 안에 끝날 수 있습니다.
3. Transformer가 중요한 이유
GPT의 핵심 구조는 Transformer입니다. 이전 세대의 RNN이나 LSTM은 문장을 순서대로 읽어야 했지만 Transformer는 입력 전체를 동시에 분석할 수 있습니다. 이 덕분에 훨씬 긴 문맥을 빠르게 처리할 수 있게 되었습니다.
Transformer 안에서 가장 중요한 요소는 Self-Attention입니다. Self-Attention은 현재 토큰을 예측할 때 앞에 있는 어떤 단어가 중요한지를 계산합니다.
예를 들어 “철수는 학교에 갔지만 우산을 가져오지 않았다. 그래서 그는…”이라는 문장이 있다면 “그는”이 누구를 의미하는지 판단하기 위해 앞부분의 “철수”에 높은 Attention을 부여하게 됩니다.
4. Attention은 무엇을 하는 기능일까?
Attention은 “중요도를 계산하는 장치”라고 이해하면 쉽습니다. 모든 이전 토큰을 동일하게 보는 것이 아니라 현재 예측에 도움이 되는 부분에 더 높은 가중치를 줍니다.
이러한 구조 덕분에 GPT는 수천 개 토큰이 이어지는 긴 대화에서도 앞에서 언급한 개념을 어느 정도 유지하며 답변할 수 있습니다. 물론 컨텍스트 길이를 초과하면 오래된 내용부터 처리 대상에서 제외됩니다.
Attention은 “기억장치”가 아닙니다. 현재 입력 안에서 어떤 정보가 중요한지를 계산하는 메커니즘이며, 장기 기억과는 다른 개념입니다.
GPT는 문장을 통째로 만드는 것이 아니라 다음 토큰을 하나씩 예측하면서 문장을 생성합니다. 이를 위해 Transformer와 Self-Attention이 이전 문맥의 중요도를 계산하고, 수만 개 후보 토큰의 확률을 비교하여 가장 적절한 출력을 선택합니다. 다음에서는 Temperature와 Top-p, 왜 GPT가 틀린 답을 만드는지, 실제 생성 과정과 FAQ를 이어서 살펴보겠습니다.
5. Temperature와 Top-p는 왜 필요한가?
GPT는 항상 가장 높은 확률의 토큰만 선택하는 것은 아닙니다. 만약 항상 1등 후보만 선택한다면 답변이 지나치게 반복되고 창의성이 크게 떨어질 수 있습니다. 그래서 실제 생성 과정에서는 여러 샘플링(Sampling) 기법이 사용됩니다.
대표적인 것이 Temperature입니다. Temperature 값이 낮으면 가장 높은 확률의 토큰을 거의 그대로 선택하게 되어 답변이 일관되고 안정적입니다. 반대로 Temperature를 높이면 확률이 조금 낮은 후보도 선택될 가능성이 커져 다양한 표현과 창의적인 답변이 만들어질 수 있습니다.
Top-p(Nucleus Sampling)는 누적 확률이 일정 수준이 되는 후보만 남긴 뒤 그 안에서 토큰을 선택하는 방식입니다. 예를 들어 누적 확률 90% 안에 포함되는 후보만 대상으로 삼아 너무 가능성이 낮은 단어는 제외합니다.
같은 질문을 GPT에게 여러 번 했는데 답변이 조금씩 다른 이유도 바로 이러한 샘플링 과정 때문입니다.
6. 문장은 어떻게 계속 이어질까?
GPT는 토큰 하나를 생성했다고 해서 작업이 끝나는 것이 아닙니다. 생성된 토큰을 다시 입력의 일부로 추가한 뒤 다음 토큰을 다시 예측합니다.
예를 들어 “오늘은” → “날씨가” → “맑습니다” → “.” 순으로 하나씩 생성되며, 새로 생성된 토큰도 다음 계산에 포함됩니다. 결국 GPT는 매번 같은 작업을 반복하면서 긴 문장을 완성하게 됩니다.
- 입력 토큰 분석
- Attention으로 문맥 계산
- 다음 토큰 확률 계산
- 가장 적절한 후보 선택
- 선택된 토큰을 다시 입력에 추가
- 반복하여 문장 완성
7. GPT는 왜 틀린 답을 만들까?
GPT는 확률적으로 가장 자연스러운 토큰을 선택하는 모델입니다. 따라서 항상 사실을 확인하는 시스템은 아닙니다.
학습 데이터에 충분한 정보가 없거나 문맥이 모호하면 가장 그럴듯한 문장을 이어 붙이게 됩니다. 이것이 흔히 말하는 Hallucination(환각) 현상입니다.
즉 GPT는 거짓말을 하려는 것이 아니라 현재 문맥에서 가장 가능성이 높은 답을 생성하는 과정에서 실제 사실과 다른 내용을 출력할 수도 있습니다.
GPT의 답변이 자연스럽다고 해서 반드시 사실이라는 의미는 아닙니다. 특히 법률, 의료, 금융처럼 정확성이 중요한 분야에서는 공식 자료와 함께 확인하는 것이 좋습니다.
8. 검색 엔진과 GPT의 차이
9. 자주 묻는 질문(FAQ)
아닙니다. 학습한 패턴을 이용해 다음 토큰의 확률을 계산하여 문장을 생성합니다.
Temperature와 Top-p 같은 샘플링 방식 때문에 확률이 비슷한 후보가 선택될 수 있기 때문입니다.
기본 언어 모델은 검색 없이 토큰을 예측합니다. 다만 일부 서비스는 검색 기능을 함께 사용합니다.
긴 문맥을 동시에 분석하고 중요한 단어를 선택적으로 참고할 수 있기 때문에 자연스러운 문장 생성이 가능합니다.
사실을 검색하는 것이 아니라 가장 가능성이 높은 토큰을 예측하는 모델이기 때문에 문맥에 따라 잘못된 내용을 생성할 수도 있습니다.
📚 함께 보면 좋은 글
GPT의 동작 원리를 더 깊게 이해하려면 아래 주제도 함께 읽어보세요. 토큰 처리부터 컨텍스트 관리, 문서와 표를 이해하는 방식까지 AI 내부 동작을 이어서 살펴볼 수 있습니다.
🔗 공식 자료
📖 출처
- OpenAI Documentation
- OpenAI Research
- Attention Is All You Need (Vaswani et al., 2017)
- Hugging Face Transformers Documentation
- Google Machine Learning Crash Course
GPT는 답을 저장해 두었다가 꺼내오는 AI가 아니라, 지금까지의 문맥을 바탕으로 다음 토큰의 확률을 계산하는 과정을 매우 빠르게 반복하면서 자연스러운 문장을 생성하는 확률 기반 언어 모델입니다.
