ChatGPT를 비롯한 대부분의 생성형 AI를 사용할 때 가장 자주 등장하는 용어 중 하나가 바로 토큰(Token)입니다. 모델 설명을 보면 ‘128K 토큰’, ‘1M 토큰 컨텍스트’, ‘입력 토큰’, ‘출력 토큰’ 같은 표현이 계속 등장합니다. 하지만 실제로 토큰이 무엇이며 어떻게 계산되는지 정확히 이해하는 사람은 생각보다 많지 않습니다.

많은 사용자는 토큰을 단순히 글자 수나 단어 수와 같은 개념으로 생각합니다. 그러나 AI 내부에서는 전혀 다른 방식으로 문장을 분해하고 계산합니다. 같은 문장이라도 언어에 따라 토큰 개수가 달라지고, 띄어쓰기 하나만 바뀌어도 계산 결과가 달라질 수 있습니다.

이번 글에서는 토큰이 만들어지는 과정부터 GPT가 실제로 토큰을 계산하는 원리, 한국어와 영어의 차이, 토큰이 비용과 컨텍스트에 어떤 영향을 주는지까지 순서대로 알아보겠습니다.

1. 토큰(Token)이란 무엇일까?

토큰은 AI가 문장을 이해하기 위해 사용하는 가장 작은 처리 단위입니다. 사람은 문장을 글자나 단어 단위로 읽지만, GPT는 먼저 입력된 문장을 토큰으로 분해한 뒤 그 토큰들의 관계를 분석합니다.

중요한 점은 토큰이 반드시 한 글자나 한 단어를 의미하지 않는다는 것입니다. 어떤 토큰은 글자 하나일 수도 있고, 단어 전체일 수도 있으며, 자주 등장하는 단어의 일부만 하나의 토큰이 되기도 합니다.

예를 들어 영어에서 information이라는 단어는 하나의 단어지만 AI 내부에서는 여러 개의 토큰으로 나뉠 수 있습니다. 반대로 매우 자주 사용되는 짧은 단어는 하나의 토큰으로 저장되기도 합니다.

2. GPT는 왜 토큰 단위를 사용할까?

AI가 글자를 그대로 처리하지 않는 이유는 계산 효율 때문입니다. 모든 문자를 하나씩 분석하면 처리해야 할 데이터가 너무 많아지고 학습 효율도 크게 떨어집니다. 그래서 GPT는 자주 등장하는 문자열을 하나의 토큰으로 묶어 사용하는 방식을 선택합니다.

예를 들어 영어에서는 “ing”, “tion”, “pre”, “ing “처럼 자주 등장하는 조합이 하나의 토큰이 될 수 있습니다. 이렇게 하면 모델은 긴 문장을 훨씬 적은 단위로 이해할 수 있고, 학습 과정에서도 반복되는 패턴을 효율적으로 기억할 수 있습니다.

한국어 역시 마찬가지입니다. 조사와 어미, 자주 사용하는 단어 조합 등이 토큰화 과정에서 하나 또는 여러 개의 토큰으로 분리됩니다. 따라서 단순히 글자 수만으로 토큰 개수를 예상하기는 어렵습니다.

3. 토큰은 실제로 어떻게 계산될까?

토큰 계산은 ‘토크나이저(Tokenizer)’라는 프로그램에서 시작됩니다. 사용자가 문장을 입력하면 GPT가 바로 읽는 것이 아니라 먼저 토크나이저가 문장을 가장 효율적인 토큰들의 집합으로 분해합니다.

이 과정에서 자주 등장하는 문자열은 하나의 토큰으로 유지되고, 드물거나 처음 보는 단어는 여러 개의 작은 조각으로 나누어집니다. 이러한 방식 덕분에 AI는 새로운 단어를 처음 보더라도 이미 알고 있는 작은 조각들을 조합해 의미를 추론할 수 있습니다.

예를 들어 새로운 서비스 이름이나 신조어가 등장해도 GPT가 어느 정도 이해할 수 있는 이유가 바로 여기에 있습니다. 단어 전체를 모른다고 해서 아무것도 이해하지 못하는 것이 아니라, 이미 학습한 토큰들을 조합해 의미를 예측하는 것입니다.

4. 한국어와 영어는 왜 토큰 개수가 다를까?

많은 사용자가 “같은 길이의 문장인데 왜 토큰 수는 다르게 나오나요?”라는 의문을 가집니다. 그 이유는 토크나이저가 글자 수가 아니라 학습된 문자열 패턴을 기준으로 문장을 분해하기 때문입니다.

영어는 띄어쓰기와 단어 경계가 비교적 명확합니다. 또한 GPT는 방대한 영어 데이터를 학습했기 때문에 자주 사용하는 단어와 접미사, 접두사를 하나의 토큰으로 저장하고 있는 경우가 많습니다. 반면 한국어는 조사와 어미가 붙는 교착어이기 때문에 같은 의미라도 다양한 형태가 만들어집니다.

예를 들어 ‘읽다’, ‘읽는다’, ‘읽었습니다’, ‘읽어보겠습니다’는 사람에게는 같은 동사의 활용이지만 AI 입장에서는 서로 다른 문자열입니다. 따라서 하나의 단어가 여러 개의 토큰으로 나누어질 가능성이 영어보다 높습니다.

5. BPE(Byte Pair Encoding)는 어떤 역할을 할까?

GPT 계열 모델은 대표적으로 BPE(Byte Pair Encoding) 기반 토큰화를 사용합니다. 이름은 어렵지만 원리는 생각보다 단순합니다. 가장 자주 함께 등장하는 문자 조합을 반복적으로 하나의 단위로 묶는 방식입니다.

처음에는 모든 문자가 각각 분리되어 있다고 가정합니다. 이후 학습 데이터에서 자주 등장하는 문자 조합을 계속 합쳐 나가면서 새로운 토큰을 만들어갑니다. 예를 들어 ‘Chat’과 ‘GPT’처럼 자주 등장하는 문자열은 하나의 토큰 또는 적은 수의 토큰으로 처리될 가능성이 높아집니다.

이 방식의 장점은 처음 보는 단어도 처리할 수 있다는 점입니다. 완전히 새로운 단어라도 이미 알고 있는 작은 조각들로 분해하여 의미를 어느 정도 추론할 수 있기 때문입니다.

6. 토큰 수는 비용과 어떤 관계가 있을까?

OpenAI를 비롯한 대부분의 생성형 AI 서비스는 입력과 출력을 모두 토큰 단위로 계산합니다. 즉 사용자가 입력한 프롬프트도 토큰이고, AI가 생성한 답변도 토큰입니다.

API를 사용할 경우 과금 역시 토큰을 기준으로 이루어집니다. 긴 프롬프트를 입력하면 입력 토큰이 증가하고, 긴 답변을 생성하면 출력 토큰도 증가합니다. 결국 같은 질문이라도 불필요하게 긴 설명을 포함하면 비용과 처리 시간이 모두 늘어날 수 있습니다.

ChatGPT를 일반적으로 사용할 때 직접 토큰을 계산할 필요는 없지만, API를 사용하는 개발자나 긴 문서를 다루는 사용자라면 토큰 수를 이해하는 것이 매우 중요합니다.

7. 토큰과 컨텍스트는 어떤 관계가 있을까?

토큰은 단순히 비용만 결정하는 요소가 아닙니다. GPT가 기억할 수 있는 범위인 컨텍스트 윈도우 역시 토큰 단위로 계산됩니다.

예를 들어 모델이 128K 컨텍스트를 지원한다면 최대 약 128,000개의 토큰을 입력과 출력 전체에서 사용할 수 있다는 의미입니다. 이전 대화가 길어질수록 새로운 질문에 사용할 수 있는 토큰 공간은 점점 줄어들게 됩니다.

그래서 긴 대화에서는 오래된 내용이 요약되거나 일부 정보가 제외되는 현상이 발생할 수 있습니다. 이것은 AI가 기억을 잃는 것이 아니라 사용할 수 있는 토큰 공간이 한정되어 있기 때문입니다.

8. 실제 토큰은 어떤 기준으로 달라질까?

토큰 수는 단순히 문장의 글자 수만으로 결정되지 않습니다. 같은 길이의 문장이라도 어떤 언어를 사용했는지, 띄어쓰기가 어떻게 되어 있는지, 숫자와 기호가 얼마나 포함되어 있는지에 따라 토큰 수가 달라질 수 있습니다.

예를 들어 짧고 자주 사용되는 영어 단어는 단어 전체가 하나의 토큰으로 처리될 수 있습니다. 반면 드문 고유명사나 긴 합성어는 토크나이저가 알고 있는 여러 문자열 조각으로 나뉠 수 있습니다. 한국어도 자주 등장하는 표현은 비교적 적은 토큰으로 처리될 수 있지만, 조사와 어미가 복잡하게 붙거나 생소한 전문 용어가 포함되면 더 많은 토큰으로 분리될 수 있습니다.

같은 문장이라도 사용하는 모델과 토크나이저가 다르면 결과가 완전히 같지 않을 수 있습니다. 모델마다 사용하는 토큰 사전과 인코딩 방식이 다를 수 있기 때문입니다. 특정 문장이 정확히 몇 토큰인지 확인하려면 사용하려는 모델에 대응하는 토크나이저를 이용해야 합니다.

9. 실제 토큰 계산 예시

토큰 계산을 이해할 때 가장 주의해야 할 점은 특정 예시의 숫자를 모든 모델에 공통으로 적용해서는 안 된다는 것입니다. 토큰 수는 모델과 인코딩 방식에 따라 달라질 수 있으므로 아래 표는 정확한 고정값보다 입력 유형에 따른 분리 특징을 보여주는 예시입니다.

특히 URL이나 코드, 긴 숫자열은 사람이 보기에는 짧아 보여도 예상보다 많은 토큰으로 분리될 수 있습니다. 반대로 학습 데이터에서 자주 등장한 문구는 비교적 긴 문자열이라도 적은 수의 토큰으로 표현될 수 있습니다.

따라서 토큰 수를 눈대중으로 계산할 때 “한글 한 글자는 한 토큰”, “영어 한 단어는 한 토큰”처럼 고정된 비율을 적용하면 안 됩니다. 대략적인 예상은 가능하지만 정확한 계산은 실제 토크나이저 결과를 기준으로 해야 합니다.

10. 토큰을 절약하는 실전 방법

토큰을 절약한다는 것은 무조건 프롬프트를 짧게 쓰는 것을 의미하지 않습니다. 지나치게 짧고 모호한 요청은 AI가 사용자의 의도를 제대로 이해하지 못하게 만들 수 있습니다. 답변을 다시 요청하거나 여러 차례 수정하면 처음부터 명확하게 작성했을 때보다 오히려 더 많은 토큰을 사용하게 됩니다.

가장 효율적인 방법은 필요한 조건을 분명하게 전달하면서 중복되는 배경 설명과 불필요한 예시를 줄이는 것입니다. 프롬프트가 다소 길더라도 모든 문장이 결과에 필요한 정보라면 토큰 낭비라고 볼 수 없습니다.

예를 들어 “이 글을 전문적으로, 정확하게, 신뢰감 있게, 전문가처럼, 자세하고 깊게 작성해줘”라는 요청은 비슷한 의미가 반복되어 있습니다. 이를 “공식 자료를 기반으로 기술 원리, 주의사항, 실제 예시를 포함해 작성해줘”처럼 바꾸면 더 구체적이면서도 중복이 적은 지시문이 됩니다.

반대로 “토큰 설명해줘”처럼 너무 짧게 요청하면 원하는 난이도와 대상 독자, 출력 형식이 빠져 있어 결과가 기대와 다를 수 있습니다. 좋은 프롬프트는 가장 짧은 문장이 아니라, 수정 없이 원하는 결과를 받을 가능성이 높은 명확한 문장입니다.

11. 토큰 계산에서 자주 하는 실수

토큰을 이해할 때 가장 흔한 실수는 글자 수와 토큰 수를 동일하게 보는 것입니다. 특히 한국어에서는 한 글자가 하나의 토큰이라는 단순 계산이 잘 맞지 않습니다. 같은 단어라도 앞뒤의 공백과 문장 내 위치, 사용되는 인코딩에 따라 다른 방식으로 분리될 수 있습니다.

두 번째 실수는 사용자가 입력한 질문만 입력 토큰으로 계산하는 것입니다. 실제 API 요청에서는 시스템 지시문, 이전 대화, 도구 호출 정보, 구조화된 데이터가 함께 모델에 전달될 수 있습니다. 화면에서 보이는 질문은 짧더라도 전체 입력 토큰은 더 클 수 있습니다.

세 번째는 컨텍스트 한도를 전부 출력에 사용할 수 있다고 생각하는 것입니다. 모델의 컨텍스트 윈도우에는 입력과 출력이 함께 들어갑니다. 이미 긴 문서를 입력했다면 답변 생성에 사용할 수 있는 공간은 그만큼 줄어듭니다.

12. 자주 묻는 질문

📚 함께 보면 좋은 글

토큰의 개념을 이해했다면 GPT가 다음 토큰을 예측하는 과정과 컨텍스트가 관리되는 방식도 함께 읽어보세요. 또한 PDF나 표처럼 구조화된 데이터가 토큰으로 변환되는 과정을 이해하면 생성형 AI가 정보를 처리하는 전체 흐름을 더 쉽게 파악할 수 있습니다.

🔗 공식 자료

토큰 개수는 사용하는 모델과 인코딩 방식에 따라 달라질 수 있습니다. 정확한 토큰 수를 확인하거나 API 사용량을 계산해야 한다면 아래 공식 자료를 참고하는 것이 가장 정확합니다.

📖 출처

• OpenAI Platform Documentation
• OpenAI Help Center – What are tokens and how to count them?
• OpenAI Tokenizer
• OpenAI Cookbook – How to count tokens with tiktoken
• OpenAI GitHub – tiktoken