토큰은 실제로 어떻게 계산될까?
글자 수가 아니라 AI가 이해하는 최소 단위, 토큰의 계산 원리를 쉽게 이해해봅니다.
- GPT는 글자를 그대로 세지 않고 토큰(Token) 단위로 입력과 출력을 처리합니다.
- 토큰 하나는 글자 하나와 같지 않으며, 언어와 단어 구조에 따라 길이가 달라집니다.
- 영어는 단어 조각 단위로, 한국어는 형태에 따라 여러 개의 토큰으로 분리될 수 있습니다.
- 대화의 길이, 비용, 컨텍스트 한계는 대부분 토큰 수를 기준으로 계산됩니다.
- 토큰 계산 방식을 이해하면 AI를 더욱 효율적으로 사용할 수 있습니다.
ChatGPT를 비롯한 대부분의 생성형 AI를 사용할 때 가장 자주 등장하는 용어 중 하나가 바로 토큰(Token)입니다. 모델 설명을 보면 ‘128K 토큰’, ‘1M 토큰 컨텍스트’, ‘입력 토큰’, ‘출력 토큰’ 같은 표현이 계속 등장합니다. 하지만 실제로 토큰이 무엇이며 어떻게 계산되는지 정확히 이해하는 사람은 생각보다 많지 않습니다.
많은 사용자는 토큰을 단순히 글자 수나 단어 수와 같은 개념으로 생각합니다. 그러나 AI 내부에서는 전혀 다른 방식으로 문장을 분해하고 계산합니다. 같은 문장이라도 언어에 따라 토큰 개수가 달라지고, 띄어쓰기 하나만 바뀌어도 계산 결과가 달라질 수 있습니다.
이번 글에서는 토큰이 만들어지는 과정부터 GPT가 실제로 토큰을 계산하는 원리, 한국어와 영어의 차이, 토큰이 비용과 컨텍스트에 어떤 영향을 주는지까지 순서대로 알아보겠습니다.
1. 토큰(Token)이란 무엇일까?
토큰은 AI가 문장을 이해하기 위해 사용하는 가장 작은 처리 단위입니다. 사람은 문장을 글자나 단어 단위로 읽지만, GPT는 먼저 입력된 문장을 토큰으로 분해한 뒤 그 토큰들의 관계를 분석합니다.
중요한 점은 토큰이 반드시 한 글자나 한 단어를 의미하지 않는다는 것입니다. 어떤 토큰은 글자 하나일 수도 있고, 단어 전체일 수도 있으며, 자주 등장하는 단어의 일부만 하나의 토큰이 되기도 합니다.
예를 들어 영어에서 information이라는 단어는 하나의 단어지만 AI 내부에서는 여러 개의 토큰으로 나뉠 수 있습니다. 반대로 매우 자주 사용되는 짧은 단어는 하나의 토큰으로 저장되기도 합니다.
사람에게는 “문장 → 단어 → 글자”가 자연스러운 구조이지만, GPT에게는 “문장 → 토큰 → 숫자”의 구조가 더 중요합니다. 결국 AI는 글자를 직접 읽는 것이 아니라 숫자로 변환된 토큰을 계산하고 있는 셈입니다.
2. GPT는 왜 토큰 단위를 사용할까?
AI가 글자를 그대로 처리하지 않는 이유는 계산 효율 때문입니다. 모든 문자를 하나씩 분석하면 처리해야 할 데이터가 너무 많아지고 학습 효율도 크게 떨어집니다. 그래서 GPT는 자주 등장하는 문자열을 하나의 토큰으로 묶어 사용하는 방식을 선택합니다.
예를 들어 영어에서는 “ing”, “tion”, “pre”, “ing “처럼 자주 등장하는 조합이 하나의 토큰이 될 수 있습니다. 이렇게 하면 모델은 긴 문장을 훨씬 적은 단위로 이해할 수 있고, 학습 과정에서도 반복되는 패턴을 효율적으로 기억할 수 있습니다.
한국어 역시 마찬가지입니다. 조사와 어미, 자주 사용하는 단어 조합 등이 토큰화 과정에서 하나 또는 여러 개의 토큰으로 분리됩니다. 따라서 단순히 글자 수만으로 토큰 개수를 예상하기는 어렵습니다.
- AI의 계산량 감소
- 학습 데이터 압축
- 반복되는 패턴 인식 향상
- 추론 속도 향상
- 메모리 사용 최적화
GPT는 토큰을 문자처럼 저장하지 않습니다. 먼저 토큰을 각각의 고유한 숫자(ID)로 변환한 뒤, 다시 수백~수천 개의 실수값으로 이루어진 벡터(Embedding)로 바꾸어 계산합니다. 즉 실제 신경망이 처리하는 대상은 문자가 아니라 숫자 행렬입니다.
3. 토큰은 실제로 어떻게 계산될까?
토큰 계산은 ‘토크나이저(Tokenizer)’라는 프로그램에서 시작됩니다. 사용자가 문장을 입력하면 GPT가 바로 읽는 것이 아니라 먼저 토크나이저가 문장을 가장 효율적인 토큰들의 집합으로 분해합니다.
이 과정에서 자주 등장하는 문자열은 하나의 토큰으로 유지되고, 드물거나 처음 보는 단어는 여러 개의 작은 조각으로 나누어집니다. 이러한 방식 덕분에 AI는 새로운 단어를 처음 보더라도 이미 알고 있는 작은 조각들을 조합해 의미를 추론할 수 있습니다.
예를 들어 새로운 서비스 이름이나 신조어가 등장해도 GPT가 어느 정도 이해할 수 있는 이유가 바로 여기에 있습니다. 단어 전체를 모른다고 해서 아무것도 이해하지 못하는 것이 아니라, 이미 학습한 토큰들을 조합해 의미를 예측하는 것입니다.
토큰은 단순한 글자 수가 아니라 GPT가 이해하는 최소 처리 단위입니다. 사용자가 입력한 문장은 먼저 토큰으로 분리되고, 숫자와 벡터로 변환된 뒤 신경망에서 계산됩니다. 다음 Part에서는 한국어와 영어의 토큰 차이, BPE(Byte Pair Encoding) 알고리즘, 토큰 수가 컨텍스트와 비용에 영향을 주는 이유를 이어서 자세히 살펴보겠습니다.
4. 한국어와 영어는 왜 토큰 개수가 다를까?
많은 사용자가 “같은 길이의 문장인데 왜 토큰 수는 다르게 나오나요?”라는 의문을 가집니다. 그 이유는 토크나이저가 글자 수가 아니라 학습된 문자열 패턴을 기준으로 문장을 분해하기 때문입니다.
영어는 띄어쓰기와 단어 경계가 비교적 명확합니다. 또한 GPT는 방대한 영어 데이터를 학습했기 때문에 자주 사용하는 단어와 접미사, 접두사를 하나의 토큰으로 저장하고 있는 경우가 많습니다. 반면 한국어는 조사와 어미가 붙는 교착어이기 때문에 같은 의미라도 다양한 형태가 만들어집니다.
예를 들어 ‘읽다’, ‘읽는다’, ‘읽었습니다’, ‘읽어보겠습니다’는 사람에게는 같은 동사의 활용이지만 AI 입장에서는 서로 다른 문자열입니다. 따라서 하나의 단어가 여러 개의 토큰으로 나누어질 가능성이 영어보다 높습니다.
같은 의미라도 언어 구조가 다르면 토큰 수 역시 달라집니다. 이것이 한국어가 영어보다 토큰을 조금 더 많이 사용하는 경우가 자주 발생하는 이유입니다.
5. BPE(Byte Pair Encoding)는 어떤 역할을 할까?
GPT 계열 모델은 대표적으로 BPE(Byte Pair Encoding) 기반 토큰화를 사용합니다. 이름은 어렵지만 원리는 생각보다 단순합니다. 가장 자주 함께 등장하는 문자 조합을 반복적으로 하나의 단위로 묶는 방식입니다.
처음에는 모든 문자가 각각 분리되어 있다고 가정합니다. 이후 학습 데이터에서 자주 등장하는 문자 조합을 계속 합쳐 나가면서 새로운 토큰을 만들어갑니다. 예를 들어 ‘Chat’과 ‘GPT’처럼 자주 등장하는 문자열은 하나의 토큰 또는 적은 수의 토큰으로 처리될 가능성이 높아집니다.
이 방식의 장점은 처음 보는 단어도 처리할 수 있다는 점입니다. 완전히 새로운 단어라도 이미 알고 있는 작은 조각들로 분해하여 의미를 어느 정도 추론할 수 있기 때문입니다.
- 문장을 작은 문자 단위로 분리
- 가장 자주 함께 등장하는 조합 탐색
- 새로운 토큰 생성
- 다시 빈도 계산
- 반복적으로 병합 수행
6. 토큰 수는 비용과 어떤 관계가 있을까?
OpenAI를 비롯한 대부분의 생성형 AI 서비스는 입력과 출력을 모두 토큰 단위로 계산합니다. 즉 사용자가 입력한 프롬프트도 토큰이고, AI가 생성한 답변도 토큰입니다.
API를 사용할 경우 과금 역시 토큰을 기준으로 이루어집니다. 긴 프롬프트를 입력하면 입력 토큰이 증가하고, 긴 답변을 생성하면 출력 토큰도 증가합니다. 결국 같은 질문이라도 불필요하게 긴 설명을 포함하면 비용과 처리 시간이 모두 늘어날 수 있습니다.
ChatGPT를 일반적으로 사용할 때 직접 토큰을 계산할 필요는 없지만, API를 사용하는 개발자나 긴 문서를 다루는 사용자라면 토큰 수를 이해하는 것이 매우 중요합니다.
같은 내용을 전달한다면 불필요한 반복을 줄이는 것이 토큰 절약에 도움이 됩니다. 프롬프트를 간결하게 작성할수록 처리 속도와 비용 측면에서 유리한 경우가 많습니다.
7. 토큰과 컨텍스트는 어떤 관계가 있을까?
토큰은 단순히 비용만 결정하는 요소가 아닙니다. GPT가 기억할 수 있는 범위인 컨텍스트 윈도우 역시 토큰 단위로 계산됩니다.
예를 들어 모델이 128K 컨텍스트를 지원한다면 최대 약 128,000개의 토큰을 입력과 출력 전체에서 사용할 수 있다는 의미입니다. 이전 대화가 길어질수록 새로운 질문에 사용할 수 있는 토큰 공간은 점점 줄어들게 됩니다.
그래서 긴 대화에서는 오래된 내용이 요약되거나 일부 정보가 제외되는 현상이 발생할 수 있습니다. 이것은 AI가 기억을 잃는 것이 아니라 사용할 수 있는 토큰 공간이 한정되어 있기 때문입니다.
‘컨텍스트가 128K’라는 말은 글자 수가 아니라 토큰 수를 의미합니다. 따라서 실제 저장 가능한 문장 길이는 사용하는 언어와 문장의 형태에 따라 달라질 수 있습니다.
토큰은 언어마다 계산 방식이 다르며, GPT는 BPE 기반 토크나이저를 이용해 가장 효율적인 토큰 집합으로 문장을 변환합니다. 또한 토큰은 API 비용뿐 아니라 AI가 기억할 수 있는 컨텍스트 길이까지 결정하는 핵심 요소입니다. 다음 Part에서는 실제 토큰 계산 예시, 자주 묻는 질문, 함께 보면 좋은 글, 공식 자료와 출처까지 모두 마무리하겠습니다.
8. 실제 토큰은 어떤 기준으로 달라질까?
토큰 수는 단순히 문장의 글자 수만으로 결정되지 않습니다. 같은 길이의 문장이라도 어떤 언어를 사용했는지, 띄어쓰기가 어떻게 되어 있는지, 숫자와 기호가 얼마나 포함되어 있는지에 따라 토큰 수가 달라질 수 있습니다.
예를 들어 짧고 자주 사용되는 영어 단어는 단어 전체가 하나의 토큰으로 처리될 수 있습니다. 반면 드문 고유명사나 긴 합성어는 토크나이저가 알고 있는 여러 문자열 조각으로 나뉠 수 있습니다. 한국어도 자주 등장하는 표현은 비교적 적은 토큰으로 처리될 수 있지만, 조사와 어미가 복잡하게 붙거나 생소한 전문 용어가 포함되면 더 많은 토큰으로 분리될 수 있습니다.
같은 문장이라도 사용하는 모델과 토크나이저가 다르면 결과가 완전히 같지 않을 수 있습니다. 모델마다 사용하는 토큰 사전과 인코딩 방식이 다를 수 있기 때문입니다. 특정 문장이 정확히 몇 토큰인지 확인하려면 사용하려는 모델에 대응하는 토크나이저를 이용해야 합니다.
토큰 수는 문장의 의미보다 문자열의 형태에 더 직접적인 영향을 받습니다. 같은 뜻을 전달하더라도 표현 방식과 띄어쓰기, 기호 사용이 달라지면 토큰 수가 달라질 수 있습니다. 사람이 느끼는 문장 길이와 AI가 계산하는 입력 길이는 일치하지 않을 수 있습니다.
9. 실제 토큰 계산 예시
토큰 계산을 이해할 때 가장 주의해야 할 점은 특정 예시의 숫자를 모든 모델에 공통으로 적용해서는 안 된다는 것입니다. 토큰 수는 모델과 인코딩 방식에 따라 달라질 수 있으므로 아래 표는 정확한 고정값보다 입력 유형에 따른 분리 특징을 보여주는 예시입니다.
특히 URL이나 코드, 긴 숫자열은 사람이 보기에는 짧아 보여도 예상보다 많은 토큰으로 분리될 수 있습니다. 반대로 학습 데이터에서 자주 등장한 문구는 비교적 긴 문자열이라도 적은 수의 토큰으로 표현될 수 있습니다.
따라서 토큰 수를 눈대중으로 계산할 때 “한글 한 글자는 한 토큰”, “영어 한 단어는 한 토큰”처럼 고정된 비율을 적용하면 안 됩니다. 대략적인 예상은 가능하지만 정확한 계산은 실제 토크나이저 결과를 기준으로 해야 합니다.
- 사용하려는 모델이 어떤 토크나이저 또는 인코딩을 사용하는지 확인합니다.
- OpenAI Tokenizer나 공식 라이브러리에 실제 문장을 입력합니다.
- 입력 토큰과 예상 출력 토큰을 따로 계산합니다.
- 대화형 요청에서는 이전 메시지와 시스템 지시문도 입력에 포함될 수 있다는 점을 고려합니다.
- API 비용을 계산할 때는 입력과 출력의 요율을 각각 확인합니다.
10. 토큰을 절약하는 실전 방법
토큰을 절약한다는 것은 무조건 프롬프트를 짧게 쓰는 것을 의미하지 않습니다. 지나치게 짧고 모호한 요청은 AI가 사용자의 의도를 제대로 이해하지 못하게 만들 수 있습니다. 답변을 다시 요청하거나 여러 차례 수정하면 처음부터 명확하게 작성했을 때보다 오히려 더 많은 토큰을 사용하게 됩니다.
가장 효율적인 방법은 필요한 조건을 분명하게 전달하면서 중복되는 배경 설명과 불필요한 예시를 줄이는 것입니다. 프롬프트가 다소 길더라도 모든 문장이 결과에 필요한 정보라면 토큰 낭비라고 볼 수 없습니다.
- 같은 조건을 반복하지 않습니다. 이미 전달한 목적이나 형식을 여러 문장으로 되풀이하면 입력 토큰만 늘어납니다.
- 필요한 출력 형식을 먼저 지정합니다. 표, 요약, HTML, 코드처럼 원하는 결과를 처음부터 명확히 적으면 재작성을 줄일 수 있습니다.
- 긴 원문은 필요한 범위만 전달합니다. 전체 문서가 아니라 분석에 필요한 단락이나 표만 보내면 컨텍스트 공간을 절약할 수 있습니다.
- 이전 대화를 핵심만 정리합니다. 대화가 지나치게 길어졌다면 현재 작업에 필요한 조건과 결정 사항을 압축해 전달하는 편이 효율적입니다.
- 출력 길이를 구체적으로 지정합니다. “짧게 작성해줘”보다 “핵심만 5문장으로 작성해줘”처럼 범위를 정하면 불필요하게 긴 출력을 줄일 수 있습니다.
- 예시는 필요한 만큼만 넣습니다. 비슷한 예시를 여러 개 나열하기보다 대표 예시 하나를 정확하게 제공하는 편이 좋습니다.
- 전체 문서를 매번 다시 붙이지 않습니다. 수정할 위치와 변경할 내용만 전달하면 반복되는 입력 토큰을 크게 줄일 수 있습니다.
예를 들어 “이 글을 전문적으로, 정확하게, 신뢰감 있게, 전문가처럼, 자세하고 깊게 작성해줘”라는 요청은 비슷한 의미가 반복되어 있습니다. 이를 “공식 자료를 기반으로 기술 원리, 주의사항, 실제 예시를 포함해 작성해줘”처럼 바꾸면 더 구체적이면서도 중복이 적은 지시문이 됩니다.
반대로 “토큰 설명해줘”처럼 너무 짧게 요청하면 원하는 난이도와 대상 독자, 출력 형식이 빠져 있어 결과가 기대와 다를 수 있습니다. 좋은 프롬프트는 가장 짧은 문장이 아니라, 수정 없이 원하는 결과를 받을 가능성이 높은 명확한 문장입니다.
토큰 절약에서 가장 큰 효과는 문장을 몇 글자 줄이는 데서 나오지 않습니다. 불필요한 재질문과 전체 답변 재생성, 긴 문서 재전송을 줄이는 것이 실제 사용량을 더 크게 낮출 수 있습니다.
11. 토큰 계산에서 자주 하는 실수
토큰을 이해할 때 가장 흔한 실수는 글자 수와 토큰 수를 동일하게 보는 것입니다. 특히 한국어에서는 한 글자가 하나의 토큰이라는 단순 계산이 잘 맞지 않습니다. 같은 단어라도 앞뒤의 공백과 문장 내 위치, 사용되는 인코딩에 따라 다른 방식으로 분리될 수 있습니다.
두 번째 실수는 사용자가 입력한 질문만 입력 토큰으로 계산하는 것입니다. 실제 API 요청에서는 시스템 지시문, 이전 대화, 도구 호출 정보, 구조화된 데이터가 함께 모델에 전달될 수 있습니다. 화면에서 보이는 질문은 짧더라도 전체 입력 토큰은 더 클 수 있습니다.
세 번째는 컨텍스트 한도를 전부 출력에 사용할 수 있다고 생각하는 것입니다. 모델의 컨텍스트 윈도우에는 입력과 출력이 함께 들어갑니다. 이미 긴 문서를 입력했다면 답변 생성에 사용할 수 있는 공간은 그만큼 줄어듭니다.
- 한글 한 글자를 무조건 한 토큰으로 계산하는 경우
- 사용자가 작성한 질문만 계산하고 이전 대화와 시스템 지시문을 제외하는 경우
- 입력 토큰과 출력 토큰의 비용이 항상 같다고 생각하는 경우
- 모든 GPT 모델이 동일한 토크나이저를 사용한다고 생각하는 경우
- 컨텍스트 한도를 전부 답변 길이로 사용할 수 있다고 오해하는 경우
- 이미지, 파일, 도구 사용 과정에서 추가 처리가 발생할 수 있다는 점을 고려하지 않는 경우
12. 자주 묻는 질문
아닙니다. 토큰은 AI가 문장을 처리하기 위해 사용하는 문자열 조각입니다. 하나의 토큰이 글자 하나일 수도 있고, 여러 글자나 단어의 일부일 수도 있기 때문에 글자 수와 정확히 일치하지 않습니다.
항상 그렇지는 않습니다. 다만 한국어는 조사와 어미가 결합하고 표현 형태가 다양하기 때문에 같은 의미의 영어 문장보다 더 많은 토큰으로 나뉘는 경우가 있습니다. 정확한 차이는 실제 토크나이저로 확인해야 합니다.
네. 일부 토크나이저는 앞의 공백을 포함한 문자열 패턴을 하나의 토큰으로 학습합니다. 따라서 같은 단어라도 문장 처음에 있는지, 앞에 공백이 있는지에 따라 토큰 분리 결과가 달라질 수 있습니다.
사용하려는 모델에 대응하는 공식 토크나이저나 라이브러리를 이용하는 것이 가장 정확합니다. OpenAI Tokenizer 또는 tiktoken에 실제 입력 문장을 넣으면 토큰 분리 결과와 개수를 확인할 수 있습니다.
입력 토큰은 사용자의 질문, 시스템 지시문, 이전 대화처럼 모델에 전달되는 내용을 의미합니다. 출력 토큰은 모델이 새롭게 생성한 답변입니다. API에서는 입력과 출력 사용량을 따로 계산하며 가격도 서로 다를 수 있습니다.
아닙니다. 128K는 약 128,000개의 토큰을 의미하며 글자 수가 아닙니다. 실제로 넣을 수 있는 글자 수는 언어, 문장 구조, 기호, 코드 포함 여부에 따라 달라집니다. 또한 입력과 출력이 같은 컨텍스트 공간을 함께 사용합니다.
모델에 다시 전달되는 이전 대화 내용은 입력 토큰에 포함됩니다. 다만 서비스가 오래된 내용을 요약하거나 일부만 선택해 전달하는 방식은 사용하는 제품과 기능에 따라 달라질 수 있습니다.
그렇지 않습니다. 너무 짧아서 목적과 조건이 불명확하면 원하는 답변을 얻지 못해 여러 번 수정해야 할 수 있습니다. 중복은 줄이되 필요한 조건과 대상, 출력 형식은 명확하게 적는 것이 더 효율적입니다.
네. 이모지와 특수문자도 토큰화 대상입니다. 문자 종류와 조합에 따라 하나 또는 여러 개의 토큰으로 나뉠 수 있으므로, 이모지 하나가 항상 토큰 하나라고 단정할 수는 없습니다.
일반적인 사용에서는 매번 직접 계산할 필요가 없습니다. 다만 긴 문서 분석, API 개발, 비용 관리처럼 입력량이 큰 작업에서는 토큰 구조를 이해하면 컨텍스트 한도 초과와 불필요한 비용을 줄이는 데 도움이 됩니다.
📚 함께 보면 좋은 글
토큰의 개념을 이해했다면 GPT가 다음 토큰을 예측하는 과정과 컨텍스트가 관리되는 방식도 함께 읽어보세요. 또한 PDF나 표처럼 구조화된 데이터가 토큰으로 변환되는 과정을 이해하면 생성형 AI가 정보를 처리하는 전체 흐름을 더 쉽게 파악할 수 있습니다.
🔗 공식 자료
토큰 개수는 사용하는 모델과 인코딩 방식에 따라 달라질 수 있습니다. 정확한 토큰 수를 확인하거나 API 사용량을 계산해야 한다면 아래 공식 자료를 참고하는 것이 가장 정확합니다.
📖 출처
- OpenAI Platform Documentation
- OpenAI Help Center – What are tokens and how to count them?
- OpenAI Tokenizer
- OpenAI Cookbook – How to count tokens with tiktoken
- OpenAI GitHub – tiktoken
토큰은 단순한 글자 수가 아니라 AI가 문장을 계산하기 위해 사용하는 최소 처리 단위입니다. 토큰이 어떻게 만들어지고 계산되는지를 이해하면 GPT의 답변 생성 과정은 물론, 컨텍스트 한계와 API 비용까지 훨씬 정확하게 이해할 수 있습니다.