컨텍스트는 어떻게 관리될까?
GPT가 이전 대화를 기억하는 원리부터 토큰 한계, 컨텍스트 윈도우까지 한 번에 이해하기
- 컨텍스트(Context)는 AI가 현재 대화에서 참고하는 모든 정보를 의미합니다.
- GPT는 대화를 영구적으로 기억하는 것이 아니라 컨텍스트 안에 있는 내용만 활용합니다.
- 컨텍스트에는 질문, 답변, 시스템 지시, 업로드한 파일 등이 함께 포함될 수 있습니다.
- 컨텍스트의 크기는 토큰 단위로 관리되며 한계를 초과하면 오래된 내용부터 제외됩니다.
- 긴 대화를 이어갈 때는 핵심 내용을 다시 정리해 주는 것이 정확도를 높이는 방법입니다.
많은 사람들이 ChatGPT를 사용하다 보면 “아까 이야기했던 내용을 아직 기억하고 있네?”, “왜 조금 전에는 알고 있던 내용을 갑자기 잊어버렸지?”라는 경험을 합니다. 이런 현상은 AI가 사람처럼 기억을 저장하기 때문이 아니라 컨텍스트(Context)라는 작업 공간을 이용하기 때문에 발생합니다.
GPT는 질문을 받을 때마다 처음부터 다시 생각하는 것이 아니라 현재 대화에서 사용할 수 있는 정보를 하나의 입력으로 묶어 분석합니다. 이 입력 공간을 컨텍스트라고 부르며, AI의 답변 품질을 결정하는 가장 중요한 요소 가운데 하나입니다.
이번 글에서는 컨텍스트가 정확히 무엇인지, GPT가 이전 대화를 어떻게 활용하는지, 왜 오래된 대화를 잊는 것처럼 보이는지, 토큰과는 어떤 관계가 있는지까지 차근차근 알아보겠습니다.
1. 컨텍스트(Context)란 무엇일까?
컨텍스트는 AI가 답변을 생성하기 위해 현재 참고하는 정보 전체를 의미합니다. 쉽게 말하면 사람의 ‘작업 기억(Working Memory)’과 비슷한 개념입니다. 지금 읽고 있는 문장, 조금 전에 나온 질문, 시스템 지시사항, 업로드한 문서 등 필요한 정보를 한곳에 모아 두고 그 안에서 다음 답변을 생성합니다.
중요한 점은 컨텍스트가 데이터베이스처럼 영구 저장되는 공간이 아니라는 것입니다. 현재 대화에서 참고하기 위한 임시 작업 공간이기 때문에 컨텍스트에서 제외된 정보는 더 이상 답변 생성에 직접 사용되지 않습니다.
예를 들어 처음에 “나는 아이폰 16 Pro를 사용한다.”라고 말하고 이후 여러 차례 이어서 질문하면 GPT는 그 정보를 계속 활용할 수 있습니다. 하지만 대화가 매우 길어져 컨텍스트 한계를 넘기면 해당 정보가 제외될 수 있으며, 이후에는 다시 알려줘야 정확한 답변을 받을 수 있습니다.
컨텍스트는 ‘기억’이라기보다 현재 책상 위에 펼쳐져 있는 참고자료라고 생각하면 이해하기 쉽습니다. 책상에서 치워진 자료는 다시 펼쳐주기 전까지 참고할 수 없습니다.
2. GPT는 어떤 정보를 컨텍스트에 넣을까?
컨텍스트에는 단순히 사용자의 마지막 질문만 들어가는 것이 아닙니다. 실제로는 여러 종류의 정보가 하나의 입력으로 합쳐져 모델에 전달됩니다.
즉 GPT는 질문 하나만 보고 답하는 것이 아니라 지금까지 이어진 대화의 흐름을 함께 분석합니다. 그래서 “계속 이어서 설명해줘”, “방금 표를 수정해줘” 같은 표현도 이해할 수 있습니다.
3. 왜 긴 대화를 하면 이전 내용을 잊어버릴까?
가장 큰 이유는 컨텍스트 크기에 제한이 있기 때문입니다. GPT는 무한한 길이의 대화를 한 번에 처리할 수 없습니다. 사용할 수 있는 최대 토큰 수가 정해져 있기 때문에 새로운 내용이 계속 추가되면 오래된 내용은 순차적으로 제외됩니다.
이 과정을 이해하면 AI가 ‘기억력이 나빠졌다’고 느껴지는 이유를 쉽게 설명할 수 있습니다. 실제로는 기억을 잃은 것이 아니라 현재 작업 공간에서 오래된 정보가 빠져나간 것입니다.
예를 들어 100페이지 분량의 회의를 한 번에 모두 책상 위에 펼쳐놓을 수 없다면, 새로운 자료를 보기 위해 앞부분 자료를 치우는 것과 비슷한 원리입니다.
“아까 말했잖아.”처럼 짧게 말하기보다 중요한 조건을 다시 한 줄로 정리해서 함께 입력하면 훨씬 정확한 답변을 받을 수 있습니다.
4. 컨텍스트와 토큰은 어떤 관계일까?
컨텍스트는 글자 수가 아니라 토큰(Token) 단위로 계산됩니다. 한글 문장도 여러 개의 토큰으로 나뉘며 질문과 답변 모두 컨텍스트를 차지합니다.
즉 사용자가 긴 질문을 입력하면 그만큼 컨텍스트가 줄어들고, AI가 긴 답변을 작성해도 동일하게 컨텍스트를 사용하게 됩니다. 그래서 매우 긴 문서를 반복해서 붙여 넣으면 이전 대화가 더 빨리 제외될 수 있습니다.
5. 컨텍스트 윈도우(Context Window)는 무엇일까?
컨텍스트를 이해할 때 함께 알아두어야 하는 개념이 바로 컨텍스트 윈도우(Context Window)입니다. 컨텍스트가 현재 참고하는 정보 전체라면, 컨텍스트 윈도우는 그 정보를 담을 수 있는 최대 크기를 의미합니다.
쉽게 말하면 책상 크기와 같습니다. 책상이 넓을수록 더 많은 책과 메모를 펼쳐 놓고 작업할 수 있고, 책상이 작다면 오래된 자료를 치워야 새로운 자료를 올릴 수 있습니다.
GPT 역시 사용할 수 있는 컨텍스트 윈도우가 정해져 있으며, 질문과 답변을 모두 포함한 전체 토큰 수가 이 범위를 넘으면 오래된 내용부터 제외됩니다.
최근 AI 모델일수록 컨텍스트 윈도우가 크게 늘어나 긴 논문이나 여러 개의 문서를 동시에 이해할 수 있습니다. 하지만 아무리 큰 모델이라도 무한한 길이의 대화를 한 번에 모두 유지할 수 있는 것은 아닙니다.
6. Attention은 컨텍스트를 어떻게 활용할까?
GPT는 단순히 컨텍스트를 순서대로 읽는 것이 아닙니다. 가장 중요한 기술 가운데 하나인 Attention을 이용해 현재 생성하려는 단어와 관련성이 높은 정보를 우선적으로 참고합니다.
예를 들어 사용자가 “토큰이 무엇인지 설명한 뒤 다시 컨텍스트 이야기를 해줘.”라고 입력했다면 GPT는 앞에서 설명했던 토큰 관련 내용을 다시 찾아 현재 질문과 연결합니다.
Attention은 모든 단어 사이의 관계를 계산하여 어떤 정보가 중요한지 점수를 부여하는 방식으로 동작합니다. 그래서 멀리 떨어진 문장이라도 현재 질문과 관련이 높다면 함께 참고할 수 있습니다.
- 모든 문장을 동일하게 보는 것이 아닙니다.
- 현재 질문과 관련성이 높은 정보를 우선적으로 참고합니다.
- 관련성이 낮은 내용은 영향력이 작아집니다.
- 이 과정이 GPT의 자연스러운 대화 능력을 만드는 핵심 기술입니다.
7. 긴 대화를 계속 이어가려면?
실제로 ChatGPT를 오래 사용할수록 컨텍스트 관리가 중요해집니다. 특히 긴 프로젝트나 문서 작성에서는 이전 내용을 효율적으로 유지하는 방법을 아는 것이 도움이 됩니다.
- 중요한 조건은 중간중간 다시 정리한다.
- 프로젝트 목표를 한 문장으로 반복해 준다.
- 긴 문서는 필요한 부분만 인용한다.
- 새로운 주제는 새로운 대화에서 시작하는 것도 좋다.
- 중간 요약을 활용하면 컨텍스트를 효율적으로 사용할 수 있다.
예를 들어 프로그램을 개발하는 프로젝트라면 “현재 목표는 로그인 기능 구현이며 React와 TypeScript를 사용한다.”처럼 핵심 조건을 주기적으로 다시 알려주는 것이 좋습니다. 그러면 오래된 내용이 제외되더라도 중요한 정보는 계속 유지됩니다.
긴 대화를 이어갈 때는 “지금까지 내용을 요약해줘.”라고 요청한 뒤 그 요약을 다시 기준으로 대화를 이어가면 컨텍스트를 훨씬 효율적으로 사용할 수 있습니다.
8. 메모리와 컨텍스트는 무엇이 다를까?
많은 사람들이 메모리와 컨텍스트를 같은 개념으로 생각하지만 실제로는 역할이 다릅니다.
컨텍스트는 현재 대화를 위한 임시 작업 공간이며, 메모리는 사용자가 허용한 일부 정보를 여러 대화에서 활용하기 위한 기능입니다. 즉 메모리가 있다고 해서 모든 대화를 영구적으로 기억하는 것은 아닙니다.
9. 자주 묻는 질문
아닙니다. 현재 컨텍스트 안에 있는 내용과 메모리 기능으로 저장된 일부 정보만 활용합니다.
컨텍스트 한계를 넘으면 오래된 내용부터 제외되기 때문입니다.
필요한 내용은 컨텍스트에 포함되어 활용될 수 있지만, 항상 파일 전체를 계속 유지하는 것은 아닙니다.
중간 요약을 만들고 핵심 조건을 반복해 주면 정확도를 높일 수 있습니다.
긴 문서를 다루는 데는 유리하지만 계산량도 함께 증가합니다. 모델마다 지원하는 최대 크기는 서로 다릅니다.
📚 함께 보면 좋은 글
이번 글을 이해했다면 GPT가 문장을 생성하는 과정과 토큰의 역할도 함께 살펴보면 AI의 내부 동작을 훨씬 쉽게 이해할 수 있습니다.
🔗 공식 자료
📖 출처
- OpenAI Platform Documentation
- OpenAI Prompt Engineering Guide
- Attention Is All You Need (Transformer 논문)
- OpenAI API Documentation
- Transformer Architecture Documentation
컨텍스트는 GPT가 현재 참고하는 작업 공간이며, 토큰 단위로 관리됩니다. 긴 대화를 잘 이어가려면 중요한 내용을 주기적으로 요약하고 핵심 조건을 다시 알려주는 것이 가장 효과적인 방법입니다.