[태그:] 컨텍스트 윈도우

  • AI가 코드를 이해하는 방식|토큰·문법·함수 관계 분석 원리

    AI가 코드를 이해하는 방식|토큰·문법·함수 관계 분석 원리

    LINK&TEM GUIDE

    AI가 코드를 이해하는 방식

    프로그래밍 언어를 읽고, 분석하고, 수정하는 내부 원리

    📌 핵심 요약
    • AI는 코드를 실행하는 것이 아니라 먼저 텍스트와 구조를 함께 분석합니다.
    • 프로그래밍 언어마다 문법 패턴과 함수 호출 관계를 학습하여 의미를 추론합니다.
    • 토큰 단위 분석 이후 변수, 함수, 클래스, 파일 간 관계까지 연결하여 이해합니다.
    • 오류 수정은 단순 암기가 아니라 문맥과 코드 흐름을 기반으로 이루어집니다.
    • 복잡한 프로젝트일수록 컨텍스트 관리가 코드 이해의 핵심이 됩니다.

    ChatGPT에게 수백 줄의 코드를 붙여 넣으면 함수의 역할을 설명하고, 버그를 찾고, 심지어 새로운 기능까지 추가해 주는 모습을 쉽게 볼 수 있습니다. 그래서 많은 사람들이 AI가 마치 개발자가 직접 코드를 실행하며 이해하는 것처럼 생각하기도 합니다.

    하지만 실제 내부 동작은 조금 다릅니다. AI는 IDE나 컴파일러처럼 프로그램을 실행해서 결과를 확인하는 것이 아니라, 방대한 양의 소스코드와 문서를 학습하며 만들어진 언어 모델을 이용해 코드의 구조와 의미를 추론합니다.

    이번 글에서는 AI가 코드를 단순한 문자로 보는 것이 아니라 어떻게 함수와 변수의 관계를 이해하고, 오류를 찾아내며, 새로운 코드를 생성하는지 단계별로 살펴보겠습니다.


    1. AI는 코드를 글처럼 읽을까?

    결론부터 말하면 절반은 맞고 절반은 틀립니다.

    AI에게 코드도 결국 텍스트입니다. Python, JavaScript, Java, C++, HTML 모두 문자들의 집합으로 입력됩니다. 그러나 일반 문장과 달리 코드에는 매우 엄격한 문법과 구조가 존재합니다.

    예를 들어 사람은 아래 두 줄을 쉽게 같은 의미로 이해합니다.

    a = b + c
    result = price * tax
    

    AI는 단순히 ‘+’나 ‘=’ 기호를 보는 것이 아니라 변수 선언, 연산자, 값의 흐름, 이후에 어떻게 사용되는지까지 함께 분석합니다.

    즉 코드 자체는 텍스트이지만 일반 문장보다 훨씬 규칙적인 언어라는 점을 활용하여 의미를 추론합니다.

    Link&Tem Insight

    OpenAI를 비롯한 최신 LLM은 자연어뿐 아니라 GitHub 등의 공개 코드, 기술 문서, API 문서 등을 함께 학습합니다. 그래서 “이 함수는 보통 무엇을 하는 함수인지” 같은 패턴도 상당 부분 기억하고 있습니다.

    2. 첫 번째 단계는 토큰 분리

    AI가 코드를 이해하는 첫 번째 단계는 토큰(Token)으로 분리하는 과정입니다.

    예를 들어 아래 Python 코드를 보겠습니다.

    for i in range(5):
        print(i)
    

    사람은 한 줄로 읽지만 AI는 다음과 같이 여러 토큰으로 나누어 처리합니다.

    토큰 의미
    for 반복문 시작
    i 반복 변수
    range 범위 함수
    print 출력 함수

    이렇게 분리된 토큰은 이후 관계 분석의 재료가 됩니다.

    3. 문법 구조를 먼저 분석한다

    코드에서 가장 중요한 것은 문법입니다.

    AI는 괄호의 짝이 맞는지, 들여쓰기가 올바른지, 함수가 어디에서 시작하고 끝나는지, 조건문과 반복문이 어떻게 연결되는지를 함께 분석합니다.

    예를 들어 Python에서는 들여쓰기가 문법입니다. Java에서는 중괄호가 문법입니다. HTML에서는 태그의 계층 구조가 문법입니다.

    AI는 언어마다 다른 문법 규칙을 학습했기 때문에 현재 어떤 언어인지 먼저 추론한 뒤 해당 규칙을 적용합니다.

    AI가 가장 먼저 확인하는 요소
    • 프로그래밍 언어 종류
    • 문법 오류 여부
    • 함수 시작과 종료
    • 조건문 구조
    • 반복문 구조
    • 클래스와 객체 관계

    4. 변수와 함수의 의미를 연결한다

    문법 분석이 끝나면 AI는 변수와 함수의 역할을 추론합니다.

    예를 들어 totalPrice라는 변수와 calculatePrice()라는 함수가 등장하면, AI는 이름 자체에서도 상당한 정보를 얻습니다.

    물론 변수 이름이 x, y, temp처럼 의미 없는 경우도 있습니다. 이때는 변수에 저장되는 값과 사용되는 위치를 함께 살펴 의미를 추론합니다.

    즉 AI는 변수 이름만 보는 것이 아니라 데이터가 어디서 생성되고 어디에서 소비되는지를 따라갑니다.

    Link&Tem Insight

    실제 개발자도 코드를 읽을 때 변수의 이름과 데이터 흐름을 함께 확인합니다. 최신 LLM도 비슷한 방식으로 코드의 의미를 추론하도록 학습되어 있습니다.
    Part 1 정리

    AI는 코드를 단순한 문자열이 아니라 토큰, 문법 구조, 함수, 변수, 데이터 흐름으로 나누어 분석합니다. 이러한 과정을 통해 코드의 의미를 추론하고 이후 오류 분석이나 코드 생성의 기반을 마련합니다. 다음에서는 AI가 여러 파일을 함께 이해하는 방식, 버그를 찾는 과정, 코드 생성 원리와 한계까지 이어서 살펴보겠습니다.

    5. 여러 파일로 구성된 프로젝트는 어떻게 이해할까?

    실제 프로그램은 하나의 파일만으로 완성되는 경우가 드뭅니다. 화면을 담당하는 파일, 데이터를 처리하는 파일, 서버와 통신하는 파일, 설정값을 저장하는 파일처럼 역할이 나뉘어 있습니다. 따라서 AI가 프로젝트 전체를 이해하려면 개별 코드뿐 아니라 파일 사이의 연결 관계까지 파악해야 합니다.

    가장 먼저 확인하는 것은 import, require, include 같은 의존성 선언입니다. 어떤 파일이 다른 파일의 함수나 클래스를 불러오는지 살펴보면 프로젝트의 기본 연결 구조를 추론할 수 있기 때문입니다.

    from database import get_user
    from validator import validate_email
    
    def create_account(email):
        if validate_email(email):
            return get_user(email)

    이 코드에서 AI는 create_account() 함수가 혼자 동작하지 않는다는 사실을 알 수 있습니다. validator 파일에서 이메일을 검사한 뒤 database 파일을 통해 사용자 데이터를 가져오는 흐름으로 연결합니다.

    다음으로 함수가 호출되는 위치, 클래스가 생성되는 위치, 반환값이 전달되는 위치를 추적합니다. 이렇게 만들어진 관계는 개발 도구에서 사용하는 호출 그래프나 의존성 그래프와 비슷한 역할을 합니다.

    프로젝트 구조를 파악하는 단서
    • 파일과 폴더 이름
    • import 및 모듈 의존성
    • 함수와 클래스 호출 관계
    • 환경 설정 파일
    • 데이터베이스 모델과 API 경로
    • 테스트 코드와 주석
    • README 및 공식 문서

    폴더 이름도 중요한 단서입니다. models, controllers, services, components처럼 일반적으로 사용되는 이름은 각 파일의 역할을 예측하는 데 도움이 됩니다. 다만 프로젝트마다 구조가 다르므로 이름만으로 확정하지 않고 실제 코드 내용과 함께 판단해야 합니다.

    Link&Tem Insight

    AI에게 프로젝트 전체를 한 번에 붙여 넣는 것보다 오류가 발생한 파일, 해당 파일이 불러오는 모듈, 관련 데이터 구조, 실행 환경을 묶어 제공하는 편이 더 정확합니다. 코드 이해에서 중요한 것은 무조건 많은 정보가 아니라 문제와 직접 연결된 정보입니다.

    6. AST는 코드 이해에 어떤 역할을 할까?

    프로그래밍 언어를 구조적으로 분석할 때 자주 등장하는 개념이 AST, 즉 추상 구문 트리입니다. AST는 코드를 문자 그대로 나열하지 않고 문법적인 구성 요소를 나무 형태로 정리한 구조입니다.

    예를 들어 아래 계산식은 사람에게는 짧은 한 줄이지만, 구조적으로는 대입문 아래에 덧셈 연산이 있고 그 아래에 두 개의 값이 연결된 형태로 볼 수 있습니다.

    total = price + tax
    구조 요소 해석
    대입문 계산 결과를 total에 저장
    이항 연산 price와 tax를 더함
    식별자 total, price, tax라는 변수 사용

    Python의 공식 ast 모듈은 소스코드를 추상 구문 문법의 트리로 처리할 수 있도록 제공됩니다. Tree-sitter 같은 파서 도구도 소스 파일에서 구문 트리를 만들고 코드가 변경될 때 필요한 부분을 효율적으로 갱신합니다. :contentReference[oaicite:0]{index=0}

    다만 모든 대화형 AI가 입력된 코드를 항상 실제 AST로 변환한 뒤 답한다고 단정할 수는 없습니다. 기본 언어 모델은 토큰 사이의 관계를 중심으로 작동하며, 제품이나 개발 환경에 따라 파서, 코드 검색, 컴파일러, 실행 도구가 추가로 연결될 수 있습니다.

    7. AI는 버그를 어떻게 찾을까?

    AI가 버그를 찾는 과정은 하나의 검사만으로 이루어지지 않습니다. 먼저 문법적으로 잘못된 부분을 찾고, 그다음 변수와 함수의 관계를 확인하며, 마지막으로 사용자가 설명한 증상과 코드의 실행 흐름을 비교합니다.

    문법 오류는 비교적 찾기 쉽습니다. 닫히지 않은 괄호, 잘못된 들여쓰기, 빠진 쉼표, 존재하지 않는 문법처럼 언어 규칙에서 벗어난 부분은 주변 패턴과 비교하여 감지할 수 있습니다.

    반면 논리 오류는 훨씬 어렵습니다. 코드는 정상적으로 실행되지만 결과가 의도와 다르기 때문입니다.

    def is_adult(age):
        return age > 18

    이 함수가 18세 이상을 성인으로 처리해야 한다면 비교 연산자는 >가 아니라 >=가 되어야 합니다. 현재 코드도 문법적으로는 완전히 정상입니다. AI가 문제를 발견하려면 함수 이름, 요구사항, 경계값 18의 의미를 함께 비교해야 합니다.

    💡 정확도를 높이는 질문 방법

    “이 코드가 이상해”라고 요청하는 것보다 기대한 결과, 실제 결과, 오류 메시지, 입력값, 실행 환경을 함께 제공해야 합니다. 특히 재현 가능한 입력값과 전체 오류 메시지는 원인을 좁히는 데 큰 도움이 됩니다.
    오류 종류 AI가 확인하는 단서 난이도
    문법 오류 언어 문법과 기호 구조 낮음
    타입 오류 값의 자료형과 함수 입력 보통
    논리 오류 요구사항과 실제 연산 비교 높음
    환경 오류 버전, 패키지, 운영체제, 권한 높음
    동시성 오류 실행 순서와 공유 상태 매우 높음

    AI가 수정안을 제시했더라도 실제 실행과 테스트가 필요한 이유가 여기에 있습니다. 코드만 보고 추론한 해결책은 실행 환경, 데이터 상태, 외부 서버 응답처럼 입력에 포함되지 않은 조건을 반영하지 못할 수 있습니다.

    8. 오류 메시지는 왜 중요한가?

    오류 메시지는 단순한 실패 알림이 아니라 프로그램이 어느 단계에서 멈췄는지 알려주는 기록입니다. 예외 종류, 발생한 파일, 줄 번호, 호출 순서가 포함된 스택 트레이스는 코드 흐름을 역추적하는 핵심 자료가 됩니다.

    AI는 오류 메시지에 등장하는 예외 이름을 관련 코드와 연결합니다. 예를 들어 KeyError라면 존재하지 않는 딕셔너리 키를 읽었을 가능성을, TypeError라면 함수가 예상한 자료형과 실제 값이 달랐을 가능성을 먼저 살펴봅니다.

    버그 분석 요청에 포함하면 좋은 정보
    • 오류 메시지 전체
    • 오류가 발생한 코드와 호출한 코드
    • 사용한 입력 데이터의 예시
    • 기대한 결과와 실제 결과
    • 언어와 프레임워크 버전
    • 최근 변경한 코드
    • 문제를 재현하는 순서

    오류 메시지의 마지막 한 줄만 전달하면 원인을 잘못 추론할 가능성이 높아집니다. 같은 예외도 여러 경로에서 발생할 수 있으므로 가능한 한 스택 트레이스 전체를 제공하는 편이 좋습니다. 단, API 키, 비밀번호, 개인정보, 내부 서버 주소는 제거해야 합니다.

    Link&Tem Insight

    좋은 오류 분석은 “어느 줄이 틀렸는가”에서 끝나지 않습니다. 왜 그 값이 해당 줄까지 전달되었는지 역으로 따라가야 합니다. 실제 원인은 오류가 표시된 줄보다 훨씬 앞에서 발생했을 수 있습니다.

    9. AI는 새로운 코드를 어떻게 생성할까?

    AI가 코드를 생성하는 기본 원리는 일반 문장을 만드는 과정과 비슷합니다. 지금까지 입력된 요구사항과 코드 문맥을 바탕으로 다음에 올 가능성이 높은 토큰을 차례대로 예측합니다.

    다만 코드에는 문법 규칙과 반복적인 설계 패턴이 존재합니다. 함수 선언 뒤에는 매개변수와 본문이 이어지고, 조건문 뒤에는 조건에 따른 실행 코드가 이어집니다. AI는 이런 구조적 패턴을 이용해 문법적으로 자연스러운 코드를 생성합니다.

    사용자가 “Python으로 CSV 파일을 읽어 평균을 계산해 줘”라고 요청하면 AI는 Python 문법뿐 아니라 CSV 처리에 자주 사용되는 모듈, 예외 처리 방식, 파일 인코딩 문제까지 관련 패턴으로 연결할 수 있습니다.

    그러나 가장 가능성 높은 코드가 항상 가장 안전하고 정확한 코드는 아닙니다. 사용 중인 라이브러리 버전이 다르거나, 함수 이름이 변경되었거나, 프로젝트만의 내부 규칙이 있을 수 있습니다.

    생성된 코드에서 반드시 확인할 항목
    • 존재하지 않는 함수나 패키지를 사용하지 않았는지
    • 현재 설치된 버전과 문법이 맞는지
    • 입력값 검증과 예외 처리가 있는지
    • 비밀번호나 API 키가 코드에 직접 포함되지 않았는지
    • 데이터 삭제나 덮어쓰기 가능성이 없는지
    • 반복문과 데이터 처리에서 성능 문제가 없는지
    • 테스트가 요구사항을 제대로 검증하는지

    10. 코드 완성과 코드 이해는 무엇이 다를까?

    코드 완성은 현재 작성 중인 줄이나 함수 다음에 올 내용을 예측하는 작업입니다. 반면 코드 이해는 프로젝트의 목적, 데이터 흐름, 함수 관계, 오류 원인까지 종합적으로 설명하는 작업입니다.

    구분 코드 완성 코드 이해
    목적 다음 코드 제안 구조와 동작 설명
    필요 범위 주변 코드 중심 관련 파일과 요구사항 전체
    주요 결과 함수, 표현식, 반복 코드 흐름 설명, 오류 원인, 개선안
    검증 필요성 높음 높음

    GitHub의 공식 안내에서도 Copilot Chat을 이용해 저장소의 목적을 살펴보고 파일과 특정 코드 줄을 탐색하는 흐름을 설명합니다. 이는 AI 코딩 도구가 단순 자동 완성을 넘어 프로젝트 탐색과 코드 설명에도 활용된다는 사례입니다. :contentReference[oaicite:1]{index=1}

    11. AI가 코드를 잘못 이해하는 이유

    AI의 코드 분석이 틀리는 가장 흔한 이유는 필요한 문맥이 부족하기 때문입니다. 함수 하나만 전달하면 그 함수가 어떤 값을 받는지, 어느 위치에서 호출되는지, 반환값이 어디에서 사용되는지 알 수 없습니다.

    두 번째 원인은 이름만 존재하는 함수나 라이브러리를 자연스럽게 만들어 내는 환각입니다. 코드 형태가 그럴듯하더라도 실제 공식 문서에 없는 API일 수 있습니다.

    세 번째는 최신 버전과 학습된 패턴의 차이입니다. 라이브러리는 업데이트되면서 함수 이름, 매개변수, 기본 동작이 바뀔 수 있습니다. 따라서 버전에 민감한 코드는 최신 공식 문서와 대조해야 합니다.

    네 번째는 실행하지 않고 추론하는 상황입니다. 외부 도구가 연결되지 않은 일반 대화에서는 코드의 실제 출력, 파일 상태, 네트워크 응답을 직접 확인하지 못할 수 있습니다. 이 경우 답변은 코드와 설명을 기반으로 한 추론입니다.

    주의할 점

    AI가 “수정했습니다”라고 말해도 실제 프로그램에서 정상 동작한다는 뜻은 아닙니다. 자동 테스트, 정적 분석, 컴파일, 샌드박스 실행, 코드 리뷰를 통해 별도로 확인해야 합니다.
    Link&Tem Insight

    AI는 코드의 의도를 직접 읽는 것이 아니라 코드, 요구사항, 이름, 주석, 테스트에서 의도를 추론합니다. 따라서 테스트 코드가 잘 작성된 프로젝트는 AI가 기대 동작을 파악하기도 상대적으로 쉽습니다.

    12. AI에게 코드를 정확히 분석시키는 방법

    좋은 결과를 얻으려면 코드만 던지는 것보다 분석 목표를 명확하게 전달해야 합니다. 설명을 원하는지, 버그 수정이 필요한지, 성능 개선이 필요한지에 따라 AI가 살펴봐야 할 기준이 달라집니다.

    효과적인 요청 순서
    1. 사용 중인 언어와 버전을 적습니다.
    2. 프로그램이 해야 하는 일을 한 문단으로 설명합니다.
    3. 문제가 발생한 코드와 관련 함수를 제공합니다.
    4. 기대한 결과와 실제 결과를 구분해 적습니다.
    5. 오류 메시지와 재현 절차를 제공합니다.
    6. 수정할 수 없는 조건을 알려줍니다.
    7. 변경된 부분과 이유를 함께 설명해 달라고 요청합니다.

    예를 들어 “이 Python 코드 고쳐줘”보다 “Python 3.12에서 실행 중이며, 빈 CSV 파일을 읽을 때 ZeroDivisionError가 발생한다. 빈 파일이면 평균값 대신 None을 반환하도록 수정하고 테스트 코드도 작성해 달라”고 요청하는 편이 훨씬 정확합니다.

    긴 프로젝트를 분석할 때는 파일을 무작정 모두 제공하기보다 먼저 폴더 구조와 핵심 진입점을 전달하는 방법이 좋습니다. 이후 AI가 필요하다고 판단한 파일을 추가로 제공하면 컨텍스트를 효율적으로 사용할 수 있습니다.

    13. 사람이 반드시 검토해야 하는 코드

    모든 생성 코드는 검토가 필요하지만 특히 보안, 결제, 개인정보, 데이터베이스 변경, 권한 관리와 관련된 코드는 더 엄격하게 확인해야 합니다.

    SQL 쿼리 하나가 전체 데이터를 삭제할 수도 있고, 권한 검사 한 줄이 누락되어 다른 사용자의 정보가 노출될 수도 있습니다. 암호화 코드가 실행된다고 해서 안전한 구현이라는 보장도 없습니다.

    코드 영역 주요 검토 항목
    인증·권한 사용자 확인, 접근 범위, 세션 처리
    데이터베이스 삭제 범위, 트랜잭션, 입력값 검증
    외부 입력 명령 주입, SQL 주입, 스크립트 삽입
    파일 처리 경로 검증, 덮어쓰기, 허용 형식
    결제·금액 반올림, 중복 처리, 서버 검증

    AI는 개발 속도를 높이는 도구로 활용할 수 있지만 최종 책임을 대신하지는 않습니다. 생성된 코드를 이해하지 못한 상태에서 그대로 배포하는 것은 피해야 합니다.

    14. 자주 묻는 질문

    Q. AI는 코드를 실제로 실행하면서 이해하나요?

    항상 그런 것은 아닙니다. 기본 언어 모델은 입력된 코드와 문맥을 바탕으로 결과를 추론합니다. 제품에 실행 환경이나 테스트 도구가 연결된 경우에는 실제 실행 결과를 추가로 활용할 수 있습니다.

    Q. 처음 보는 프로그래밍 언어도 이해할 수 있나요?

    문법과 예제가 충분히 제공되면 일부 구조를 추론할 수 있습니다. 하지만 학습 자료가 적거나 프로젝트 전용 언어라면 정확도가 낮아질 수 있으므로 공식 문법과 예시를 함께 제공하는 것이 좋습니다.

    Q. 주석이 많으면 코드 분석이 더 정확해지나요?

    정확한 주석은 의도를 파악하는 데 도움이 됩니다. 반대로 오래되어 실제 코드와 맞지 않는 주석은 잘못된 해석을 유도할 수 있으므로 코드와 주석을 함께 관리해야 합니다.

    Q. AI가 만든 코드는 바로 사용해도 되나요?

    바로 배포하기보다 먼저 내용을 이해하고 테스트해야 합니다. 라이브러리 버전, 오류 처리, 보안, 성능, 프로젝트 규칙을 사람이 검토하는 과정이 필요합니다.

    Q. 코드가 길수록 AI가 더 잘 이해하나요?

    무조건 그렇지는 않습니다. 불필요한 파일이 많으면 중요한 정보가 묻힐 수 있습니다. 문제와 직접 연결된 코드, 호출 관계, 오류 메시지를 중심으로 제공하는 편이 효과적입니다.

    Q. 테스트 코드를 함께 주면 도움이 되나요?

    테스트는 프로그램이 기대하는 입력과 결과를 보여주므로 매우 유용합니다. 특히 경계값과 실패 조건을 포함한 테스트는 논리 오류를 찾는 데 도움이 됩니다.

    📚 함께 보면 좋은 글

    AI의 코드 분석 원리를 이해했다면 생성 결과가 달라지는 이유와 다른 형태의 데이터를 처리하는 방식도 함께 살펴보세요. 언어 모델이 정보를 해석하고 답을 만드는 전체 흐름을 연결해 이해할 수 있습니다.

    🔗 공식 자료

    📖 출처

    • OpenAI Developer Documentation — Code generation
    • Python Documentation — ast, Abstract Syntax Trees
    • Tree-sitter 공식 문서 — Introduction 및 Using Parsers
    • GitHub Docs — Navigating code on GitHub
    • GitHub Docs — Using GitHub Copilot to explore projects
    • GitHub Docs — What is GitHub Copilot?
    Link&Tem 한 줄 정리

    AI는 코드를 사람처럼 실행 경험으로 이해하는 것이 아니라 토큰, 문법 구조, 변수와 함수의 관계, 프로젝트 문맥을 바탕으로 의미를 추론합니다. 따라서 정확한 코드 분석을 위해서는 관련 파일과 실행 환경을 제공하고, 생성된 결과는 반드시 테스트와 사람의 검토를 거쳐야 합니다.

  • Projects 내부 동작|ChatGPT 프로젝트는 어떻게 정보를 관리할까?

    Projects 내부 동작|ChatGPT 프로젝트는 어떻게 정보를 관리할까?

    LINK&TEM GUIDE

    Projects 내부 동작

    프로젝트(Project)는 ChatGPT 안에서 어떻게 지식을 기억하고 활용할까?

    📌 핵심 요약
    • Projects는 단순한 폴더가 아니라 전용 작업 공간이다.
    • 프로젝트 안에서는 별도의 지침과 파일이 함께 컨텍스트로 사용된다.
    • 일반 메모리와 Projects는 서로 역할이 다르다.
    • 대화를 이어갈수록 프로젝트 내부 정보가 함께 활용된다.
    • 파일·지침·대화가 하나의 작업 환경으로 결합된다.

    ChatGPT를 오래 사용하다 보면 Projects(프로젝트) 기능을 만나게 됩니다. 처음에는 단순히 여러 채팅을 묶어 놓은 폴더처럼 보이지만, 실제 내부 동작은 훨씬 복잡합니다.

    Projects는 단순한 채팅 정리 기능이 아닙니다. 하나의 프로젝트 안에는 사용자가 직접 작성한 프로젝트 지침(Project Instructions), 업로드한 파일, 같은 프로젝트 안에서 진행된 여러 대화가 함께 관리됩니다. 새로운 대화를 시작하더라도 이 정보들이 필요한 상황에서 함께 활용될 수 있기 때문에 일반 채팅과는 성격이 다릅니다.

    예를 들어 블로그를 운영하는 사람이 모든 글을 하나의 프로젝트에서 작성한다고 가정해 보겠습니다. 프로젝트 안에는 HTML 템플릿, 작성 규칙, 브랜드 디자인, 이전 글에서 사용했던 표현 방식 등이 저장됩니다. 이후 새로운 글을 작성할 때는 매번 모든 내용을 다시 설명하지 않아도 프로젝트 내부 자료를 참고하여 일관된 결과를 만들 수 있습니다.

    이 때문에 많은 사용자가 Projects를 단순한 폴더가 아니라 “전용 작업 공간”이라고 표현합니다. 실제로는 AI가 작업에 필요한 정보를 한곳에서 관리하도록 도와주는 구조에 가깝습니다.


    1. Projects는 무엇일까?

    Projects는 하나의 목적을 위해 여러 대화를 묶고, 필요한 자료를 함께 관리하는 작업 공간입니다. 일반 채팅에서는 대화 하나가 하나의 컨텍스트가 되지만, Projects에서는 여러 요소가 동시에 연결됩니다.

    프로젝트 내부에는 크게 네 가지 요소가 존재합니다.

    구성 요소 역할
    프로젝트 지침 모든 대화에서 기본적으로 참고하는 규칙
    업로드 파일 문서·PDF·HTML 등 작업 자료
    프로젝트 대화 같은 프로젝트 안의 여러 채팅
    사용자 메모리 사용자의 장기적인 선호 정보

    즉 Projects는 하나의 채팅이 아니라 다양한 정보가 모여 있는 작업 환경이라고 이해하는 것이 맞습니다.

    💡 Link&Tem TIP

    프로젝트 안에서 새로운 채팅을 시작했다고 해서 완전히 처음부터 시작하는 것은 아닙니다. 프로젝트 지침과 업로드된 자료는 계속 유지되므로 반복 작업을 크게 줄일 수 있습니다.
    🔍 Link&Tem Insight

    OpenAI 공식 문서에서도 Projects는 단순한 대화 보관 기능이 아니라 프로젝트별 지침과 파일을 함께 사용하는 작업 공간으로 설명합니다. 즉 “채팅을 폴더에 넣는다”보다 “작업 환경을 만든다”는 개념이 더 정확합니다.

    2. 새로운 대화를 시작하면 내부에서는 무슨 일이 일어날까?

    사용자가 Projects 안에서 새로운 채팅을 생성하면 AI는 먼저 현재 프로젝트에 연결되어 있는 설정을 확인합니다. 일반 채팅에서는 시스템 지침과 현재 대화만 사용하지만, Projects에서는 프로젝트 전용 지침도 함께 적용됩니다.

    이후 필요한 경우 프로젝트에 업로드된 문서를 검색하고, 현재 질문과 관련성이 높은 내용을 찾아 컨텍스트에 포함합니다. 즉 모든 파일을 한꺼번에 읽는 것이 아니라 필요한 부분을 선택적으로 가져오는 방식입니다.

    마지막으로 현재 사용자의 질문과 프로젝트 지침, 검색된 파일 내용, 현재 대화를 함께 조합하여 응답을 생성합니다.

    Projects 내부 처리 순서
    1. 현재 질문 분석
    2. 프로젝트 지침 적용
    3. 관련 파일 검색
    4. 필요한 내용만 컨텍스트 구성
    5. 최종 답변 생성

    이 과정은 사용자가 직접 보기는 어렵지만, 결과적으로 같은 프로젝트 안에서는 보다 일관된 답변이 생성되는 이유가 됩니다.

    Part 1 정리

    Projects는 단순한 폴더가 아니라 프로젝트 지침, 업로드 파일, 여러 대화, 사용자 메모리가 함께 동작하는 작업 공간입니다. 다음 Part에서는 프로젝트 지침과 메모리의 차이, 파일 검색 방식, 컨텍스트 구성 원리를 더 깊게 살펴보겠습니다.

    3. Projects와 ChatGPT 메모리는 무엇이 다를까?

    많은 사용자가 Projects와 ChatGPT 메모리를 같은 기능으로 생각하지만 실제 역할은 상당히 다릅니다. 둘 다 AI가 이전 정보를 활용한다는 공통점은 있지만 저장되는 대상과 활용 범위가 완전히 다릅니다.

    Projects는 특정 프로젝트 안에서만 사용하는 작업 정보를 관리하는 공간입니다. 반면 ChatGPT 메모리는 프로젝트를 넘어 계정 전체에서 장기간 활용할 수 있는 사용자 정보를 저장합니다.

    항목 Projects 메모리
    적용 범위 현재 프로젝트 계정 전체
    저장 내용 파일, 프로젝트 규칙 사용자 선호사항
    삭제 시 영향 프로젝트만 영향 전체 대화 영향
    주요 목적 작업 관리 개인화

    예를 들어 사용자가 “항상 존댓말로 답변해 달라”와 같은 내용을 저장하면 메모리에 기록되어 다른 프로젝트에서도 그대로 적용될 수 있습니다.

    반면 “이 프로젝트에서는 Link&Tem HTML 템플릿을 사용한다”와 같은 내용은 프로젝트 규칙이므로 다른 프로젝트에는 영향을 주지 않습니다.

    💡 Link&Tem TIP

    브랜드별 작업을 한다면 각각 별도의 Project를 만드는 것이 좋습니다. 프로젝트 규칙이 서로 섞이지 않아 훨씬 안정적인 결과를 얻을 수 있습니다.
    🔍 Link&Tem Insight

    Projects는 장기 기억 장치라기보다 작업 전용 컨텍스트를 구성하는 시스템에 가깝습니다. 실제 개인 정보나 선호사항은 메모리 기능이 담당하고, 프로젝트는 특정 작업 환경을 재현하는 역할을 수행합니다.

    4. 업로드한 파일은 모두 항상 읽을까?

    많은 사람이 프로젝트에 파일을 넣으면 AI가 항상 모든 파일을 처음부터 끝까지 읽는다고 생각합니다. 하지만 실제 동작 방식은 그렇지 않습니다.

    프로젝트 안에 파일이 여러 개 있더라도 AI는 질문과 관련성이 높은 파일을 먼저 찾습니다. 그리고 필요한 부분만 검색하여 현재 컨텍스트에 포함합니다.

    예를 들어 프로젝트 안에 HTML 템플릿, 브랜드 규칙, PDF 문서, 이미지, 이전 보고서가 함께 들어 있다고 가정해 보겠습니다.

    사용자가 HTML을 생성해 달라고 요청했다면 HTML 템플릿과 규칙 문서가 우선적으로 검색됩니다. 반대로 PDF 분석을 요청하면 PDF 내용이 먼저 선택됩니다.

    즉 모든 자료를 항상 동시에 사용하는 것이 아니라 질문에 따라 필요한 자료를 선별하는 구조입니다.

    질문에 따른 검색 예시
    • HTML 작성 → HTML 템플릿 우선
    • PDF 분석 → PDF 우선 검색
    • 브랜드 규칙 질문 → 규칙 문서 검색
    • 이미지 수정 → 이미지 파일 활용

    5. Projects는 컨텍스트를 어떻게 구성할까?

    GPT는 한 번에 사용할 수 있는 컨텍스트 길이가 제한되어 있습니다. 따라서 프로젝트에 아무리 많은 자료가 있어도 모든 내용을 한 번에 넣지는 않습니다.

    대신 현재 질문을 분석한 뒤 가장 관련성이 높은 정보만 선택하여 현재 컨텍스트를 구성합니다. 이렇게 해야 토큰을 효율적으로 사용할 수 있고 응답 속도도 유지할 수 있습니다.

    쉽게 말하면 프로젝트는 거대한 도서관이고, 컨텍스트는 현재 책상 위에 펼쳐 놓은 책이라고 생각하면 이해하기 쉽습니다.

    💡 쉽게 이해하기

    도서관에 책이 1만 권 있어도 지금 읽는 책은 몇 권뿐입니다. Projects도 동일합니다. 필요한 자료만 현재 컨텍스트로 가져와 답변을 생성합니다.
    🔍 Link&Tem Insight

    프로젝트가 커질수록 AI가 모든 내용을 동시에 기억하는 것이 아니라 검색 품질이 더욱 중요해집니다. 따라서 문서 제목과 구조를 잘 정리하면 필요한 자료를 더 정확하게 찾아 활용할 가능성이 높아집니다.

    Part 2 정리

    Projects는 메모리와는 다른 역할을 수행하며, 질문에 맞는 파일만 선택적으로 검색하여 현재 컨텍스트를 구성합니다. 마지막 Part에서는 프로젝트의 한계, 자주 하는 오해, FAQ, 함께 보면 좋은 글, 공식 자료와 출처를 정리합니다.

    6. Projects에도 한계는 있을까?

    Projects는 매우 편리한 작업 공간이지만 모든 정보를 무한히 기억하는 시스템은 아닙니다. 프로젝트 안에 수많은 파일이 존재하더라도 현재 질문과 관련성이 낮은 자료는 컨텍스트에 포함되지 않을 수 있습니다.

    또한 프로젝트에 같은 내용이 여러 문서에 반복되어 있거나 서로 다른 규칙이 함께 존재하면 AI가 어떤 내용을 우선해야 하는지 판단하는 과정이 복잡해질 수 있습니다. 따라서 프로젝트를 오래 사용할수록 문서를 정리하고 오래된 규칙을 삭제하는 관리 작업도 중요합니다.

    OpenAI 역시 Projects를 지속적으로 개선하고 있지만, 현재도 컨텍스트 길이와 검색 품질이라는 두 가지 요소의 영향을 받습니다. 프로젝트가 커질수록 검색 구조를 잘 설계하는 것이 결과 품질을 좌우하게 됩니다.

    자주 하는 실수
    • 같은 규칙 파일을 여러 개 업로드한다.
    • 오래된 문서를 그대로 남겨 둔다.
    • 프로젝트 목적과 다른 자료를 계속 추가한다.
    • 모든 파일이 항상 동시에 사용된다고 생각한다.
    • 메모리와 Projects를 같은 기능으로 이해한다.
    💡 Link&Tem TIP

    프로젝트는 하나의 목적만 담당하도록 만드는 것이 좋습니다. 블로그, 개발, 논문, 업무처럼 용도를 분리하면 검색 정확도와 응답 일관성이 크게 향상됩니다.

    🔍 Link&Tem Insight

    프로젝트 품질은 AI 성능보다 프로젝트를 얼마나 잘 설계했는지의 영향을 많이 받습니다. 실제 업무에서는 필요한 규칙만 남기고 프로젝트를 가볍게 유지하는 것이 검색 효율을 높이는 가장 좋은 방법 중 하나입니다.

    7. Projects를 가장 효율적으로 사용하는 방법

    Projects를 잘 활용하려면 AI에게 모든 것을 맡기기보다 작업 환경을 체계적으로 구성하는 것이 중요합니다.

    추천 방법 이유
    프로젝트 목적 분리 관련 자료 검색 정확도 향상
    프로젝트 규칙 작성 일관된 결과 유지
    불필요한 파일 삭제 검색 효율 개선
    파일 제목 정리 관련 문서 탐색 속도 향상
    규칙 문서 최신화 오래된 지침 사용 방지

    ❓ 자주 묻는 질문(FAQ)

    Q. Projects는 모든 파일을 항상 읽나요?

    아닙니다. 질문과 관련성이 높은 파일만 선택적으로 검색하여 현재 컨텍스트에 포함합니다.

    Q. 메모리와 Projects는 같은 기능인가요?

    아닙니다. 메모리는 계정 전체의 개인화 정보를 저장하고 Projects는 특정 작업 공간을 구성합니다.

    Q. 프로젝트를 많이 만들면 성능이 떨어지나요?

    프로젝트 개수보다 각 프로젝트 내부 자료가 얼마나 잘 정리되어 있는지가 더 큰 영향을 줍니다.

    Q. 프로젝트를 삭제하면 메모리도 삭제되나요?

    아닙니다. 프로젝트 삭제와 메모리 삭제는 서로 다른 기능입니다.

    Q. 프로젝트 없이도 같은 기능을 사용할 수 있나요?

    가능하지만 반복 작업이 많은 경우에는 Projects를 사용하는 편이 훨씬 효율적입니다.

    📚 함께 보면 좋은 글

    Projects를 이해했다면 아래 주제들을 함께 읽으면 ChatGPT가 내부적으로 어떻게 동작하는지 전체 흐름을 이해하는 데 도움이 됩니다.

    🔗 공식 자료

    📖 출처

    • OpenAI Help Center
    • Using Projects in ChatGPT
    • OpenAI File Uploads FAQ
    • OpenAI Memory 관련 공식 문서
    • OpenAI ChatGPT 공식 도움말
    Link&Tem 한 줄 정리

    Projects는 단순한 채팅 폴더가 아니라 프로젝트 지침, 업로드 파일, 대화 기록을 하나의 작업 환경으로 묶어 필요한 정보만 선택적으로 활용하는 전용 작업 공간입니다.

  • GPT는 어떻게 다음 단어를 예측할까?|Transformer와 토큰 예측 원리

    GPT는 어떻게 다음 단어를 예측할까?|Transformer와 토큰 예측 원리

    LINK&TEM GUIDE

    GPT는 어떻게 다음 단어를 예측할까?

    Transformer와 확률 계산으로 이해하는 GPT의 문장 생성 원리

    📌 핵심 요약
    • GPT는 문장을 통째로 외워서 출력하는 것이 아니라 다음 토큰의 확률을 계산합니다.
    • Transformer 구조와 Attention 메커니즘을 이용해 이전 문맥을 분석합니다.
    • 한 번에 한 단어가 아니라 수만 개 후보의 확률을 동시에 계산합니다.
    • Temperature, Top-p 같은 샘플링 방식이 최종 출력에 영향을 줍니다.
    • 예측을 반복하면서 긴 문장을 자연스럽게 이어갑니다.

    많은 사람들이 GPT를 사용할 때 “AI가 답을 알고 있어서 그대로 말해준다”라고 생각합니다. 하지만 실제 내부 동작은 조금 다릅니다. GPT는 정답을 데이터베이스에서 꺼내오는 방식이 아니라, 지금까지 입력된 문맥을 바탕으로 다음에 가장 올 가능성이 높은 토큰(Token)을 계산하는 과정을 수십 번에서 수천 번 반복하면서 문장을 만들어 갑니다.

    예를 들어 “대한민국의 수도는”이라는 문장을 입력하면 GPT는 수만 개 이상의 후보 토큰 가운데 “서울”이 가장 높은 확률을 가진다고 계산합니다. 그다음에는 “입니다”, “.”, “이며” 등 다음 후보를 다시 계산합니다. 이 과정을 매우 빠르게 반복하기 때문에 사람은 하나의 문장을 한 번에 생성한 것처럼 느끼게 됩니다.

    이번 글에서는 GPT가 다음 단어를 어떻게 예측하는지, Transformer와 Attention은 어떤 역할을 하는지, 왜 가끔 틀린 답을 만드는지까지 원리 중심으로 자세히 살펴보겠습니다.


    1. GPT는 ‘단어’가 아니라 ‘다음 토큰’을 예측한다

    가장 먼저 이해해야 하는 사실은 GPT가 사람처럼 단어를 이해하는 것이 아니라는 점입니다. GPT 내부에서는 문장이 토큰(Token)이라는 작은 단위로 분해됩니다. 토큰은 단어 하나일 수도 있고, 단어의 일부일 수도 있으며, 숫자나 특수문자 하나가 토큰이 되는 경우도 있습니다.

    예를 들어 “Artificial Intelligence”라는 문장은 여러 개의 토큰으로 나뉠 수 있고, 한국어 역시 조사나 어미가 별도의 토큰으로 분리되는 경우가 많습니다. 즉 GPT는 “문장 전체”를 처리하는 것이 아니라 “토큰의 연속”을 처리하는 모델입니다.

    모델이 학습하는 목표도 매우 단순합니다. 바로 현재까지 입력된 토큰을 보고 다음 토큰이 무엇일지를 맞히는 것입니다. 이것을 Next Token Prediction(다음 토큰 예측)이라고 부릅니다.

    💡 Link&Tem TIP

    GPT는 “문장의 의미를 먼저 이해한 뒤 답을 만든다”기보다, 이전 토큰을 바탕으로 가장 자연스러운 다음 토큰을 반복적으로 선택하면서 결과적으로 의미 있는 문장을 만들어 냅니다.

    2. 다음 단어의 확률은 어떻게 계산할까?

    예를 들어 사용자가 “오늘 날씨가”라고 입력했다고 가정해 보겠습니다. GPT는 이어질 수 있는 모든 토큰 후보를 동시에 계산합니다.

    후보는 “좋다”, “맑다”, “춥다”, “비가”, “어때”, “.”처럼 매우 다양하며 실제로는 수만 개 이상의 토큰이 대상이 됩니다. 모델은 각각의 후보에 대해 확률을 계산한 뒤 가장 적절한 후보를 선택합니다.

    후보 토큰 예측 확률
    맑습니다 46%
    좋습니다 22%
    흐립니다 18%
    기타 후보 14%

    물론 실제 모델은 이런 단순한 숫자가 아니라 수만 개 토큰에 대한 확률 분포를 동시에 계산합니다. GPU에서 매우 큰 행렬 연산이 이루어지기 때문에 이러한 계산이 몇 초 안에 끝날 수 있습니다.

    Link&Tem Insight GPT는 정답을 저장해 둔 검색 시스템이 아닙니다. 신경망 내부의 수십억 개 파라미터를 이용해 “현재 문맥이라면 어떤 토큰이 가장 자연스러운가”를 수학적으로 계산하는 확률 모델입니다.

    3. Transformer가 중요한 이유

    GPT의 핵심 구조는 Transformer입니다. 이전 세대의 RNN이나 LSTM은 문장을 순서대로 읽어야 했지만 Transformer는 입력 전체를 동시에 분석할 수 있습니다. 이 덕분에 훨씬 긴 문맥을 빠르게 처리할 수 있게 되었습니다.

    Transformer 안에서 가장 중요한 요소는 Self-Attention입니다. Self-Attention은 현재 토큰을 예측할 때 앞에 있는 어떤 단어가 중요한지를 계산합니다.

    예를 들어 “철수는 학교에 갔지만 우산을 가져오지 않았다. 그래서 그는…”이라는 문장이 있다면 “그는”이 누구를 의미하는지 판단하기 위해 앞부분의 “철수”에 높은 Attention을 부여하게 됩니다.

    4. Attention은 무엇을 하는 기능일까?

    Attention은 “중요도를 계산하는 장치”라고 이해하면 쉽습니다. 모든 이전 토큰을 동일하게 보는 것이 아니라 현재 예측에 도움이 되는 부분에 더 높은 가중치를 줍니다.

    이러한 구조 덕분에 GPT는 수천 개 토큰이 이어지는 긴 대화에서도 앞에서 언급한 개념을 어느 정도 유지하며 답변할 수 있습니다. 물론 컨텍스트 길이를 초과하면 오래된 내용부터 처리 대상에서 제외됩니다.

    실수하기 쉬운 부분

    Attention은 “기억장치”가 아닙니다. 현재 입력 안에서 어떤 정보가 중요한지를 계산하는 메커니즘이며, 장기 기억과는 다른 개념입니다.
    Link&Tem Insight OpenAI를 비롯한 대부분의 최신 대규모 언어 모델은 Transformer 기반 구조를 사용합니다. 모델 규모가 커질수록 단순히 데이터를 더 외우는 것이 아니라 문맥 속 패턴을 더 정교하게 학습할 수 있게 됩니다.
    Part 1 정리

    GPT는 문장을 통째로 만드는 것이 아니라 다음 토큰을 하나씩 예측하면서 문장을 생성합니다. 이를 위해 Transformer와 Self-Attention이 이전 문맥의 중요도를 계산하고, 수만 개 후보 토큰의 확률을 비교하여 가장 적절한 출력을 선택합니다. 다음에서는 Temperature와 Top-p, 왜 GPT가 틀린 답을 만드는지, 실제 생성 과정과 FAQ를 이어서 살펴보겠습니다.

    5. Temperature와 Top-p는 왜 필요한가?

    GPT는 항상 가장 높은 확률의 토큰만 선택하는 것은 아닙니다. 만약 항상 1등 후보만 선택한다면 답변이 지나치게 반복되고 창의성이 크게 떨어질 수 있습니다. 그래서 실제 생성 과정에서는 여러 샘플링(Sampling) 기법이 사용됩니다.

    대표적인 것이 Temperature입니다. Temperature 값이 낮으면 가장 높은 확률의 토큰을 거의 그대로 선택하게 되어 답변이 일관되고 안정적입니다. 반대로 Temperature를 높이면 확률이 조금 낮은 후보도 선택될 가능성이 커져 다양한 표현과 창의적인 답변이 만들어질 수 있습니다.

    Top-p(Nucleus Sampling)는 누적 확률이 일정 수준이 되는 후보만 남긴 뒤 그 안에서 토큰을 선택하는 방식입니다. 예를 들어 누적 확률 90% 안에 포함되는 후보만 대상으로 삼아 너무 가능성이 낮은 단어는 제외합니다.

    설정 특징
    Temperature 낮음 일관성 높은 답변, 반복 가능성 증가
    Temperature 높음 다양한 표현, 창의성 증가
    Top-p 가능성 높은 후보만 선택하여 품질 유지
    💡 Link&Tem TIP

    같은 질문을 GPT에게 여러 번 했는데 답변이 조금씩 다른 이유도 바로 이러한 샘플링 과정 때문입니다.

    6. 문장은 어떻게 계속 이어질까?

    GPT는 토큰 하나를 생성했다고 해서 작업이 끝나는 것이 아닙니다. 생성된 토큰을 다시 입력의 일부로 추가한 뒤 다음 토큰을 다시 예측합니다.

    예를 들어 “오늘은” → “날씨가” → “맑습니다” → “.” 순으로 하나씩 생성되며, 새로 생성된 토큰도 다음 계산에 포함됩니다. 결국 GPT는 매번 같은 작업을 반복하면서 긴 문장을 완성하게 됩니다.

    GPT 문장 생성 과정
    1. 입력 토큰 분석
    2. Attention으로 문맥 계산
    3. 다음 토큰 확률 계산
    4. 가장 적절한 후보 선택
    5. 선택된 토큰을 다시 입력에 추가
    6. 반복하여 문장 완성

    7. GPT는 왜 틀린 답을 만들까?

    GPT는 확률적으로 가장 자연스러운 토큰을 선택하는 모델입니다. 따라서 항상 사실을 확인하는 시스템은 아닙니다.

    학습 데이터에 충분한 정보가 없거나 문맥이 모호하면 가장 그럴듯한 문장을 이어 붙이게 됩니다. 이것이 흔히 말하는 Hallucination(환각) 현상입니다.

    즉 GPT는 거짓말을 하려는 것이 아니라 현재 문맥에서 가장 가능성이 높은 답을 생성하는 과정에서 실제 사실과 다른 내용을 출력할 수도 있습니다.

    주의할 점

    GPT의 답변이 자연스럽다고 해서 반드시 사실이라는 의미는 아닙니다. 특히 법률, 의료, 금융처럼 정확성이 중요한 분야에서는 공식 자료와 함께 확인하는 것이 좋습니다.

    8. 검색 엔진과 GPT의 차이

    GPT 검색 엔진
    다음 토큰 예측 웹 문서 검색
    확률 기반 생성 기존 자료 제공
    문맥 이해 강점 최신 정보 강점
    환각 가능성 존재 원문 확인 가능
    Link&Tem Insight 최근 AI 서비스는 단순한 언어 모델만 사용하는 것이 아니라 검색(RAG), 외부 도구 호출, 실시간 데이터 조회 등을 함께 사용하여 환각을 줄이고 최신 정보를 제공하는 방향으로 발전하고 있습니다.

    9. 자주 묻는 질문(FAQ)

    Q. GPT는 모든 답을 외우고 있나요?

    아닙니다. 학습한 패턴을 이용해 다음 토큰의 확률을 계산하여 문장을 생성합니다.

    Q. 왜 같은 질문에도 답이 달라질 수 있나요?

    Temperature와 Top-p 같은 샘플링 방식 때문에 확률이 비슷한 후보가 선택될 수 있기 때문입니다.

    Q. GPT는 검색을 하나요?

    기본 언어 모델은 검색 없이 토큰을 예측합니다. 다만 일부 서비스는 검색 기능을 함께 사용합니다.

    Q. Transformer가 중요한 이유는 무엇인가요?

    긴 문맥을 동시에 분석하고 중요한 단어를 선택적으로 참고할 수 있기 때문에 자연스러운 문장 생성이 가능합니다.

    Q. GPT가 틀린 답을 만드는 이유는 무엇인가요?

    사실을 검색하는 것이 아니라 가장 가능성이 높은 토큰을 예측하는 모델이기 때문에 문맥에 따라 잘못된 내용을 생성할 수도 있습니다.

    📚 함께 보면 좋은 글

    GPT의 동작 원리를 더 깊게 이해하려면 아래 주제도 함께 읽어보세요. 토큰 처리부터 컨텍스트 관리, 문서와 표를 이해하는 방식까지 AI 내부 동작을 이어서 살펴볼 수 있습니다.

    🔗 공식 자료

    📖 출처

    • OpenAI Documentation
    • OpenAI Research
    • Attention Is All You Need (Vaswani et al., 2017)
    • Hugging Face Transformers Documentation
    • Google Machine Learning Crash Course
    Link&Tem 한 줄 정리

    GPT는 답을 저장해 두었다가 꺼내오는 AI가 아니라, 지금까지의 문맥을 바탕으로 다음 토큰의 확률을 계산하는 과정을 매우 빠르게 반복하면서 자연스러운 문장을 생성하는 확률 기반 언어 모델입니다.