AI는 표를 어떻게 이해할까?
행과 열을 읽는 것이 아니라 구조와 관계를 토큰으로 이해하는 과정
- AI는 화면에 보이는 표 모양을 그대로 이해하지 않는다.
- 표는 텍스트와 구조 정보로 변환된 뒤 토큰 단위로 처리된다.
- 행과 열의 관계를 유지하는 전처리 과정이 정확도를 크게 좌우한다.
- 병합 셀이나 빈 셀은 AI가 가장 많이 실수하는 요소 중 하나다.
- CSV, Markdown 표, HTML Table은 서로 다른 방식으로 처리된다.
사람은 표를 보면 자연스럽게 가로와 세로를 따라 데이터를 읽는다. 열 제목을 먼저 확인하고, 원하는 행을 찾은 뒤 값을 비교한다. 하지만 AI는 사람처럼 화면을 바라보지 않는다. AI에게 표는 이미지도 아니고 스프레드시트도 아니다. 결국은 토큰으로 변환된 텍스트이며, 그 안에서 구조와 관계를 추론하는 과정이 핵심이다.
그래서 같은 데이터라도 어떤 형식으로 전달했는지에 따라 AI의 이해도는 크게 달라질 수 있다. HTML 표인지, Markdown 표인지, CSV인지, PDF 안의 표인지에 따라 전처리 과정이 달라지고, 이 과정에서 정보가 손실되면 AI는 잘못된 답을 만들 가능성이 높아진다.
이번 글에서는 AI가 표를 실제로 어떻게 읽는지, 행과 열의 관계를 어떻게 유지하는지, 그리고 어떤 경우에 표를 잘못 이해하는지까지 단계별로 살펴보겠다.
1. AI는 표를 ‘그림’으로 보지 않는다
많은 사람이 AI가 표를 사람처럼 시각적으로 본다고 생각한다. 하지만 대부분의 언어 모델은 먼저 표를 텍스트 구조로 변환한 뒤 이를 토큰으로 분해한다. 즉 “A1 셀”이나 “B3 셀”을 직접 보는 것이 아니라, 어떤 값이 어떤 제목 아래에 위치하는지 관계를 추론하는 것이다.
예를 들어 아래와 같은 표가 있다고 가정해 보자.
사람은 이 표를 한눈에 읽지만 AI는 “제품=A, 가격=10000원, 재고=5개”와 같은 관계를 내부적으로 구성하면서 이해한다. 결국 중요한 것은 셀 자체보다 “어떤 데이터가 어떤 제목과 연결되는가”이다.
AI는 표를 사진처럼 읽는 것이 아니라 관계형 데이터처럼 해석한다. 따라서 표 모양보다 행과 열의 연결 정보가 훨씬 중요하다.
2. 표는 먼저 텍스트 구조로 변환된다
언어 모델은 표를 바로 처리하지 않는다. 먼저 입력 형식에 따라 구조를 추출한다. HTML이라면 table, tr, td 태그를 분석하고, Markdown이라면 파이프(|)와 구분선을 이용해 행과 열을 구분한다. CSV는 쉼표와 줄바꿈을 이용해 데이터를 분리한다.
즉 AI가 보는 것은 “예쁜 표”가 아니라 일정한 규칙을 가진 텍스트 구조이다.
- 표 형식 분석
- 행과 열 분리
- 각 셀을 토큰으로 변환
- 행-열 관계 저장
- 질문과 연결하여 필요한 셀 탐색
3. 토큰은 표 안에서도 계속 사용된다
앞에서 살펴본 것처럼 GPT는 모든 입력을 토큰으로 처리한다. 표 역시 예외가 아니다. 숫자, 문자열, 통화 기호, 날짜는 모두 각각 여러 개의 토큰으로 나뉠 수 있다.
예를 들어 “2026-07-17″이라는 날짜 하나도 여러 개의 토큰으로 분리될 수 있으며, 긴 표에서는 이러한 토큰이 빠르게 증가한다.
그래서 행이 수천 개인 스프레드시트를 그대로 입력하면 컨텍스트 한도를 넘기기 쉽다. 실제 업무에서는 필요한 열만 추출하거나 요약한 뒤 AI에 전달하는 이유가 여기에 있다.
4. AI가 표를 어려워하는 경우
모든 표를 완벽하게 이해하는 것은 아니다. 특히 사람에게는 자연스러운 표라도 구조가 복잡하면 AI는 관계를 잘못 연결할 수 있다.
사람은 병합 셀을 직관적으로 이해하지만 AI는 병합된 영역을 어느 행에 연결해야 하는지 먼저 판단해야 한다. 이 과정이 잘못되면 이후 계산도 모두 틀릴 수 있다.
AI는 표를 화면 그대로 읽는 것이 아니라 텍스트 구조와 토큰으로 변환한 뒤 행과 열의 관계를 추론한다. 따라서 표의 구조가 단순할수록 이해가 쉬워지고, 병합 셀이나 PDF처럼 구조가 복잡할수록 전처리 과정의 품질이 정확도를 결정한다. 다음에서는 HTML 표, Markdown 표, CSV, PDF 표의 차이와 실제 AI가 표를 검색하고 계산하는 내부 과정을 계속 살펴보겠다.
5. HTML 표와 Markdown 표는 왜 더 잘 이해할까?
AI가 가장 안정적으로 이해하는 표 형식은 구조 정보가 명확한 형식이다. 대표적인 예가 HTML Table과 Markdown Table이다. 두 형식 모두 행과 열이 어디에서 시작하고 끝나는지 명확하게 구분되어 있기 때문에 모델이 관계를 유지하기 쉽다.
반면 사람이 보기 좋게 만든 이미지 표나 PDF 안의 표는 먼저 구조를 복원하는 과정이 필요하다. 이 과정에서 행과 열이 잘못 연결되면 이후의 모든 분석도 영향을 받는다.
실제 업무에서도 데이터를 AI에게 전달할 때 CSV나 HTML 형식을 선호하는 이유가 여기에 있다. 불필요한 레이아웃 없이 데이터의 관계를 그대로 전달할 수 있기 때문이다.
6. AI는 필요한 셀만 찾아서 답할까?
AI는 엑셀처럼 특정 셀 주소를 직접 읽는 것이 아니다. 질문을 먼저 이해한 뒤, 질문과 관련된 행과 열을 찾고 그 주변 정보를 함께 참고하는 방식으로 답을 만든다.
예를 들어 “가장 비싼 제품은 무엇인가?”라는 질문을 받으면 AI는 먼저 가격 열을 찾는다. 그다음 가격 값을 비교하고, 가장 큰 값을 가진 행에서 제품 이름을 함께 찾아 최종 답변을 생성한다.
즉 셀 하나만 읽는 것이 아니라 여러 행과 열의 관계를 동시에 고려하는 과정이 이루어진다.
- 질문 의미 분석
- 관련 열 탐색
- 조건에 맞는 행 선택
- 주변 셀과 관계 확인
- 자연어 답변 생성
7. 계산도 직접 하는 것일까?
표를 보고 평균이나 합계를 계산하는 것처럼 보이지만, 실제로는 모델이 내부 추론을 통해 계산을 수행하거나 필요한 계산 과정을 생성한다. 단순한 계산은 비교적 정확하지만 데이터가 매우 많거나 소수점 계산이 복잡해지면 오류가 발생할 가능성도 있다.
그래서 대규모 데이터 분석에서는 Python 같은 계산 도구나 스프레드시트 기능과 함께 사용하는 방식이 널리 활용된다. 언어 모델은 데이터를 이해하고 설명하는 데 강하고, 계산 전문 도구는 정확한 수치 계산을 담당하는 구조가 일반적이다.
8. PDF 안의 표는 왜 더 어렵게 읽을까?
PDF는 원래 사람이 보기 위한 문서 형식이다. 따라서 내부에는 반드시 “표”라는 정보가 저장되는 것이 아니라 글자 위치와 좌표만 저장되는 경우가 많다.
AI는 먼저 PDF에서 텍스트를 추출하고, 좌표를 이용해 어떤 글자가 같은 행과 열에 속하는지 추정해야 한다. 이 과정에서 줄바꿈이 잘못되거나 병합 셀이 많으면 표 구조가 무너질 수 있다.
이 때문에 같은 데이터라도 원본 Excel보다 PDF가 분석 정확도가 낮아질 가능성이 있다.
최근의 멀티모달 AI는 이미지와 레이아웃까지 함께 분석할 수 있지만, 최종적으로 언어 모델이 사용하는 정보는 대부분 구조화된 텍스트 형태로 변환된다. 즉 시각 분석과 언어 이해가 함께 동작하는 구조라고 볼 수 있다.
9. 자주 묻는 질문
엑셀 파일 자체보다 내부의 셀 구조와 데이터를 추출한 뒤 이를 토큰으로 변환하여 이해합니다.
표 자체보다 토큰 수가 많아질수록 컨텍스트 한도에 가까워질 수 있으며 필요한 정보가 생략될 가능성이 높아집니다.
병합 셀은 어느 행과 열에 속하는지 추가 추론이 필요하기 때문에 구조가 잘못 해석될 가능성이 있습니다.
CSV는 이미 행과 열이 구조화되어 있어 별도의 표 복원 과정이 거의 필요하지 않습니다.
셀 주소를 텍스트로 전달하면 이해할 수 있지만 일반적으로는 행과 열의 의미를 중심으로 관계를 분석합니다.
📚 함께 보면 좋은 글
AI가 표를 이해하는 원리를 알았다면 토큰, 컨텍스트, PDF 처리 방식까지 함께 살펴보면 전체 동작 구조를 훨씬 쉽게 이해할 수 있습니다.
🔗 공식 자료
📖 출처
- OpenAI Platform Documentation
- W3C HTML Tables Specification
- WHATWG HTML Living Standard
- Markdown Guide
- RFC 4180 (CSV Format)
AI는 표를 그림으로 읽지 않는다. 행과 열의 관계를 구조화하고 토큰으로 변환한 뒤 필요한 데이터를 추론하는 방식으로 이해하며, 표의 형식과 전처리 품질이 최종 정확도를 결정하는 가장 중요한 요소다.