사람은 사진을 보는 순간 자동차, 사람, 나무를 거의 즉시 구분합니다. 하지만 AI에게 이미지는 처음부터 의미 있는 장면이 아닙니다. 컴퓨터가 받아들이는 것은 단순한 숫자의 집합이며, 그 숫자 속에서 규칙을 찾아 의미를 만들어내는 과정이 바로 이미지 인식입니다.

최근 ChatGPT, Gemini, Claude와 같은 멀티모달 AI가 사진을 분석하거나 문서를 이해하는 기능을 제공하면서 “AI는 이미지를 어떻게 보는가?”라는 궁금증도 함께 커지고 있습니다. 실제로 AI는 눈을 가지고 있는 것이 아니라 수백만 개의 픽셀 값을 수학적으로 분석해 패턴을 찾아내는 방식으로 이미지를 이해합니다.

이번 글에서는 이미지가 AI 내부에서 어떤 데이터로 변환되는지, 특징을 어떻게 추출하는지, CNN과 Vision Transformer가 어떤 차이를 가지는지, 그리고 왜 AI가 사람보다 잘 인식하는 경우도 있고 실수하는 경우도 있는지까지 순서대로 살펴보겠습니다.

---

1. AI에게 이미지는 무엇일까?

사람이 사진을 보면 먼저 의미를 이해하지만 AI는 전혀 다른 방식으로 시작합니다. AI에게 이미지는 수백만 개의 숫자가 일정한 순서로 나열된 행렬(Matrix)입니다. 스마트폰으로 찍은 사진 한 장도 내부에서는 빨강(R), 초록(G), 파랑(B) 값으로 표현되는 수많은 숫자의 집합입니다.

예를 들어 1920×1080 해상도의 컬러 이미지는 약 200만 개의 픽셀을 가지고 있으며, 각각의 픽셀에는 RGB 값이 저장됩니다. 즉 AI는 처음부터 “고양이”나 “자동차”를 보는 것이 아니라 수백만 개의 숫자를 입력받아 그 안에서 규칙을 찾기 시작합니다.

그래서 이미지 인식은 ‘사진을 보는 과정’이 아니라 ‘숫자를 분석하는 과정’이라고 이해하는 것이 더 정확합니다.

2. AI는 가장 먼저 무엇을 찾을까?

이미지를 입력받은 AI는 처음부터 자동차나 사람을 찾지 않습니다. 가장 먼저 찾는 것은 밝기의 변화, 색상의 경계, 직선, 곡선 같은 매우 단순한 특징입니다.

초기 층에서는 모서리와 선을 인식하고, 중간 층에서는 원이나 사각형 같은 형태를 조합합니다. 마지막 단계에서는 바퀴, 얼굴, 창문, 눈과 같은 복합적인 특징을 만들어 객체 전체를 인식합니다.

학습 단계	AI가 찾는 정보
초기	색상, 밝기, 경계선
중간	모양, 패턴, 질감
후반	사람, 자동차, 동물 등 실제 객체

이처럼 AI는 작은 특징을 여러 번 조합하면서 점차 큰 의미를 만들어갑니다. 사람의 시각 피질이 단계적으로 정보를 처리하는 방식과 어느 정도 비슷한 아이디어를 참고한 구조입니다.

3. CNN은 이미지를 어떻게 분석할까?

오랫동안 이미지 인식의 핵심 기술은 CNN(Convolutional Neural Network)이었습니다. CNN은 이미지 전체를 한 번에 보는 것이 아니라 작은 창(Filter)을 움직이며 반복적으로 특징을 추출합니다.

이 필터는 사진 위를 조금씩 이동하면서 같은 작업을 계속 수행합니다. 이를 통해 직선, 곡선, 색상 변화와 같은 특징을 찾고, 여러 층을 거치면서 복잡한 객체를 만들어냅니다.

예를 들어 고양이를 인식할 경우 처음에는 털의 질감과 귀의 모양을 찾고, 이후에는 눈과 얼굴 형태를 결합해 최종적으로 ‘고양이’라는 결과를 출력합니다.

현재도 의료 영상, 산업 검사, 얼굴 인식 등에서는 CNN이 활발하게 사용되고 있습니다.

4. Vision Transformer는 무엇이 다를까?

최근 ChatGPT를 비롯한 최신 멀티모달 AI에서는 Vision Transformer(ViT)가 널리 활용됩니다. CNN이 작은 영역을 순서대로 분석하는 방식이라면 ViT는 이미지를 여러 개의 작은 패치(Patch)로 분할한 뒤 각각을 하나의 토큰처럼 처리합니다.

즉 GPT가 문장을 토큰으로 이해하는 것처럼 Vision Transformer는 이미지를 패치 단위의 토큰으로 이해합니다. 이후 Self-Attention을 이용해 서로 얼마나 관련 있는지를 계산하면서 전체 장면을 동시에 이해하려고 합니다.

덕분에 멀리 떨어진 객체 사이의 관계도 자연스럽게 분석할 수 있으며, 복잡한 장면 이해나 이미지와 텍스트를 함께 처리하는 멀티모달 AI에서 매우 높은 성능을 보여주고 있습니다.

5. 이미지 분류와 객체 탐지는 무엇이 다를까?

AI가 이미지를 인식한다고 말할 때는 여러 종류의 작업이 섞여 있습니다. 가장 단순한 작업은 이미지 분류입니다. 사진 전체를 보고 고양이, 자동차, 음식처럼 하나 이상의 범주를 예측하는 방식입니다.

이미지 분류 모델에 고양이 사진을 입력하면 모델은 사진 속 고양이의 위치를 정확히 표시하지 않고, 전체 이미지가 고양이일 확률을 계산합니다. 결과는 보통 “고양이 92%, 여우 5%, 개 3%”처럼 여러 후보와 확률 점수로 출력됩니다.

반면 객체 탐지는 사진에 무엇이 있는지뿐 아니라 어디에 있는지도 찾습니다. 이미지 안에 사람 세 명과 자동차 두 대가 있다면 각 객체 주변에 사각형을 표시하고 종류와 신뢰도 점수를 함께 출력합니다.

자율주행 자동차, 보안 카메라, 물류 자동화처럼 여러 객체의 위치를 실시간으로 판단해야 하는 시스템에서는 단순 분류보다 객체 탐지가 중요합니다.

작업	결과	활용 예시
이미지 분류	사진 전체의 종류를 예측	사진 자동 분류, 상품 카테고리 판별
객체 탐지	객체 종류와 위치를 함께 표시	자율주행, CCTV, 물류 검사
이미지 분할	픽셀 단위로 영역을 구분	의료 영상, 배경 제거, 위성 분석
이미지 캡션	장면을 자연어 문장으로 설명	접근성 기능, 이미지 검색, 멀티모달 AI

6. 이미지 분할은 왜 더 정밀할까?

객체 탐지가 사각형으로 물체의 대략적인 위치를 찾는다면 이미지 분할은 이미지의 모든 픽셀이 어느 객체에 속하는지 구분합니다. 자동차의 테두리, 도로 영역, 사람의 실루엣을 픽셀 단위로 나누기 때문에 훨씬 정밀한 결과를 만들 수 있습니다.

이미지 분할에는 대표적으로 시맨틱 분할과 인스턴스 분할이 있습니다. 시맨틱 분할은 같은 종류의 객체를 하나의 범주로 묶습니다. 사진에 자동차가 세 대 있어도 모든 자동차 픽셀을 같은 색으로 표시합니다.

인스턴스 분할은 같은 종류의 객체라도 각각 별도로 구분합니다. 자동차 세 대를 서로 다른 개체로 인식하기 때문에 각 자동차의 경계와 위치를 독립적으로 추적할 수 있습니다.

의료 영상에서는 종양이나 장기의 경계를 구분하는 데 이미지 분할이 사용됩니다. 위성사진에서는 건물, 산림, 도로, 물을 나누고, 제조업에서는 제품 표면의 불량 영역을 찾아내는 데 활용됩니다.

7. AI는 이미지와 문장을 어떻게 연결할까?

최신 멀티모달 AI는 이미지를 단순히 분류하는 수준을 넘어 이미지와 텍스트를 같은 의미 공간에서 연결합니다. 이를 위해 이미지 인코더는 사진을 숫자 벡터로 바꾸고, 텍스트 인코더는 문장을 또 다른 숫자 벡터로 바꿉니다.

학습 과정에서는 서로 관련 있는 이미지와 문장의 벡터가 가까워지도록 조정합니다. 강아지 사진과 “잔디 위에서 뛰는 강아지”라는 문장은 가까운 위치에 놓이고, 전혀 관계없는 “도시의 야경”이라는 문장은 멀어지도록 학습하는 방식입니다.

이 과정을 거치면 AI는 사진을 보고 문장을 생성하거나, 문장과 가장 잘 맞는 이미지를 찾거나, 사용자의 질문에 사진 속 내용을 근거로 답할 수 있습니다.

예를 들어 사용자가 영수증 사진을 올리고 “총금액이 얼마야?”라고 질문하면 시스템은 이미지에서 글자와 배치 정보를 추출하고, 질문의 의미와 연결해 관련 영역을 찾아 답을 생성합니다. 단순 OCR이 글자를 읽는 데 집중한다면 멀티모달 AI는 읽어낸 정보가 질문과 어떤 관계를 가지는지까지 판단합니다.

8. OCR와 이미지 인식은 어떻게 다를까?

OCR은 이미지 속 문자를 찾아 텍스트 데이터로 변환하는 기술입니다. 문서, 영수증, 명함, 간판에 있는 글자를 읽는 것이 주된 목적입니다. 반면 일반적인 이미지 인식은 사진 속 사물, 장면, 행동, 색상, 관계를 이해하는 데 초점을 맞춥니다.

예를 들어 카페 메뉴판 사진을 분석한다고 가정해보겠습니다. OCR은 “아메리카노 4,000원”이라는 글자를 추출합니다. 이미지 인식 모델은 메뉴판, 커피 사진, 가격표가 있다는 사실을 판단할 수 있습니다. 멀티모달 AI는 두 결과를 함께 사용해 “가장 저렴한 음료는 무엇인가?” 같은 질문에 답할 수 있습니다.

구분	OCR	이미지 인식 AI
주요 목적	글자 추출	객체와 장면 이해
대표 결과	문자열, 문단, 표	범주, 위치, 설명, 관계
강점	문서와 글자 인식	사진 전체의 의미 분석
약점	장면의 의미 해석이 제한적	작거나 흐린 글자에 취약할 수 있음

9. 이미지 인식 모델은 어떻게 학습될까?

이미지 인식 모델을 만들려면 많은 학습 이미지와 정답 정보가 필요합니다. 고양이와 개를 구분하는 모델이라면 다양한 품종, 자세, 배경, 조명에서 촬영된 고양이와 개 사진을 충분히 보여줘야 합니다.

학습 초기에는 모델의 예측이 거의 무작위에 가깝습니다. 모델이 사진을 보고 고양이일 확률을 30%, 개일 확률을 70%로 예측했지만 실제 정답이 고양이라면 예측 오차가 계산됩니다. 이후 역전파를 통해 모델 내부의 가중치가 조금씩 수정됩니다.

이 과정을 수많은 이미지에 반복하면 모델은 어떤 패턴이 고양이와 관련 있고 어떤 패턴이 개와 관련 있는지 점차 학습합니다. 귀의 모양, 얼굴 비율, 털의 질감처럼 사람이 직접 규칙을 모두 입력하지 않아도 모델이 데이터에서 유용한 특징을 찾아냅니다.

다만 학습 데이터가 많다고 무조건 좋은 것은 아닙니다. 잘못된 라벨이 많거나 특정 환경의 사진만 몰려 있다면 모델도 편향된 규칙을 배웁니다. 밝은 실내에서 촬영한 사진만 학습한 모델은 어두운 야외 사진에서 성능이 크게 떨어질 수 있습니다.

10. 데이터 증강은 왜 사용할까?

실제 학습 현장에서는 모든 상황의 사진을 직접 촬영하기 어렵습니다. 이때 사용하는 방법이 데이터 증강입니다. 기존 이미지를 회전하거나 좌우로 뒤집고, 밝기와 대비를 바꾸거나 일부 영역을 잘라 새로운 학습 예시처럼 사용하는 방식입니다.

데이터 증강을 적용하면 모델이 특정 배경이나 촬영 방향만 외우는 것을 줄일 수 있습니다. 고양이가 항상 화면 중앙에 있는 사진만 학습하면 모델은 화면 중앙의 털 패턴에 지나치게 의존할 수 있습니다. 위치와 크기를 다양하게 바꾸면 고양이가 어디에 있더라도 찾을 가능성이 높아집니다.

그러나 증강을 과도하게 사용하면 오히려 학습을 방해할 수 있습니다. 숫자 6 이미지를 180도 회전하면 9처럼 보일 수 있고, 좌우 방향 자체가 중요한 교통 표지판을 뒤집으면 의미가 달라집니다. 따라서 데이터의 의미가 유지되는 범위 안에서 변형해야 합니다.

11. AI는 왜 이미지에서 실수할까?

사람에게는 명확해 보이는 사진도 AI에게는 어려울 수 있습니다. 가장 흔한 원인은 해상도 부족, 작은 객체, 가림, 낯선 각도, 복잡한 배경입니다. 사진 속 대상이 학습 데이터와 크게 다르게 보이면 AI는 잘못된 특징을 기준으로 판단할 수 있습니다.

예를 들어 눈 덮인 배경에서 늑대 사진을 많이 학습한 모델은 늑대 자체보다 눈을 중요한 특징으로 배울 수 있습니다. 이후 눈 위에 서 있는 개를 늑대로 분류하는 오류가 발생할 수 있습니다. 모델이 우리가 원하는 대상을 이해한 것이 아니라 데이터에서 자주 함께 등장한 배경까지 규칙으로 사용한 것입니다.

또한 투명한 물체, 반사된 모습, 그림자, 착시 사진처럼 시각적 단서가 복잡한 경우에도 오류가 늘어납니다. 일부 사진에서는 객체의 전체 모습보다 특정 질감이나 색상에 지나치게 의존하기도 합니다.

12. 이미지 Hallucination은 왜 발생할까?

멀티모달 AI가 사진에 실제로 없는 물체를 있다고 설명하거나, 보이지 않는 글자를 추측해 답하는 현상도 발생할 수 있습니다. 이를 이미지 기반 Hallucination이라고 부를 수 있습니다.

이 현상은 이미지 인식 단계와 언어 생성 단계가 결합되면서 나타납니다. 이미지에서 추출된 정보가 불완전하거나 애매하더라도 언어 모델은 문맥상 자연스러운 문장을 계속 생성하려는 특성이 있습니다.

예를 들어 흐릿한 식탁 사진에서 컵처럼 보이는 형태가 발견되면 모델은 주변 문맥을 바탕으로 “커피가 담긴 컵”이라고 설명할 수 있습니다. 실제로는 빈 유리병이거나 전혀 다른 물체일 수도 있지만, 모델은 가장 가능성 높은 설명을 선택합니다.

특히 작은 글자, 가려진 숫자, 브랜드 로고, 인물의 정확한 신원처럼 이미지에서 명확하게 확인하기 어려운 정보는 추측이 개입될 가능성이 큽니다.

13. 확률 점수는 정확도를 의미할까?

이미지 인식 모델은 결과와 함께 확률처럼 보이는 점수를 출력하는 경우가 많습니다. 하지만 95%라는 숫자가 항상 “정답일 확률이 정확히 95%”라는 뜻은 아닙니다.

이 점수는 모델 내부 후보 중 해당 범주가 얼마나 강하게 선택되었는지를 나타냅니다. 모델이 잘못된 특징을 매우 확신하고 있다면 오답에도 높은 점수를 줄 수 있습니다.

이 문제를 줄이기 위해 모델의 점수가 실제 정답률과 비슷하게 맞도록 조정하는 캘리브레이션 과정이 사용되기도 합니다. 중요한 판단에서는 하나의 점수만 믿기보다 여러 모델의 결과, 원본 이미지의 품질, 추가 검증 절차를 함께 확인해야 합니다.

14. 사람의 시각과 AI의 이미지 인식 비교

사람과 AI는 모두 여러 시각적 단서를 조합하지만 처리 방식에는 큰 차이가 있습니다. 사람은 경험, 상식, 상황의 맥락을 함께 사용합니다. 컵의 일부만 보여도 식탁 위에 놓인 위치와 주변 사물을 보고 컵이라고 추론할 수 있습니다.

AI도 대규모 학습을 통해 비슷한 추론을 수행하지만, 그 근거는 학습 데이터에서 발견한 통계적 관계입니다. 따라서 인간에게는 중요하지 않은 픽셀 변화에 민감하게 반응하거나, 반대로 사람에게 명확한 의미를 놓칠 수 있습니다.

구분	사람	이미지 AI
입력 이해	시각과 경험을 함께 사용	픽셀과 학습 패턴을 분석
새로운 상황	적은 사례로도 일반화 가능	학습 범위를 벗어나면 성능 저하 가능
처리 속도	복잡한 반복 검사에는 한계	대량 이미지를 빠르게 반복 처리
판단 근거	상식, 목적, 맥락	학습된 통계적 특징
대표 약점	피로, 주관적 판단	편향, 낯선 입력, 과도한 확신

15. 이미지 인식 AI를 사용할 때 확인할 점

이미지 AI를 효과적으로 사용하려면 입력 이미지 자체의 품질을 먼저 확인해야 합니다. 분석하려는 대상이 충분히 크게 보이고, 초점이 맞으며, 그림자나 반사가 심하지 않은 사진이 좋습니다.

문서를 분석할 때는 페이지 전체를 멀리서 찍기보다 글자가 읽힐 정도의 해상도를 확보해야 합니다. 표가 여러 페이지에 걸쳐 있다면 페이지 순서를 알려주고, 중요한 숫자는 확대해서 추가로 제공하는 것이 안전합니다.

사진 속 특정 대상을 질문할 때는 위치를 명확히 지정하는 것도 도움이 됩니다. “이 사진이 무엇이야?”보다 “오른쪽 아래의 검은색 장치는 무엇으로 보이는지 설명해줘”라고 요청하면 모델이 분석할 영역을 좁힐 수 있습니다.

16. 이미지 인식은 어디에 활용될까?

이미지 인식 기술은 스마트폰 카메라부터 의료, 제조, 교통까지 매우 넓게 사용됩니다. 스마트폰 사진 앱은 인물, 동물, 음식, 장소를 자동으로 분류해 검색할 수 있게 만들고, 카메라는 얼굴과 피사체를 찾아 초점과 노출을 조정합니다.

제조업에서는 제품 표면의 흠집이나 조립 오류를 자동으로 검사합니다. 수많은 제품을 같은 기준으로 빠르게 확인할 수 있다는 장점이 있지만, 새로운 형태의 불량을 놓치지 않도록 지속적인 데이터 갱신이 필요합니다.

의료 분야에서는 엑스레이, CT, MRI와 같은 영상을 보조 분석하는 데 활용됩니다. 다만 의료 이미지 AI는 전문가의 판단을 완전히 대체하기보다 의심 영역을 표시하고 검토 우선순위를 정하는 보조 도구로 사용되는 것이 일반적입니다.

자율주행에서는 차량, 보행자, 신호등, 차선의 위치를 실시간으로 파악합니다. 이미지 한 장만 분석하는 것이 아니라 연속된 영상과 거리 센서, 지도 정보까지 함께 결합해 주변 환경을 판단합니다.

17. 자주 묻는 질문

📚 함께 보면 좋은 글

이미지 인식의 원리를 이해했다면 AI가 답변을 만드는 방식과 오류가 발생하는 이유도 함께 살펴보는 것이 좋습니다. 아래 글을 이어서 읽으면 멀티모달 AI의 전체 처리 구조를 더 입체적으로 이해할 수 있습니다.

🔗 공식 자료

📖 출처

• Google AI Edge, Image Classifier Task Guide
• Google ML Kit, Image Labeling Documentation
• Google Research, An Image is Worth 16×16 Words
• PyTorch Torchvision, VisionTransformer Documentation
• PyTorch Tutorials, Transfer Learning for Computer Vision
• OpenAI API Documentation, Images and Vision