HEVC 영상 압축 원리
같은 화질에서 용량은 절반에 가까워지는 이유를 구조부터 이해하기
- HEVC(H.265)는 기존 H.264보다 같은 화질에서 약 30~50% 정도 높은 압축 효율을 목표로 설계되었습니다.
- 더 큰 블록 구조(CTU), 향상된 움직임 예측, 다양한 예측 모드와 엔트로피 부호화를 통해 데이터량을 줄입니다.
- 아이폰의 HEIF 사진과 4K·8K 영상, HDR 영상 저장에 핵심적으로 활용됩니다.
- 압축률이 높은 대신 인코딩과 디코딩에 필요한 연산량은 H.264보다 증가합니다.
- Apple, Qualcomm, Intel 등의 최신 하드웨어에는 전용 HEVC 하드웨어 디코더가 탑재되어 효율적으로 재생됩니다.
스마트폰으로 4K 영상을 촬영했는데도 생각보다 저장 공간이 크게 늘어나지 않는 이유는 무엇일까요? 또는 아이폰으로 촬영한 영상이 화질은 뛰어난데 파일 크기는 비교적 작은 이유는 무엇일까요? 그 중심에는 HEVC(High Efficiency Video Coding)라는 최신 영상 압축 기술이 있습니다.
HEVC는 흔히 H.265라는 이름으로도 알려져 있으며, H.264(AVC)의 후속 국제 영상 압축 표준입니다. 단순히 “더 좋은 압축 방식” 정도가 아니라, 영상을 구성하는 블록의 크기부터 움직임 분석, 예측 방식, 잔차 처리, 부호화 방법까지 거의 모든 단계가 새롭게 개선되었습니다.
이번 글에서는 HEVC가 영상을 어떤 과정으로 압축하는지, 왜 같은 화질에서 더 작은 용량을 만들 수 있는지, 그리고 아이폰의 HEIF 사진이나 4K HDR 영상과는 어떤 관계가 있는지까지 순서대로 알아보겠습니다.
1. HEVC란 무엇일까?
HEVC는 ITU-T와 ISO/IEC MPEG이 공동으로 개발한 차세대 영상 압축 표준입니다. 공식 명칭은 High Efficiency Video Coding이며, 일반적으로 H.265라고도 부릅니다.
영상 압축의 목적은 단순합니다. 사람이 보기에는 거의 차이가 없도록 유지하면서 저장해야 하는 데이터를 최대한 줄이는 것입니다. 영상은 초당 수십 장의 이미지가 연속적으로 저장되므로 원본 그대로 기록하면 용량이 매우 커집니다. 따라서 중복되는 정보를 제거하고 필요한 정보만 남기는 과정이 반드시 필요합니다.
H.264도 이러한 역할을 훌륭하게 수행했지만, 4K와 8K 영상, HDR, 높은 프레임레이트 콘텐츠가 등장하면서 더 높은 압축 효율이 요구되었습니다. HEVC는 이러한 요구를 충족하기 위해 설계된 표준입니다.
HEVC는 화질을 희생해서 용량을 줄이는 기술이 아닙니다. 같은 화질을 유지하면서 더 적은 데이터를 저장하거나, 같은 용량으로 더 높은 화질을 제공하는 것이 핵심 목표입니다.
2. 영상 압축은 왜 가능한가?
영상은 연속된 사진의 집합입니다. 그런데 실제 영상을 보면 모든 픽셀이 매 프레임마다 완전히 바뀌는 경우는 거의 없습니다. 배경은 그대로이고 사람만 움직이거나, 카메라가 조금만 이동하는 경우가 대부분입니다.
압축 기술은 바로 이러한 중복을 찾아냅니다. 이미 이전 프레임에서 저장한 정보를 다시 저장하지 않고 “이 부분은 이전 프레임과 같다”, “이 블록은 오른쪽으로 5픽셀 이동했다”와 같은 정보만 기록합니다.
즉, 영상을 이미지 여러 장으로 저장하는 것이 아니라 변화량만 저장하는 것이 영상 압축의 핵심 원리입니다.
- 같은 색상이 반복되는 영역
- 프레임 사이의 움직임이 거의 없는 영역
- 사람이 잘 인식하지 못하는 미세한 정보
- 반복되는 패턴과 질감
- 예측 가능한 픽셀 변화
3. HEVC가 더 잘 압축하는 이유
HEVC가 뛰어난 이유는 여러 기술을 하나만 개선한 것이 아니라 거의 모든 압축 단계를 업그레이드했기 때문입니다.
가장 대표적인 변화는 CTU(Coding Tree Unit)입니다. H.264는 최대 16×16 크기의 매크로블록을 사용했지만 HEVC는 최대 64×64 블록을 사용할 수 있습니다. 큰 하늘이나 벽처럼 변화가 거의 없는 영역은 큰 블록 하나로 처리해 불필요한 데이터를 크게 줄일 수 있습니다.
반대로 머리카락이나 나뭇잎처럼 복잡한 부분은 작은 블록으로 다시 세분화하여 처리합니다. 즉 하나의 영상을 상황에 맞게 큰 블록과 작은 블록으로 자유롭게 나누기 때문에 압축 효율이 크게 향상됩니다.
단순한 화면에서는 큰 블록을 사용하고, 복잡한 화면에서는 작은 블록을 사용하는 적응형 구조가 HEVC 효율 향상의 핵심 중 하나입니다.
Apple의 HEIF 사진 역시 내부적으로 HEVC의 이미지 압축 기술을 활용합니다. 즉 HEVC는 영상 전용 기술이 아니라 정지 이미지 압축에도 응용되고 있으며, 아이폰 저장 공간 절약에 중요한 역할을 합니다.
4. 움직임 예측(Motion Prediction)
HEVC는 움직임을 찾는 능력도 크게 향상되었습니다. 예를 들어 사람이 오른쪽으로 천천히 걸어가는 장면이라면 사람 전체를 다시 저장하지 않습니다.
대신 “이 블록은 이전 프레임보다 오른쪽으로 이동했다”라는 움직임 벡터(Motion Vector)만 저장합니다. 이렇게 하면 수천 개의 픽셀 정보를 반복 저장할 필요가 없어집니다.
HEVC는 이전 세대보다 더 다양한 방향과 더 작은 단위까지 움직임을 분석할 수 있으며, 여러 참조 프레임을 동시에 활용하여 예측 정확도를 높입니다.
HEVC는 단순히 더 강하게 압축하는 기술이 아니라 블록 구조, 움직임 예측, 영상 분석 방식을 모두 개선하여 같은 화질에서 더 적은 데이터를 저장하는 표준입니다. 다음에서는 실제 압축 과정, 인트라·인터 예측, CABAC 부호화, HEIF와의 관계, FAQ까지 이어서 자세히 살펴보겠습니다.
5. 실제 HEVC 압축 과정은 어떻게 진행될까?
HEVC는 영상을 단순히 저장하는 것이 아니라 여러 단계를 거쳐 데이터를 줄입니다. 각 단계는 서로 연결되어 있으며, 하나의 과정에서 줄인 정보가 다음 과정의 압축 효율을 더욱 높여줍니다.
- 프레임 분석
- CTU 단위 분할
- 인트라 또는 인터 예측 수행
- 예측 오차(Residual) 계산
- 변환(Transform)
- 양자화(Quantization)
- CABAC 엔트로피 부호화
- 압축된 비트스트림 생성
이 과정에서 가장 중요한 것은 “원본 전체를 저장하지 않는다”는 점입니다. 예측 가능한 부분은 예측 정보만 저장하고, 실제로 달라진 부분만 기록합니다. 이후 사람의 눈이 민감하지 않은 정보는 양자화를 통해 제거하며, 마지막으로 CABAC 부호화를 이용해 데이터를 더욱 효율적으로 압축합니다.
6. 인트라 예측과 인터 예측의 차이
HEVC는 예측을 크게 두 가지 방식으로 수행합니다. 하나는 현재 프레임 내부에서 예측하는 인트라(Intra) 예측이고, 다른 하나는 이전 또는 이후 프레임을 참고하는 인터(Inter) 예측입니다.
인트라 예측은 같은 화면 안에서 주변 픽셀을 참고합니다. 예를 들어 하늘처럼 같은 색이 넓게 이어지는 영역이라면 주변 색상을 이용해 쉽게 예측할 수 있습니다.
반면 인터 예측은 이전 프레임에서 이미 저장한 정보를 활용합니다. 사람이 조금 이동했다면 사람 전체를 다시 저장하는 것이 아니라 이동한 위치 정보와 차이만 기록합니다.
실제 영화나 스마트폰 영상에서는 인터 예측이 압축 효율의 상당 부분을 담당합니다. 배경은 거의 그대로이고 사람이나 차량만 움직이는 경우가 많기 때문입니다.
7. CABAC은 왜 중요한가?
HEVC의 마지막 단계에서는 CABAC(Context Adaptive Binary Arithmetic Coding)이라는 엔트로피 부호화 기술을 사용합니다.
앞 단계에서 생성된 데이터를 단순히 저장하지 않고, 등장 확률이 높은 정보는 더 적은 비트로, 드물게 등장하는 정보는 조금 더 많은 비트로 표현합니다. 데이터의 통계적 특성을 활용하는 방식이므로 압축 효율을 추가로 높일 수 있습니다.
이 과정은 화면 품질을 바꾸지 않으면서 순수하게 저장 방식을 최적화하는 단계이기 때문에 매우 높은 효율을 제공합니다.
HEVC의 높은 압축률은 CTU 하나 때문이 아니라 예측·변환·양자화·CABAC이 모두 결합된 결과입니다.
8. 아이폰에서 HEVC는 어디에 사용될까?
Apple은 오래전부터 HEVC를 적극 활용하고 있습니다. 아이폰에서 카메라 설정을 “고효율”로 선택하면 대부분의 사진은 HEIF, 영상은 HEVC 기반으로 저장됩니다.
특히 4K 60fps 영상이나 Dolby Vision HDR 영상처럼 데이터량이 매우 큰 콘텐츠에서는 HEVC가 사실상 필수입니다. 압축 효율이 충분하지 않다면 저장 공간은 빠르게 부족해질 수밖에 없습니다.
Apple 지원 문서에서도 고효율 포맷은 저장 공간을 절약하면서도 높은 화질을 유지하도록 설계되었다고 설명합니다.
9. HEVC의 단점은?
HEVC가 모든 면에서 완벽한 것은 아닙니다. 압축 효율이 높아진 만큼 계산량도 크게 증가했습니다.
특히 소프트웨어만으로 HEVC를 인코딩하거나 디코딩하면 CPU 사용량이 상당히 높아질 수 있습니다. 그래서 대부분의 최신 스마트폰과 PC는 전용 하드웨어 디코더를 탑재하고 있습니다.
10. 자주 묻는 질문
아닙니다. HEVC의 표준 명칭이 High Efficiency Video Coding이며 H.265는 같은 표준을 의미하는 번호입니다.
같은 용량이라면 더 좋은 화질을 제공하거나, 같은 화질이라면 더 작은 용량으로 저장할 수 있습니다.
HEIF는 파일 포맷이며 내부 이미지 압축에 HEVC 기술을 사용할 수 있습니다. 아이폰의 고효율 사진이 대표적인 예입니다.
최신 기기는 대부분 지원하지만 오래된 스마트폰이나 운영체제에서는 지원이 제한될 수 있습니다.
HEVC는 매우 널리 사용되는 표준이며, AV1은 더 높은 압축 효율을 목표로 하지만 인코딩 비용과 지원 환경은 서로 다릅니다.
📚 함께 보면 좋은 글
HEVC를 이해했다면 사진 저장 방식과 아이폰 카메라 기술도 함께 살펴보면 압축 기술이 실제 촬영 결과에 어떤 영향을 주는지 더욱 쉽게 이해할 수 있습니다.
🔗 공식 자료
📖 출처
- ITU-T Recommendation H.265
- ISO/IEC 23008-2 High Efficiency Video Coding
- Apple Support
- Apple Developer Documentation
- MPEG 공식 문서
HEVC는 더 강한 압축이 아니라 더 똑똑한 압축입니다. 블록 구조와 움직임 예측, 예측 오차 처리, CABAC 부호화까지 모든 단계를 개선해 같은 화질에서 훨씬 작은 용량을 만들어 내는 것이 핵심입니다.