올라마 사용법 총정리, 내 컴퓨터로 AI 돌리기
설치부터 첫 대화까지, 10분이면 충분합니다
- 올라마는 명령어 한 줄로 설치하고, 명령어 한 줄로 AI 모델을 내려받아 실행하는 도구입니다.
- 인터넷 없이도 동작하고, 대화 내용이 외부 서버로 전송되지 않습니다.
- RAM 8GB만 있어도 가벼운 모델은 돌아가고, 그래픽카드가 있으면 훨씬 빨라집니다.
- 초보자는 llama3.2나 gemma2 같은 소형 모델부터 시작하는 것을 추천합니다.
챗GPT 구독료가 매달 아깝게 느껴진 적, 한 번쯤 있으실 겁니다.
회사 문서나 개인적인 메모를 AI에게 보여주기가 꺼려질 때도 있고요.
이럴 때 필요한 게 올라마 사용법입니다. 프로그램 하나만 깔면 인터넷 연결 없이도 내 컴퓨터 안에서 AI와 대화할 수 있습니다.
이 글에서는 올라마 사용법을 설치부터 첫 실행, 자주 쓰는 명령어까지 순서대로 정리했습니다.
터미널이 낯설어도 괜찮습니다. 명령어 한 줄씩 그대로 따라 하시면 됩니다.
1. 올라마란 무엇이고 왜 로컬로 AI를 돌리나
올라마(Ollama)는 오픈소스 언어모델을 내 컴퓨터에서 바로 실행할 수 있게 해주는 무료 프로그램입니다.
2023년에 처음 등장했고, 지금은 로컬 AI 실행 도구의 사실상 표준으로 자리 잡았습니다.
클라우드 AI 서비스는 매달 요금을 내고, 대화 내용이 외부 서버를 거칩니다.
반면 올라마는 모델 파일을 내 디스크에 내려받아 놓고, 내 컴퓨터의 CPU나 GPU로 직접 계산합니다.
로컬 AI의 성능은 도구가 아니라 하드웨어가 결정합니다. 올라마 자체는 가볍지만, 어떤 모델을 고르느냐가 체감 품질의 대부분을 좌우합니다. 무작정 큰 모델부터 받지 말고, 내 컴퓨터 사양에 맞는 모델을 고르는 게 올라마 사용법의 핵심입니다.
계약서나 사내 문서처럼 외부에 올리기 꺼려지는 자료를 다룰 때 특히 유용합니다.
반복적으로 같은 질문을 테스트하느라 토큰이 소모되는 것도 걱정할 필요가 없습니다.
비행기나 카페 와이파이가 끊긴 곳에서도 문제없이 동작한다는 것도 큰 장점입니다.
2. 올라마 설치 방법: 윈도우·맥·리눅스
올라마 사용법의 첫 단계는 설치입니다. 복잡한 파이썬 환경이나 설정 파일이 필요 없습니다.
공식 사이트 ollama.com에서 내 운영체제에 맞는 설치 파일을 받으면 됩니다.
2-1. 윈도우에 설치하기
윈도우 검색창에서 PowerShell을 관리자 권한으로 엽니다.
아래 명령어를 그대로 붙여넣고 엔터를 누르면 자동으로 설치가 진행됩니다.
irm https://ollama.com/install.ps1 | iex
이 한 줄이면 됩니다. 터미널 명령어가 처음이라도 복사·붙여넣기만 하면 되니 걱정하지 않아도 됩니다.
2-2. 맥(macOS)에 설치하기
맥에서는 공식 홈페이지에서 .dmg 파일을 받아 드래그 앤 드롭으로 설치하거나, 터미널에서 명령어 한 줄로 설치할 수 있습니다.
curl -fsSL https://ollama.com/install.sh | sh
Homebrew를 쓰고 있다면 brew install ollama로도 설치할 수 있습니다. 애플 실리콘(M1 이상) 칩이면 GPU 가속이 자동으로 적용됩니다.
2-3. 리눅스에 설치하기
리눅스도 맥과 동일한 명령어 한 줄로 설치가 끝납니다.
curl -fsSL https://ollama.com/install.sh | sh
NVIDIA GPU가 있다면 CUDA 드라이버가 미리 설치돼 있어야 GPU 가속이 잡힙니다.
설치가 끝나면 올라마는 백그라운드 서비스로 자동 실행됩니다.
기본적으로 localhost:11434 주소에서 대기하며, 별도로 서버를 켤 필요가 없습니다.
설치 직후 터미널을 새로 열지 않으면 “ollama 명령어를 찾을 수 없다”는 오류가 뜰 수 있습니다. 설치 전에 열어둔 터미널 창은 모두 닫고 새로 열어야 PATH가 정상적으로 인식됩니다.
3. 올라마 사용법 기초: 모델 다운로드부터 실행까지
설치가 끝났다면 이제 진짜 올라마 사용법을 배울 차례입니다. 터미널(윈도우는 PowerShell)을 열고 명령어 한 줄만 입력하면 됩니다.
ollama run llama3.2
이 명령어 하나로 모델 다운로드와 실행이 동시에 이뤄집니다. 처음 실행할 때만 모델 파일(보통 2~5GB)을 내려받고, 이후에는 바로 대화가 시작됩니다.
다운로드가 끝나면 터미널에 >>> 프롬프트가 뜹니다. 여기에 질문을 입력하면 바로 답변이 돌아옵니다.
대화를 끝내고 싶으면 /bye를 입력하거나 Ctrl+D를 누르면 됩니다.
올라마 사용법에서 자주 헷갈리는 부분이 pull과 run의 차이입니다. pull은 모델을 다운로드만 하고, run은 다운로드 후 바로 실행까지 이어집니다. 모델을 미리 여러 개 받아두고 싶다면 run 대신 pull을 반복해서 쓰는 게 편리합니다.
터미널 대화창이 낯설다면, 최근에는 맥·윈도우용 데스크톱 앱도 나와서 채팅 UI로 바로 쓸 수 있습니다.
설치 파일을 실행하면 앱이 뜨고, 검색창에 모델 이름을 입력해 바로 대화를 시작할 수 있습니다.
모델 라이브러리에는 200개가 넘는 모델이 올라와 있고, 각 모델 페이지에서 실행 명령어를 그대로 복사할 수 있습니다.
4. 내 컴퓨터 사양에 맞는 모델 고르는 법
올라마는 대부분 모델을 4비트로 양자화(q4_0)해서 배포합니다.
양자화는 모델 용량과 메모리 사용량을 크게 줄이면서도 답변 품질 손실은 최소화하는 방식입니다.
덕분에 원래 모델보다 훨씬 가벼운 용량으로 내 컴퓨터에서 돌릴 수 있습니다.
그래픽카드가 없어도 CPU만으로 실행은 됩니다. 다만 답변 속도가 눈에 띄게 느려집니다.
NVIDIA GPU라면 VRAM 8GB 이상을 권장합니다. 애플 실리콘(M1~M4) 맥북은 통합 메모리를 GPU처럼 쓰기 때문에 별도 그래픽카드 없이도 꽤 빠릅니다.
한국어 대화 품질을 우선한다면 EEVE처럼 한국어로 추가 학습된 모델을 선택하는 것도 방법입니다.
모델 하나당 필요한 디스크 여유 공간은 모델 용량의 2배 정도로 잡아두는 게 안전합니다. 다운로드 중 임시 파일이 추가로 생기기 때문에, 용량이 빠듯하면 다운로드가 중간에 실패할 수 있습니다.
처음이라면 크기와 성능 균형이 좋은 7B급 모델부터 시작해서, 답변 속도와 품질을 직접 체감한 뒤 더 큰 모델로 넘어가는 순서를 추천합니다.
5. 올라마 사용법 실전: 자주 쓰는 명령어와 API 활용
기본 대화만 익혔다면, 이제 올라마 사용법을 한 단계 더 깊게 들어가 보겠습니다.
올라마는 설치와 동시에 로컬 API 서버도 함께 켭니다. 다른 프로그램에서 이 서버를 호출해 AI 기능을 붙일 수 있습니다.
curl http://localhost:11434/api/chat -d ‘{“model”: “llama3.2”, “messages”: [{“role”: “user”, “content”: “안녕”}]}’
이런 식으로 터미널에서 바로 API를 호출해볼 수 있습니다. 파이썬은 pip install ollama, 자바스크립트는 npm install ollama로 라이브러리를 설치하면 코드 몇 줄로 연동됩니다.
Modelfile이라는 설정 파일을 쓰면 특정 역할에 맞춘 나만의 모델도 만들 수 있습니다. 시스템 프롬프트를 미리 넣어두면 매번 같은 지시문을 반복 입력할 필요가 없습니다. 반복 작업을 자동화하고 싶다면 이 기능부터 익혀두면 좋습니다.
6. 올라마 자주 겪는 문제와 해결법
올라마 사용법을 익히다 보면 몇 가지 상황을 반복해서 만나게 됩니다.
모델 응답이 너무 느리다면 대부분 RAM이나 VRAM 부족이 원인입니다. 더 작은 모델로 바꿔서 테스트해 보는 게 가장 빠른 해결책입니다.
API 호출이 안 될 때는 올라마 백그라운드 서비스가 꺼져 있는 경우가 많습니다. 작업관리자나 활성 상태 보기에서 ollama 프로세스가 떠 있는지 먼저 확인합니다.
디스크 공간이 부족하면 ollama list로 안 쓰는 모델을 확인하고 ollama rm으로 정리합니다.
내장 그래픽만 있는 노트북에서 13B급 이상 모델을 실행하면 답변 한 줄에 수십 초가 걸릴 수 있습니다. 이런 경우는 하드웨어 문제이지 설정 실수가 아닙니다. 모델 크기를 낮추는 게 근본적인 해결책입니다.
❓ 자주 묻는 질문
네, 올라마 자체와 대부분의 오픈소스 모델은 무료입니다. 별도 구독료 없이 전기요금만 들고, 상업적 이용 조건은 모델별 라이선스를 따로 확인해야 합니다.
가능합니다. CPU만으로도 작동하지만 속도가 느립니다. 가벼운 7B급 모델이라면 그래픽카드 없이도 그럭저럭 쓸 만한 속도가 나옵니다.
챗GPT는 클라우드 서버에서 계산하고 매달 요금을 내지만, 올라마는 내 컴퓨터에서 계산하고 무료입니다. 대신 모델 크기가 내 하드웨어에 제한되어 최신 대형 모델만큼의 품질은 기대하기 어렵습니다.
일반 모델도 기본적인 한국어는 처리하지만, EEVE처럼 한국어로 추가 학습된 모델을 쓰면 자연스러움이 눈에 띄게 좋아집니다.
설치 전에 열어둔 터미널 창이 원인인 경우가 대부분입니다. 모든 터미널 창을 닫고 새로 열면 대부분 해결됩니다.
📚 함께 보면 좋은 글
로컬 AI와 함께 알아두면 좋은 도구들을 정리했습니다.
🔗 공식 자료
📖 출처
- Ollama 공식 사이트 (ollama.com)
- Ollama 공식 GitHub 저장소 (github.com/ollama/ollama)
- Ollama Windows 다운로드 페이지 (ollama.com/download/windows)
- Ollama macOS 다운로드 페이지 (ollama.com/download)
- n8n 노코드 자동화 한글 가이드북, “Ollama” 챕터 (wikidocs.net)
올라마 사용법의 핵심은 딱 두 가지, 내 컴퓨터 사양에 맞는 모델 고르기와 ollama run 명령어 하나입니다. 처음엔 가벼운 모델로 시작해서, 필요할 때 더 큰 모델로 넘어가시면 됩니다.
