Ollama는 AI 모델을 내 컴퓨터에 내려받아 쓰는 프로그램입니다. 모델에 질문하면 답을 받을 수 있습니다. 예를 들어 작은 언어 모델을 설치해 메모를 요약하거나 문장 초안을 만들 수 있습니다. Ollama 자체가 모든 답을 아는 AI 모델은 아닙니다. 어떤 모델을 고르는지, 로컬과 클라우드 중 어디에서 실행하는지에 따라 성능·비용·데이터 처리 방식이 달라집니다.
Ollama 공식 저장소는 여러 공개 모델을 실행하는 앱과 명령어, 개발자용 API를 제공합니다. 동영상 재생기와 동영상 파일을 따로 고르듯 Ollama를 설치한 다음 사용할 모델을 고르면 됩니다. 다만 모델마다 기능과 이용 조건이 다르므로 이름이 비슷해도 모두 같은 AI로 보면 안 됩니다. 공식 자료의 주요 내용은 2026년 11월 9일 다시 확인했습니다.
Ollama로 무엇을 할 수 있나요?
가장 쉬운 시작은 모델을 골라 채팅하는 것입니다. 회의 메모를 세 줄로 줄이거나, 이메일 문장을 다듬거나, 낯선 코드가 하는 일을 설명해 달라고 요청할 수 있습니다. 아래는 가능한 활용을 설명하는 예시이며 특정 모델의 정확도를 직접 시험한 결과는 아닙니다.
- 개인 작업: 초안 작성, 짧은 요약, 아이디어 정리.
- 개발 작업: 컴퓨터의 다른 앱이 Ollama의 로컬 API를 통해 모델에 질문하도록 연결.
- 모델 비교: 같은 질문을 여러 모델에 던져 답변 방식과 속도를 살펴보기.
API는 다른 프로그램이 Ollama에 질문을 보내고 답을 받는 통로입니다. 일반 사용자는 API를 만들지 않아도 Ollama 앱이나 명령 프롬프트에서 대화를 시작할 수 있습니다. Ollama를 설치한다고 웹 검색이나 최신 사실 확인, 전문 업무의 정확성까지 자동으로 보장되지는 않습니다.
로컬 모델과 클라우드 모델은 어디서 다른가요?
로컬은 내 PC가 모델을 저장하고 계산하는 방식입니다. 처음 모델을 받을 때는 인터넷이 필요하지만 내려받은 로컬 모델에 질문할 때의 내용은 Ollama에 전송되지 않는다고 공식 FAQ가 안내합니다. 클라우드는 Ollama 서버에서 모델을 실행하는 방식입니다. PC 사양 부담을 줄일 수 있지만 로그인과 네트워크가 필요합니다. 질문·답변은 서비스에서 처리합니다.
| 구분 | 로컬 모델 | 클라우드 모델 |
|---|---|---|
| 계산하는 곳 | 내 컴퓨터 | Ollama 서버 |
| 준비 | 앱·모델 다운로드, 충분한 저장 공간과 메모리. Ollama 계정·API 키는 필요 없음 | 계정·인터넷, 모델에 따른 사용 요금 |
| 데이터 | 로컬 실행의 질문과 답은 Ollama에 전송되지 않음 | 서비스가 질문과 답을 처리함 |
| 적합한 상황 | 내 장비에서 작업하고 싶을 때 | 큰 모델을 쓰고 싶지만 내 장비 사양이 부족할 때 |
그림은 계산 위치를 기준으로 로컬과 클라우드를 구분합니다. 로컬 모델도 처음 내려받을 때는 인터넷이 필요합니다. 클라우드 모델은 사용 중 네트워크 연결과 서비스 조건의 영향을 받습니다.
Ollama의 공식 요금 안내는 로컬 모델 실행에는 서비스 이용료를 부과하지 않지만 클라우드 모델은 사용량에 따라 비용이 발생한다고 설명합니다. 로컬도 컴퓨터·전기·저장 공간 비용은 듭니다. 클라우드 기능을 쓰지 않도록 설정할 수 있습니다. 이 경우 클라우드 모델과 Ollama 웹 검색도 사용할 수 없다고 공식 FAQ는 안내합니다.
내 컴퓨터에서 쓸 수 있을까요?
Ollama 앱을 설치할 수 있는 조건과 원하는 모델을 빠르게 실행할 수 있는 조건은 다릅니다. 특히 모델 파일 크기를 필요한 RAM이나 그래픽 메모리 용량과 같다고 보면 안 됩니다. 모델을 실행하면 작업 내용의 길이와 설정에 따라 메모리가 더 필요합니다.
- Windows: 공식 Windows 문서는 Windows 10 22H2 이상과 앱 설치용 빈 공간 최소 4GB를 제시합니다. 내려받는 모델을 보관할 공간은 별도입니다.
- Mac: 공식 macOS 문서는 macOS 14 이상을 요구합니다. Apple M 시리즈는 CPU·GPU 실행, Intel Mac은 CPU 실행을 안내합니다.
- Linux: 공식 Linux 설치 문서에서 설치·서비스 실행 방법을 제공합니다.
가볍게 시험할 모델의 예로 Gemma 3 1B의 공개 파일은 약 806MB입니다. 반면 Ollama의 공식 빠른 시작 문서는 Gemma 4 E2B 모델 다운로드 약 7.2GB, 사용 가능한 VRAM 또는 Mac 통합 메모리 8GB 권장을 안내합니다. 여기서 VRAM은 그래픽 장치가 AI 계산에 쓰는 메모리입니다. VRAM이 부족하면 일부 작업을 시스템 RAM으로 처리할 수 있지만 답을 받기까지 더 오래 걸릴 수 있습니다. 8GB는 모든 Ollama 모델의 공통 최소 사양이 아니라 해당 예시 모델의 권장 기준입니다.
Windows에서 처음 대화해 보는 방법
- Ollama 공식 다운로드 페이지에서 Windows 설치 프로그램을 받아 실행합니다. 공식 문서에 따르면 기본 설치에는 관리자 권한이 필요하지 않습니다.
- 설치가 끝나면 Windows의 명령 프롬프트(CMD)를 엽니다. 명령 프롬프트는 짧은 명령어를 입력하는 창입니다.
- 아래 명령을 입력합니다. 처음 실행할 때는 선택한 모델을 내려받습니다. 다운로드가 끝나면 질문을 입력해 대화를 시작합니다.
ollama run gemma3:1b텍스트를 직접 선택해 복사할 수 있습니다.
ollama는 프로그램, run은 모델 실행, gemma3:1b는 선택한 모델 이름입니다. 내려받은 모델 목록은 ollama ls로 확인할 수 있습니다. 이 명령은 공식 모델 페이지와 CLI 안내에 있습니다. 모델이 작아도 답변 품질과 속도는 작업·PC 환경에 따라 달라집니다.
Ollama 공식 사이트의 운영체제별 다운로드 페이지가 새 탭에서 열립니다. 버튼이 설치 파일을 직접 실행하지는 않습니다.
첫 답변을 어떻게 확인할까요?
모델이 실행되고 입력을 기다리면 공개해도 되는 짧은 문장으로 시작해 보세요. 예를 들어 “회의는 월요일 오후 2시입니다. 이 문장을 한 줄로 정리해 주세요.”라고 입력합니다. 답이 나오면 요일과 시간이 원문과 같은지 직접 확인하세요. 실제 모델 출력은 질문과 실행 환경에 따라 달라지므로 이 문장의 정답을 시험 결과처럼 제시하지 않습니다.
처음부터 개인 정보나 업무 비밀을 넣기보다 가상의 메모로 기능을 익히는 편이 좋습니다. 결과가 달라지면 모델 이름과 입력 문장을 확인하고 같은 요청을 다시 비교해 보세요. 모델이 원문에 없는 정보를 덧붙일 수도 있으므로 중요한 내용은 입력과 대조해야 합니다.
개발자라면 앱에도 연결할 수 있습니다
Ollama는 로컬에서 http://localhost:11434 주소로 API를 제공합니다. localhost는 내 컴퓨터를 가리킵니다. 개발자는 이 주소를 통해 자신이 만든 앱에서 선택한 로컬 모델에 질문을 보낼 수 있습니다. 공식 인증 문서에 따르면 로컬 API에는 별도의 API 키가 필요하지 않습니다. 클라우드 API는 로그인 또는 키가 필요합니다. 일반 독자는 이 주소나 API를 다루지 않아도 앞의 대화 방법을 사용할 수 있습니다.
사용 전에 알아둘 한계
작은 로컬 모델은 설치 부담이 낮지만 복잡한 지시나 긴 자료에서 원하는 수준의 답을 내지 못할 수 있습니다. AI가 자신 있게 말해도 사실이 틀릴 수 있으므로 중요한 정보는 원문으로 확인해야 합니다. 큰 모델을 내려받는다고 모든 PC에서 같은 속도로 작동하는 것도 아닙니다. 모델마다 필요한 저장 공간과 메모리, 지원 기능이 달라집니다.
민감한 글을 다룰 때는 선택한 모델이 실제로 로컬 모델인지 확인해야 합니다. Ollama 공식 FAQ에 따르면 로컬에서 실행할 때 Ollama는 질문·답을 보지 않습니다. 클라우드 모델을 선택하면 서비스가 요청을 처리합니다. 다른 앱이나 확장 기능을 연결했다면 그 앱의 데이터 처리 방식도 별도로 적용될 수 있습니다.
라이선스와 상업적 이용 안내
Ollama 프로그램 코드는 MIT 라이선스로 공개돼 있어 상업적 사용·수정·재배포가 가능합니다. 코드를 복사하거나 재배포할 때는 원래의 저작권 및 라이선스 고지를 함께 넣어야 합니다. 이는 Ollama 코드의 라이선스이며 내려받는 모든 AI 모델에 자동으로 적용되지 않습니다.
예시로 든 Gemma 3는 모델 페이지에 별도의 Gemma 이용 약관이 표시됩니다. Gemma 3는 Google 약관의 용도 제한을 지키는 범위에서 개인·업무용으로 쓸 수 있습니다. 모델을 제품에 포함해 배포할 때는 약관의 사용 제한을 전달하고 필요한 고지를 포함해야 합니다. Google은 Gemma로 생성한 결과물에 권리를 주장하지 않는다고 명시합니다. Gemma 공식 이용약관 Ollama의 유료 클라우드 서비스도 코드의 MIT 라이선스와 별개로 요금·이용 조건이 적용됩니다.
이 글은 AI의 도움으로 작성했으며 Ollama 공식 저장소·설치 문서·모델 페이지·요금·라이선스를 2026년 11월 3일 확인했습니다. 본문 그림은 자체 제작 개념도입니다. 프로그램을 직접 설치하거나 모델 답변 성능을 시험하지는 않았습니다.
