기본 콘텐츠로 건너뛰기

Ollama Not Working? Fixes for Pull, GPU and API

Summary: When Ollama fails to pull a model, stays on CPU after a suspend, or returns 404 / 429 / 503 from the local API, start with the official logs, then match the symptom to the GPU discovery and queue docs. This guide walks through Mac / Linux / Windows log paths, NVIDIA UVM reloads, AMD ROCm 7 discovery timeouts, common HTTP status codes, and the OLLAMA_MAX_QUEUE / parallel env vars — all checked against docs.ollama.com on 2026-11-07.

What “Ollama not working” usually means

Ollama is a local (and optionally cloud) runner for open models. The Mac and Windows apps auto-update; Linux reinstalls with the install script. The local server listens on 127.0.0.1:11434 by default. Most “not working” reports fall into four buckets: the process is running but logs show a GPU discovery failure, ollama pull cannot finish, the HTTP API returns an error status, or the model loads on CPU when you expected GPU.

This post is about the runner itself — install, GPU, pull, and API — not about wrapping UIs. If your chat UI cannot reach embeddings or a model path, also read our AnythingLLM troubleshooting post, which treats Ollama as a dependency.

Step 1: Read the logs before guessing

Official troubleshooting docs say the fastest path is the server log. Paths differ by platform:

  • macOS: cat ~/.ollama/logs/server.log
  • Linux (systemd): journalctl -u ollama --no-pager --follow --pager-end
  • Docker: docker logs <container-name> (use docker ps to find the name). Logs go to stdout/stderr inside the container.
  • Manual ollama serve: logs stay in that terminal session.
  • Windows: Win+R → explorer %LOCALAPPDATA%\Ollama. Latest log is server.log; older rotations are server-#.log. Binaries live under %LOCALAPPDATA%\Programs\Ollama; models and config under %HOMEPATH%\.ollama.

For extra debug output on Windows, quit the tray app, then in PowerShell set $env:OLLAMA_DEBUG="1" and launch ollama app.exe. On Linux/macOS, OLLAMA_DEBUG=1 increases GPU discovery detail. Join Discord only after you have a concrete log line — the docs explicitly recommend that for interpreting obscure messages.

Model storage locations (useful when a pull “succeeds” but the app cannot find weights): macOS ~/.ollama/models, Linux /usr/share/ollama/.ollama/models, Windows C:\Users\%username%\.ollama\models. Override with OLLAMA_MODELS; on the standard Linux installer the ollama user must own that directory.

Step 2: Fix pull and proxy failures

Pulls use HTTPS to fetch model layers. If you sit behind a corporate proxy, set HTTPS_PROXY (and install the proxy CA as a system certificate). The FAQ warns not to set HTTP_PROXY for Ollama — pulls are HTTPS-only, and an HTTP proxy setting can interrupt client connections to the local server.

In Docker, pass -e HTTPS_PROXY=https://proxy.example.com, or configure the Docker daemon proxy. Self-signed CAs may need a custom image that runs update-ca-certificates.

On Windows 10 WSL2, slow networking can stall both the installer and model downloads. The FAQ workaround: open the vEthernet (WSL) adapter properties → Configure → Advanced, and disable Large Send Offload Version 2 (IPv4) and (IPv6).

If Linux installs are broken on a bad release, pin a known version with the install script: curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh (replace with the version you need). For tmp mounts with noexec, set OLLAMA_TMPDIR to a writable path such as /usr/share/ollama/.

Private or pushed models need your Ollama public key (macOS ~/.ollama/id_ed25519.pub, Linux under /usr/share/ollama/.ollama/, Windows under your user .ollama folder). Sign in via the app Settings, ollama signin, or paste the key at ollama.com/settings/keys.

Step 3: NVIDIA GPU discovery (driver 550+, UVM after suspend)

Hardware docs: Ollama supports NVIDIA GPUs with compute capability 5.0+ and driver 550+. Cards in the 5.0–6.2 compute range need driver 570+. Check your card on NVIDIA’s CUDA GPUs list before chasing software bugs.

On startup Ollama inventories GPUs and VRAM. When discovery fails, Linux logs often show CUDA-ish codes such as 3 (not initialized), 46 (device unavailable), 100 (no device), or 999 (unknown). Work through the official checklist:

  1. If you use Docker, confirm the NVIDIA container runtime: docker run --gpus all ubuntu nvidia-smi. If that fails, Ollama cannot see the GPU either.
  2. Load UVM: sudo nvidia-modprobe -u.
  3. Reload after flaky state: sudo rmmod nvidia_uvm then sudo modprobe nvidia_uvm.
  4. Reboot, then confirm you are on a current driver.

Linux suspend/resume: after sleep, Ollama sometimes fails NVIDIA discovery and falls back to CPU. The documented workaround for that driver bug is the same UVM reload: sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm.

If Docker initially uses the GPU then later drops to CPU with discovery errors, disable systemd cgroup management in Docker by adding "exec-opts": ["native.cgroupdriver=cgroupfs"] to /etc/docker/daemon.json on the host.

To limit which GPUs Ollama sees, set CUDA_VISIBLE_DEVICES to a comma-separated list of IDs (prefer UUIDs from nvidia-smi -L). An invalid ID such as -1 forces CPU. For deeper CUDA diagnostics, set CUDA_ERROR_LEVEL=50 and inspect dmesg for nvrm / nvidia lines.

Confirm placement with ollama ps. The Processor column shows 100% GPU, 100% CPU, or a split such as 48%/52% CPU/GPU.

Step 4: AMD ROCm 7 timeout and permissions

On Linux, AMD access usually needs video and/or render group membership for /dev/kfd. Wrong permissions produce a clear server-log error. In containers, pass numeric group IDs from ls -lnd /dev/kfd /dev/dri /dev/dri/* via extra --group-add flags.

If Linux discovery fails with messages like failed to finish discovery before timeout and a ~30s bootstrap duration, the system AMD driver is often too old. Ollama bundles ROCm 7 libraries that need a matching ROCm 7 kernel driver; ROCm 6.x or older can hang during discovery until timeout, then fall back to CPU. Upgrade with AMD’s amdgpu-install utility, reboot, and restart Ollama.

Useful env flags while debugging: AMD_LOG_LEVEL=3, OLLAMA_DEBUG=1, plus dmesg greps for amdgpu and kfd. Select a subset of AMD GPUs with ROCR_VISIBLE_DEVICES (prefer Uuid from rocminfo). Unsupported GFX targets can sometimes be forced with HSA_OVERRIDE_GFX_VERSION (for example 10.3.0) — treat that as experimental and match the closest supported LLVM target from the GPU docs table.

Windows AMD support requires an AMD ROCm v7 / HIP7-capable driver stack; the hardware page lists the RX 7000-class and PRO cards currently covered. Metal covers Apple GPUs. Extra Windows/Linux GPUs may appear via Vulkan (GGML_VK_VISIBLE_DEVICES; disable with OLLAMA_VULKAN=0 or device -1).

Step 5: API errors — 404, 429, 503 queue, 502 cloud

The API errors page documents standard HTTP statuses:

  • 200 — success
  • 400 — bad request (missing parameters, invalid JSON)
  • 404 — not found (often “model doesn’t exist” — pull or name the tag correctly)
  • 429 — too many requests / rate limit exceeded
  • 500 — internal server error
  • 502 — bad gateway (example given: cloud model cannot be reached)

Bodies are JSON: {"error":"..."}. Mid-stream failures arrive as an NDJSON object with an error property without changing the already-started status code.

Separately, the FAQ states that when too many requests hit the server it responds with 503 (overloaded). Raise capacity with OLLAMA_MAX_QUEUE (default 512). Related concurrency knobs:

  • OLLAMA_MAX_LOADED_MODELS — default 3 × GPU count (or 3 on CPU)
  • OLLAMA_NUM_PARALLEL — parallel requests per model (default 1); RAM scales by parallel × context length
  • OLLAMA_CONTEXT_LENGTH — default context is 4096 tokens unless overridden

How to set env vars: macOS app → launchctl setenv NAME value then restart the app; Linux systemd → systemctl edit ollama.service with Environment="NAME=value", then daemon-reload and restart; Windows → quit the tray app, edit user environment variables, relaunch from the Start menu.

Default keep-alive is five minutes. Unload with ollama stop MODEL, or pass API keep_alive as a duration, seconds, -1 (forever), or 0 (unload after the response). Server-wide default: OLLAMA_KEEP_ALIVE.

If autodetection picks a bad LLM library (crashes, wrong CPU path), force one with OLLAMA_LLM_LIBRARY (for example cpu_avx2). Server logs list available libraries such as cuda_v11, rocm_v6, cpu_avx2.

Ollama vs LM Studio vs Open WebUI

These three tools often appear in the same “local LLM” search results but solve different layers. Prices below are omitted on purpose — roles matter more for troubleshooting, and each product’s paid surface changes on its own site.

Role Ollama LM Studio Open WebUI
What it is Local model server + CLI (+ optional Ollama cloud) Desktop app focused on downloading and chatting with local models Self-hosted chat UI that talks to backends such as Ollama
Primary interface ollama CLI, HTTP API on port 11434, optional app GUI first; local server features for apps Browser UI; you point it at an API
Best when You want a stable local OpenAI-style API for scripts, agents, and other apps You want a polished desktop chat/download experience without wiring a server first You want a private ChatGPT-like front end on top of an existing runner
Typical failure mode GPU discovery, pull/proxy, queue 503, wrong model tag (404) App/runtime issues inside the desktop stack (see our LM Studio tutorial) Misconfigured backend URL, auth, or embeddings path (see our Open WebUI playbook)
Use together? Yes — often the backend Usually instead of Ollama as the runner, not under it Yes — commonly fronts Ollama

For desktop-first setup see LM Studio Tutorial: Run a Local LLM. For a browser UI on top of a private backend see Open WebUI Playbook: Private ChatGPT for Your Team.

Editor's note

Who this is for: developers and hobbyists running Ollama locally who hit pull stalls, CPU fallback, or HTTP errors from localhost:11434 / client SDKs.

Who this is not for: readers who only want a hosted chat product with no local binary. Ollama’s cloud tier exists (Pay as you go / Pro / Max / Team on ollama.com/pricing), but this article focuses on local runner failures.

Gotchas verified from official docs (2026-11-07):

  • No log, no theory — Mac ~/.ollama/logs/server.log, Linux journalctl -u ollama, Windows %LOCALAPPDATA%\Ollama\server.log.
  • NVIDIA after suspend → reload nvidia_uvm; keep driver ≥550 (570+ for older compute 5.0–6.2 cards).
  • AMD discovery timeout ~30s → upgrade to ROCm 7-compatible driver, then reboot.
  • 404 on generate/chat → model name/tag missing locally; pull it or fix the spelling.
  • 503 when busy → raise OLLAMA_MAX_QUEUE / reduce parallel load; default queue is 512.
  • Proxy breaks pulls → use HTTPS_PROXY only; avoid HTTP_PROXY.
  • Wrong LLM library → set OLLAMA_LLM_LIBRARY (e.g. cpu_avx2) as a temporary bypass.

FAQ

How do I know the model is actually on the GPU?
Run ollama ps. Official FAQ output shows a Processor column: 100% GPU means fully on GPU, 100% CPU means system RAM only, and mixed percentages mean a split load. If you expected GPU and see CPU after sleep on Linux NVIDIA, reload nvidia_uvm and check the server log again.

What does a 404 from the Ollama API mean?
Per the errors docs, 404 is “Not Found” — commonly the model does not exist under that name. Confirm with ollama list, pull the tag you intend (ollama pull ...), and pass the exact name to /api/generate or /api/chat. A 502 is documented for cases such as an unreachable cloud model; that is a different failure path from a missing local tag.

Why do I get 503 even though my machine is idle?
The FAQ ties overload responses to the request queue. The server rejects additional work when the queue is full. Defaults include OLLAMA_MAX_QUEUE=512, OLLAMA_NUM_PARALLEL=1, and up to several concurrently loaded models when memory allows. Lower client concurrency, unload idle models with ollama stop, or raise the queue/parallel settings deliberately after checking VRAM with ollama ps.

Related posts on lightmind24

Open the matching log file first, confirm GPU discovery with ollama ps, then fix pull/proxy or queue limits — most “Ollama not working” threads end there without reinstalling.

Last verified: 2026-11-07
Sources: Troubleshooting, FAQ, Hardware support (GPU), API errors, Cloud, docs index (llms.txt), ollama.com, Download, Pricing.

Image credit: screenshots of public docs.ollama.com troubleshooting, GPU/hardware, FAQ, and API errors pages captured for this post. Includes no AI-generated image.

Uploaded Image Uploaded Image Uploaded Image Uploaded Image

댓글

이 블로그의 인기 게시물

브루(Vrew) 요금제 정리: 무료 200크레딧으로 어디까지 쓸 수 있나

요약: 영상 자막 편집기 브루(Vrew)는 2026년 4월 22일부터 기능별 사용량 대신 '통합 크레딧' 하나로 요금을 매겨요. 무료 플랜은 매달 200크레딧이 들어오는데, 음성 분석(자동 자막)만 쓰면 최대 200분 분량이라 짧은 영상 몇 편은 충분하지만, 영상 초반의 Vrew 마크를 지우려면 유료 플랜이 필요해요. 이 글은 브루 공식 가격 페이지와 고객센터 공지를 2026년 10월 23일에 다시 확인해, 크레딧 계산법과 플랜 고르는 기준을 정리했어요. 목차 브루 요금 구조: 통합 크레딧이란 1크레딧으로 할 수 있는 일 무료 플랜으로 되는 것과 안 되는 것 유료 플랜 4종 비교표 월 구독·연 구독·기간 이용권, 무엇이 이득일까 상황별 추천: 학생·직장인·유튜버 크레딧이 모자랄 때: 사용 기록 지우개 업그레이드·환불 전에 알아둘 규칙 운영자 메모, 자주 묻는 질문 1. 브루 요금 구조: 통합 크레딧이란 예전 브루는 플랜마다 음성 분석 몇 분, AI 목소리 몇 자, 번역 몇 자처럼 기능별 한도를 따로 줬어요. 그런데 보이저엑스(브루 운영사)가 실제 이용 데이터를 보니 한두 가지 기능만 집중해서 쓰는 사람이 훨씬 많았다고 해요. 그래서 2026년 4월 22일 업데이트부터는 플랜마다 정해진 크레딧을 받고, 어떤 기능에 쓸지는 내가 정하는 방식으로 바뀌었어요. 플랜별 매달 지급량은 Free 200 · Light 2,000 · Standard 10,000 · Business 12,000크레딧 이에요. 공식 공지에 따르면 무료 사용자는 매달 1일에, 유료 사용자는 매월 결제일에 충전되고, 남은 크레딧은 다음 달로 넘어가지 않아요. 바뀐 뒤 무엇이 좋아졌나 공지에 나온 예시가 이해하기 쉬워요. Standard 플랜에서 AI 목소리만 쓰면 예전에는 최대 50만 자였지만, 지금은 1만 크레딧을 모두 AI 목소리에 몰아 쓸 수 있어 최대 100만 자가 돼요. 반대로 여러 기능을 골고루 쓰는 사람은 크레딧이 기능끼리 ...

에이닷 전화 vs 익시오: 통화 녹음·AI 요약, 내 통신사·폰에 맞는 앱 고르기

요약: 통화 녹음과 AI 요약을 쓰고 싶다면 먼저 내 통신사와 휴대폰 종류부터 확인해야 해요. LG유플러스 고객은 무료 앱 익시오, SKT 고객은 에이닷 전화가 가장 기능이 많고, 다른 통신사의 아이폰 사용자는 iOS에 들어 있는 기본 통화 녹음·전사 기능이 현실적인 선택이에요. 이 글은 2026-10-30에 SKT·LG유플러스·Apple 공식 페이지와 도움말을 직접 확인해 세 가지를 비교했어요. 왜 '앱 기능'보다 '내 조건'을 먼저 봐야 할까요 통화 요약 앱 비교 글을 보면 기능 목록부터 나열하는 경우가 많아요. 그런데 실제로 써 보려는 사람에게 가장 먼저 걸리는 건 기능이 아니라 이용 조건 이에요. 익시오는 LG유플러스 고객 전용이고, 에이닷 전화는 누구나 설치할 수 있지만 통역콜·baro 같은 기능은 SKT 고객에게만 열려 있어요. 아이폰은 운영체제 구조상 앱이 통화를 마음대로 녹음하기 어려워서, 통신사 앱이 안 되면 iOS 기본 기능에 기대야 해요. 그래서 이 글은 "어떤 앱이 제일 좋은가"보다 "내 통신사·내 폰에서 무엇을 쓸 수 있나" 순서로 정리했어요. 기능 차이는 그다음이에요. 한눈에 비교: 에이닷 전화 vs 익시오 vs 아이폰 기본 통화 녹음 구분 에이닷 전화 (SKT) 익시오 ixi-O (LG유플러스) 아이폰 기본 통화 녹음 (Apple) 누가 쓸 수 있나 통신사 구분 없이 앱 설치 가능. 단, 통역콜·baro·그룹통화 발신 등은 SKT 고객 전용 U+ 모바일 고객. 타 통신사, 만 14세 미만, 선불요금제 고객은 제한 (공식 사이트 FAQ상 알뜰폰 중 KB리브엠은 예외) 지원 국가·언어의 iPhone 사용자. 1명과 통화할 때만 녹음 가능 지원 OS·기기 Android 10 이상, iOS 16 이상 iOS 17 이상 iPhone 12 이상 / Android...

타입캐스트 vs 클로바더빙: 수익 나는 채널에 쓸 때 무료·유료 조건 비교

요약 타입캐스트와 클로바더빙은 둘 다 글만 입력하면 한국어 AI 목소리를 만들어 주는 서비스지만, 무료로 쓸 수 있는 범위가 꽤 다릅니다. 클로바더빙 무료는 매달 15,000자까지 쓸 수 있는 대신 수익이 생기는 채널에는 쓸 수 없고, 타입캐스트 무료는 처음에 주는 약 5분 분량의 다운로드로 끝나는 체험판에 가깝습니다. 광고 수익이 붙은 유튜브나 쇼핑몰 영상에 넣을 목소리라면 처음부터 유료 플랜 조건을 보고 고르는 편이 안전합니다. 왜 이 두 서비스를 같이 비교하나 쇼츠 내레이션, 수업 자료 더빙, 상품 소개 영상처럼 "내 목소리 대신 AI 목소리"가 필요할 때 한국 사용자들이 가장 많이 찾는 곳이 네오사피엔스의 타입캐스트 와 네이버의 클로바더빙 입니다. 기능 소개만 보면 비슷해 보이지만, 실제로 문제가 되는 건 음질보다 "이 목소리를 내 채널에 써도 되나" 입니다. 그래서 이 글은 기능 나열보다 무료 사용 범위, 출처 표기 의무, 유료 플랜 가격과 다운로드 한도를 중심으로 정리했습니다. 모든 수치는 2026년 10월 25일에 두 서비스의 공식 요금 페이지와 고객센터 도움말에서 직접 다시 확인한 내용입니다. 한눈에 보는 비교표 항목 타입캐스트 무료 타입캐스트 베이직 클로바더빙 Free 클로바더빙 Standard 월 요금 0원 9,900원 (연간 결제 시 10% 할인) 0원 19,900원 (네이버 클라우드 플랫폼에서 결제) 무료·포함 사용량 음성 생성·재생 무제한, 다운로드는 최초 3,000크레딧(약 5분) 1회 지급 월 30,000크레딧(약 60분) 월 15,000자, 다운로드 월 20회, 프로젝트 누적 5개 (매월 1일 갱신) 월 30,000자, 다운로드 월 40회, 프로젝트 누적 20개 쓸 수 있...