기본 콘텐츠로 건너뛰기

LiteLLM Tutorial: One Proxy for OpenAI and Ollama

Summary: LiteLLM is an open-source Python SDK and self-hosted LLM gateway that lets you call 100+ providers — OpenAI, Anthropic, Bedrock, Vertex, Ollama and more — through one OpenAI-compatible completion() API or a local proxy on port 4000. This how-to walks through SDK install, a first Ollama call, a config-based proxy, and how LiteLLM's free self-hosted gateway compares with Portkey's free Developer plan, using only facts checked on official pages on 2026-11-07. Official screenshots are at the end of this post.

Why a single LLM interface matters

Most teams do not stay on one provider. You might draft with a local Ollama model, fall back to Claude for hard tasks, and keep an Azure OpenAI deployment for compliance. Each vendor ships a different client, error shape and auth header. LiteLLM's docs describe the project as a unified interface over 100+ LLMs in OpenAI format, with a self-hosted Proxy (LLM Gateway) that adds virtual keys, cost tracking and an admin UI.

There are two ways to use it:

  • Python SDK — import completion in your app. Good when one service owns the keys.
  • Proxy server — run an OpenAI-compatible gateway (default http://0.0.0.0:4000) so any OpenAI client, LangChain, or curl script talks to one base URL while LiteLLM routes to the real provider.

If you already run local models and hit pull or GPU issues, fix the runner first with our Ollama troubleshooting guide, then put LiteLLM in front of a healthy localhost:11434.

Step 1: Install the SDK (or the leaner core package)

Official Getting Started recommends:

uv add litellm

For apps that only need the Python SDK, the same docs describe litellm-core: fewer mandatory dependencies, no bundled dashboard or gateway CLI entry points, and the same import litellm surface. Do not install litellm and litellm-core together — they share the same Python files.

To run the full AI Gateway with Admin UI, the docs point to the container Quickstart (no local Python required) or the CLI Quickstart below. There is also a Claude Code skill path: npx skills add BerriAI/litellm -g then /litellm-setup, which asks for providers, writes config and starts a test chat — useful if you want the gateway scaffolded for you.

Step 2: Make your first completion (cloud or Ollama)

Every provider uses the same shape. From the official Getting Started examples (model IDs on that page change as vendors rename models — copy the current string from the docs when you try this):

from litellm import completion
import os

os.environ["OPENAI_API_KEY"] = "your-api-key"
response = completion(
  model="openai/<current-openai-model-id>",
  messages=[{"role": "user", "content": "Hello, how are you?"}]
)
print(response.choices[0].message.content)

Swap the prefix for another vendor the same way: anthropic/..., vertex_ai/..., bedrock/..., azure/<deployment>. Responses stay in OpenAI Chat Completions format. Streaming is stream=True and iterating chunks; provider errors map to OpenAI-style exceptions such as litellm.AuthenticationError, RateLimitError and APIError.

Call a local Ollama model

With Ollama already running, the provider docs show:

from litellm import completion

response = completion(
    model="ollama/llama2",
    messages=[{"content": "respond in 20 words. who are you?", "role": "user"}],
    api_base="http://localhost:11434"
)
print(response)

LiteLLM recommends the ollama_chat/... prefix when you want Ollama's POST /api/chat path for better chat responses. JSON mode uses format="json". Tool calling passes a standard tools=[...] list; if a local model lacks native tools, LiteLLM can fall back to JSON-mode tool calls. For the proxy, a minimal Ollama entry looks like:

model_list:
  - model_name: "llama3.1"
    litellm_params:
      model: "ollama_chat/llama3.1"
      api_base: "http://localhost:11434"
      keep_alive: "8m"

Step 3: Run the LiteLLM proxy (LLM Gateway)

CLI Quick Start install (note the Python floor):

uv tool install 'litellm[proxy]'

Docs warn that LiteLLM 1.84.0+ needs Python 3.10+. A bare pip install 'litellm[proxy]' on an older interpreter can silently resolve to an older release (they cite 1.83.9 for the previous floor) with no error — check python --version or use uv.

Start a one-model proxy:

litellm --model ollama/llama3
# Proxy running on http://0.0.0.0:4000

Or use a YAML model list and litellm --config your_config.yaml. Debug with --detailed_debug or export LITELLM_LOG=DEBUG (must be a real logging level — setting it to None breaks import litellm).

Call it with any OpenAI client:

import openai
client = openai.OpenAI(api_key="anything", base_url="http://0.0.0.0:4000")
response = client.chat.completions.create(
  model="llama3",
  messages=[{"role": "user", "content": "Write a short poem"}]
)
print(response.choices[0].message.content)

When no master key is set, the docs allow a placeholder API key. Proxy endpoints include /chat/completions, /completions, /embeddings, /models and /key/generate. Virtual keys, spend tracking and the Admin UI need a database_url under general_settings in config — the CLI-only start on this page runs without a database. Load tests in the same docs say the proxy can handle 1.5k+ requests/second.

Step 4: Fallbacks, cost callbacks and observability

SDK Router support (retry / fallback across deployments) is listed on Getting Started. For cost, attach a success callback that reads kwargs.get("response_cost", 0). Observability hooks include Langfuse, MLflow and Helicone via litellm.success_callback = ["langfuse", ...]. If you already use Langfuse for traces, our Langfuse playbook covers finding expensive or bad answers after the gateway logs them.

LiteLLM vs Portkey vs raw multi-SDK

Figures below were checked on 2026-11-07 from litellm.ai/pricing and portkey.ai/pricing. Enterprise quotes are custom on both sides — we do not invent dollar amounts that are not on the public cards.

LiteLLM Open Source LiteLLM Enterprise Portkey Developer (hosted)
List price $0 forever to self-host (no license fee) Annual, sized to gateway request capacity / architecture / support — not per token (talk to sales). 30-day Enterprise trial key available $0 / month Free Forever
What free covers 100+ providers, virtual keys, users & teams, spend tracking, budgets + rate limits, fallbacks, request/response logging, Prometheus metrics Everything in OSS plus SSO/SCIM, OIDC/JWT, audit logs, secret managers + key rotation, org/team admins, multi-region control plane, SLAs / dedicated support, air-gap options 10k recorded logs / month (requests beyond that still run; extra logs are not recorded). 3-day log / 30-day metrics retention. Page labels it for prototyping — not production
Where it runs Your infra (Docker / Helm / CLI); data and keys stay on your side per pricing FAQ Self-hosted; air-gapped options listed on Enterprise cards Hosted SaaS Developer tier; Portkey also lists a separate open-source self-host path and a Production plan at $49/month for 100k logs (+$9 per extra 100k on the public table)
Best when You want a MIT-licensed gateway you operate yourself, including local Ollama behind one OpenAI URL You need SSO, audit logs and vendor SLAs on the same gateway core You want a hosted free tier with logs/prompts for POCs without running Postgres yourself

Raw multi-SDK (one client per vendor) stays free of a gateway process but reintroduces per-provider auth, retries and error handling — the problem LiteLLM's unified exceptions and proxy are meant to remove.

Editor's note

Who it's for: developers who already juggle two or more LLM backends, or who want OpenAI-compatible clients to hit local Ollama without rewriting callers. Platform teams that need virtual keys and budgets on a self-hosted box.

Who it's not for: someone who only ever calls one hosted chat product in a browser and never writes API code. A consumer Copilot or ChatGPT subscription is simpler for that case.

Gotchas verified from official docs (2026-11-07):

  • Python 3.10+ for LiteLLM 1.84.0+; old pip can silently pin an older wheel.
  • Prefer ollama_chat/ when chat quality matters; plain ollama/ hits a different Ollama API path.
  • Proxy without database_url has no Admin UI / virtual keys — add Postgres for those features.
  • Placeholder API keys only work when no master key is configured; turn keys on before exposing the proxy.
  • LITELLM_LOG=None breaks imports — use DEBUG/INFO/ERROR.
  • Do not stack litellm + litellm-core in one environment.
  • Enterprise is not a public $/1M-token sticker — capacity-based quotes only on the pricing page.

FAQ

Is LiteLLM really free in production?

Yes for the open-source gateway: the pricing FAQ states you can self-host OSS with no license fee forever. You still pay your own GPUs, cloud LLMs and ops. Enterprise is optional governance and support on the same core.

Can I put Ollama and OpenAI behind one base_url?

Yes. List both under model_list with different model_name aliases, start the proxy with that config, and point the OpenAI SDK at http://0.0.0.0:4000. Callers pick the alias; LiteLLM holds the real provider credentials.

When should I choose Portkey's free plan instead?

When you want a hosted free Developer tier with recorded logs and do not want to run the gateway yourself. Portkey's own pricing page marks that tier as not suitable for production and caps recorded logs at 10k/month. If you need unlimited self-hosted routing with local models, LiteLLM OSS fits better.

Related posts on lightmind24

Install the SDK or proxy once, keep every caller on the OpenAI shape, and add Ollama or a second cloud vendor as another model alias — that is the whole LiteLLM habit.

Last verified: 2026-11-07
Sources: LiteLLM Getting Started, Proxy CLI Quick Start, Ollama provider docs, litellm.ai, LiteLLM pricing, LiteLLM Enterprise, Portkey pricing, BerriAI/litellm on GitHub.

Image credit: screenshots of public LiteLLM docs (Getting Started, Proxy CLI Quick Start), litellm.ai/pricing, and portkey.ai/pricing captured 2026-11-07. See the official screenshots at the end of this post. Includes no AI-generated image.

Uploaded Image Uploaded Image Uploaded Image Uploaded Image

댓글

이 블로그의 인기 게시물

브루(Vrew) 요금제 정리: 무료 200크레딧으로 어디까지 쓸 수 있나

요약: 영상 자막 편집기 브루(Vrew)는 2026년 4월 22일부터 기능별 사용량 대신 '통합 크레딧' 하나로 요금을 매겨요. 무료 플랜은 매달 200크레딧이 들어오는데, 음성 분석(자동 자막)만 쓰면 최대 200분 분량이라 짧은 영상 몇 편은 충분하지만, 영상 초반의 Vrew 마크를 지우려면 유료 플랜이 필요해요. 이 글은 브루 공식 가격 페이지와 고객센터 공지를 2026년 10월 23일에 다시 확인해, 크레딧 계산법과 플랜 고르는 기준을 정리했어요. 목차 브루 요금 구조: 통합 크레딧이란 1크레딧으로 할 수 있는 일 무료 플랜으로 되는 것과 안 되는 것 유료 플랜 4종 비교표 월 구독·연 구독·기간 이용권, 무엇이 이득일까 상황별 추천: 학생·직장인·유튜버 크레딧이 모자랄 때: 사용 기록 지우개 업그레이드·환불 전에 알아둘 규칙 운영자 메모, 자주 묻는 질문 1. 브루 요금 구조: 통합 크레딧이란 예전 브루는 플랜마다 음성 분석 몇 분, AI 목소리 몇 자, 번역 몇 자처럼 기능별 한도를 따로 줬어요. 그런데 보이저엑스(브루 운영사)가 실제 이용 데이터를 보니 한두 가지 기능만 집중해서 쓰는 사람이 훨씬 많았다고 해요. 그래서 2026년 4월 22일 업데이트부터는 플랜마다 정해진 크레딧을 받고, 어떤 기능에 쓸지는 내가 정하는 방식으로 바뀌었어요. 플랜별 매달 지급량은 Free 200 · Light 2,000 · Standard 10,000 · Business 12,000크레딧 이에요. 공식 공지에 따르면 무료 사용자는 매달 1일에, 유료 사용자는 매월 결제일에 충전되고, 남은 크레딧은 다음 달로 넘어가지 않아요. 바뀐 뒤 무엇이 좋아졌나 공지에 나온 예시가 이해하기 쉬워요. Standard 플랜에서 AI 목소리만 쓰면 예전에는 최대 50만 자였지만, 지금은 1만 크레딧을 모두 AI 목소리에 몰아 쓸 수 있어 최대 100만 자가 돼요. 반대로 여러 기능을 골고루 쓰는 사람은 크레딧이 기능끼리 ...

에이닷 전화 vs 익시오: 통화 녹음·AI 요약, 내 통신사·폰에 맞는 앱 고르기

요약: 통화 녹음과 AI 요약을 쓰고 싶다면 먼저 내 통신사와 휴대폰 종류부터 확인해야 해요. LG유플러스 고객은 무료 앱 익시오, SKT 고객은 에이닷 전화가 가장 기능이 많고, 다른 통신사의 아이폰 사용자는 iOS에 들어 있는 기본 통화 녹음·전사 기능이 현실적인 선택이에요. 이 글은 2026-10-30에 SKT·LG유플러스·Apple 공식 페이지와 도움말을 직접 확인해 세 가지를 비교했어요. 왜 '앱 기능'보다 '내 조건'을 먼저 봐야 할까요 통화 요약 앱 비교 글을 보면 기능 목록부터 나열하는 경우가 많아요. 그런데 실제로 써 보려는 사람에게 가장 먼저 걸리는 건 기능이 아니라 이용 조건 이에요. 익시오는 LG유플러스 고객 전용이고, 에이닷 전화는 누구나 설치할 수 있지만 통역콜·baro 같은 기능은 SKT 고객에게만 열려 있어요. 아이폰은 운영체제 구조상 앱이 통화를 마음대로 녹음하기 어려워서, 통신사 앱이 안 되면 iOS 기본 기능에 기대야 해요. 그래서 이 글은 "어떤 앱이 제일 좋은가"보다 "내 통신사·내 폰에서 무엇을 쓸 수 있나" 순서로 정리했어요. 기능 차이는 그다음이에요. 한눈에 비교: 에이닷 전화 vs 익시오 vs 아이폰 기본 통화 녹음 구분 에이닷 전화 (SKT) 익시오 ixi-O (LG유플러스) 아이폰 기본 통화 녹음 (Apple) 누가 쓸 수 있나 통신사 구분 없이 앱 설치 가능. 단, 통역콜·baro·그룹통화 발신 등은 SKT 고객 전용 U+ 모바일 고객. 타 통신사, 만 14세 미만, 선불요금제 고객은 제한 (공식 사이트 FAQ상 알뜰폰 중 KB리브엠은 예외) 지원 국가·언어의 iPhone 사용자. 1명과 통화할 때만 녹음 가능 지원 OS·기기 Android 10 이상, iOS 16 이상 iOS 17 이상 iPhone 12 이상 / Android...

타입캐스트 vs 클로바더빙: 수익 나는 채널에 쓸 때 무료·유료 조건 비교

요약 타입캐스트와 클로바더빙은 둘 다 글만 입력하면 한국어 AI 목소리를 만들어 주는 서비스지만, 무료로 쓸 수 있는 범위가 꽤 다릅니다. 클로바더빙 무료는 매달 15,000자까지 쓸 수 있는 대신 수익이 생기는 채널에는 쓸 수 없고, 타입캐스트 무료는 처음에 주는 약 5분 분량의 다운로드로 끝나는 체험판에 가깝습니다. 광고 수익이 붙은 유튜브나 쇼핑몰 영상에 넣을 목소리라면 처음부터 유료 플랜 조건을 보고 고르는 편이 안전합니다. 왜 이 두 서비스를 같이 비교하나 쇼츠 내레이션, 수업 자료 더빙, 상품 소개 영상처럼 "내 목소리 대신 AI 목소리"가 필요할 때 한국 사용자들이 가장 많이 찾는 곳이 네오사피엔스의 타입캐스트 와 네이버의 클로바더빙 입니다. 기능 소개만 보면 비슷해 보이지만, 실제로 문제가 되는 건 음질보다 "이 목소리를 내 채널에 써도 되나" 입니다. 그래서 이 글은 기능 나열보다 무료 사용 범위, 출처 표기 의무, 유료 플랜 가격과 다운로드 한도를 중심으로 정리했습니다. 모든 수치는 2026년 10월 25일에 두 서비스의 공식 요금 페이지와 고객센터 도움말에서 직접 다시 확인한 내용입니다. 한눈에 보는 비교표 항목 타입캐스트 무료 타입캐스트 베이직 클로바더빙 Free 클로바더빙 Standard 월 요금 0원 9,900원 (연간 결제 시 10% 할인) 0원 19,900원 (네이버 클라우드 플랫폼에서 결제) 무료·포함 사용량 음성 생성·재생 무제한, 다운로드는 최초 3,000크레딧(약 5분) 1회 지급 월 30,000크레딧(약 60분) 월 15,000자, 다운로드 월 20회, 프로젝트 누적 5개 (매월 1일 갱신) 월 30,000자, 다운로드 월 40회, 프로젝트 누적 20개 쓸 수 있...