기본 콘텐츠로 건너뛰기

Firecrawl Tutorial: Scrape, Crawl and Map Sites for AI

Summary: Firecrawl is a web API that turns pages into clean Markdown or structured JSON that you can feed to an LLM, a RAG index or an AI agent. This tutorial walks through the three calls most people actually need (scrape one page, map a site's URLs, crawl a section), how credits are counted, and the settings that stop a first crawl from burning your whole free allowance. Everything below was checked against Firecrawl's own docs and pricing page on 2026-11-03.

What Firecrawl does, in plain terms

Feeding raw HTML to a model wastes tokens on menus, cookie banners and scripts. Firecrawl fetches the page for you (including JavaScript-rendered pages), strips the clutter and hands back the content in the format you ask for. The docs list more than a dozen output formats; the ones you will use first are markdown, html (cleaned), links, screenshot and json for structured extraction with a schema.

There are four core building blocks worth knowing before you write any code:

  • Scrape: one URL in, clean content out. 1 credit per page.
  • Map: give it a site, get back a list of URLs, mostly from the sitemap plus search results. 1 credit per call, no matter how many URLs come back.
  • Crawl: start from a URL and scrape every reachable subpage. 1 credit per page crawled.
  • Search: run a web search and optionally scrape the results. 2 credits per 10 results, plus scrape costs for any result you scrape.

Step 1: Decide between keyless access and a free API key

Firecrawl now lets you call Scrape, Search and Interact with no API key at all. That keyless tier is free but capped per IP address per day, by both a request count and a credit count, and going over either returns HTTP 429. Crawl, Map, Extract and batch scrape are not available without a key.

One thing the docs do not spell out up front: keyless access depends on where you call from. When I sent the documented keyless scrape request from a cloud server while writing this post, the API answered with HTTP 403 and a message saying the IP address looked like a VPN or proxy, so it could not be used without an API key. If you work from a VPS, a CI runner or a corporate VPN, plan on getting a key.

The free account is the better starting point anyway. It costs nothing, needs no card, and gives you 1,000 credits per month (they reset monthly and do not roll over), 2 concurrent browsers, and access to every core endpoint. To get one:

  1. Sign up at firecrawl.dev and open the API keys page in the dashboard.
  2. Copy the key (it starts with fc-) and store it as an environment variable named FIRECRAWL_API_KEY rather than pasting it into code.
  3. Optional but smart: open the menu on the key, click Set limit, and set a credit cap per day, week or month. The limit is counted in credits, not dollars, and applies to that key alone.

Step 2: Scrape your first page

The quickest test is a single cURL call to the v2 scrape endpoint:

curl -s -X POST "https://api.firecrawl.dev/v2/scrape" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $FIRECRAWL_API_KEY" \
  -d '{"url": "https://example.com", "formats": ["markdown"]}'

In Python, install the SDK with pip install firecrawl and the same call becomes:

from firecrawl import Firecrawl
fc = Firecrawl(api_key="fc-YOUR-API-KEY")
doc = fc.scrape("https://example.com", formats=["markdown", "links"])
print(doc)

Read the response correctly. Firecrawl has two status layers. HTTP 200 with success: true only means your API call worked. The target site's own answer is in data.metadata.statusCode. A page that returned 403 or 404 still comes back as a document, and per the billing docs it still costs 1 credit. Check that field and stop retrying URLs that keep failing, or a loop will quietly drain your balance.

Step 3: Map the site before you crawl it

This is the habit that saves the most credits. A map call costs 1 credit even if it returns thousands of URLs, so it is the cheapest way to see how big a site really is and which paths you care about.

res = fc.map(url="https://docs.example.com", limit=50, sitemap="include")

Map also takes a search parameter to return only URLs related to a topic, which is handy when you only want, say, the pricing or API pages of a large site. Once you have the list, you can either scrape just those URLs or design a tight crawl.

Step 4: Run a crawl with a hard limit

Crawl follows links from your starting URL and scrapes each page it finds. The default page limit is 10,000, which is far more than a free account has, so always pass your own:

docs = fc.crawl(
    url="https://docs.example.com/guides/",
    limit=100,
    scrape_options={"formats": ["markdown"], "only_main_content": True}
)

Settings that matter, all from the crawl reference:

  • Children only by default. Starting at /guides/ will not reach /blog/. Use crawlEntireDomain for sibling and parent paths and allowSubdomains for subdomains.
  • includePaths and excludePaths are regex patterns matched against the URL path, not the full URL. If your starting URL does not match includePaths, the crawl may return 0 pages.
  • maxDiscoveryDepth counts link hops from the root, not slashes in the URL.
  • Credits arrive late. Crawl and batch jobs are billed as each page finishes, so your dashboard can keep ticking up for minutes after you submit. Polling job status is free.

Every scrape option (formats, proxy, caching, actions, location) also works inside a crawl and applies to every page, which means a costly option multiplies fast. JSON extraction adds 4 credits per page, so a 100-page crawl with a JSON schema costs about 500 credits instead of 100.

Step 5 (optional): Plug Firecrawl into your coding agent

If you mainly want your AI assistant to read live pages, you may not need to write code. Firecrawl runs a hosted MCP server; its keyless URL exposes Search, Scrape and Parse. The docs give one-line setups, for example claude mcp add --transport http firecrawl https://mcp.firecrawl.dev/v2/mcp for Claude Code and codex mcp add firecrawl --url https://mcp.firecrawl.dev/v2/mcp for Codex CLI. There is also a CLI installer, npx -y firecrawl-cli@latest init --all --browser, that signs you in through the browser and adds skills to detected coding agents; restart the agent afterwards so it picks them up.

Free vs Hobby vs Standard

Prices are from firecrawl.dev/pricing in USD; plan limits are from Firecrawl's billing and rate-limit docs.

Plan Price Credits per month Concurrent browsers /scrape and /crawl per minute When credits run out
Free $0, no card 1,000 (about 1,000 pages or 500 searches) 2 10 and 2 HTTP 402 until the monthly reset; no pay-as-you-go
Hobby $19/month, or $16/month billed yearly 5,000 5 100 and 20 Optional pay-as-you-go: 1,000 credits per $5
Standard $99/month, or $83/month billed yearly 100,000 25 500 and 100 Optional pay-as-you-go: 2,000 credits per $5

Bigger Growth ($399/month, 500,000 credits) and Scale ($749/month, 1,000,000 credits) plans exist for high volume. Note that upgrades are charged at the full new price on the day you upgrade, with no proration, and your billing cycle restarts.

Editor's note

Good fit: developers building RAG pipelines, agents that need live web context, or anyone who wants a docs site as Markdown without maintaining their own headless browser and proxy setup.

Not a fit: one-off reading of a single article (your AI chat app's browsing is enough), or teams who need guaranteed fixed monthly costs but leave pay-as-you-go uncapped.

Gotchas I verified:

  • 403 on keyless calls from servers: the API rejected my keyless request because the IP looked like a VPN or proxy. Fix: add an API key.
  • 402 Payment Required: you are out of credits, or a crawl's limit could not fit your balance. Fix: lower limit, wait for the reset, or turn on pay-as-you-go on a paid plan.
  • 429 Rate limit exceeded / Concurrency limit reached: back off and retry after the Retry-After header. Free accounts hit this quickly on crawl (2 requests per minute).
  • 401 Unauthorized: the key is missing or malformed; the header must be Authorization: Bearer fc-....
  • 400 on crawl filters: path patterns use Rust regex, so look-arounds and backreferences are rejected rather than ignored.
  • Screenshot URLs expire after 24 hours, so download them if you need to keep them.

FAQ

Is Firecrawl free?

There is a genuinely free plan with 1,000 credits per month and no card, plus a keyless tier for Scrape, Search and Interact that is capped per IP per day. Heavy or repeated crawling needs a paid plan.

Does a failed page cost credits?

If Firecrawl returns a document, you pay 1 credit even when the target site answered 403 or 404. If Firecrawl returns no document at all, for example because the site never responded, the scrape is not charged.

Should I use Map or Crawl?

Use Map first to see the URL list for 1 credit, then crawl only the section you need with a limit and path filters. Crawl without a plan is the fastest way to spend a monthly allowance.

Related guides on this blog

Map first, crawl with a limit, cap your key, and Firecrawl's free 1,000 credits go a long way.

Images: own screenshots of Firecrawl's official pricing page, documentation and playground (firecrawl.dev, docs.firecrawl.dev); see them at the end of this post.

Last verified: 2026-11-03

Sources:
Firecrawl Docs: Introduction
Firecrawl Docs: Scrape
Firecrawl Docs: Map
Firecrawl Docs: Crawl
Firecrawl Docs: Billing
Firecrawl Docs: Rate Limits
Firecrawl Docs: Errors
Firecrawl Pricing

Uploaded Image Uploaded Image Uploaded Image Uploaded Image Uploaded Image

댓글

이 블로그의 인기 게시물

브루(Vrew) 요금제 정리: 무료 200크레딧으로 어디까지 쓸 수 있나

요약: 영상 자막 편집기 브루(Vrew)는 2026년 4월 22일부터 기능별 사용량 대신 '통합 크레딧' 하나로 요금을 매겨요. 무료 플랜은 매달 200크레딧이 들어오는데, 음성 분석(자동 자막)만 쓰면 최대 200분 분량이라 짧은 영상 몇 편은 충분하지만, 영상 초반의 Vrew 마크를 지우려면 유료 플랜이 필요해요. 이 글은 브루 공식 가격 페이지와 고객센터 공지를 2026년 10월 23일에 다시 확인해, 크레딧 계산법과 플랜 고르는 기준을 정리했어요. 목차 브루 요금 구조: 통합 크레딧이란 1크레딧으로 할 수 있는 일 무료 플랜으로 되는 것과 안 되는 것 유료 플랜 4종 비교표 월 구독·연 구독·기간 이용권, 무엇이 이득일까 상황별 추천: 학생·직장인·유튜버 크레딧이 모자랄 때: 사용 기록 지우개 업그레이드·환불 전에 알아둘 규칙 운영자 메모, 자주 묻는 질문 1. 브루 요금 구조: 통합 크레딧이란 예전 브루는 플랜마다 음성 분석 몇 분, AI 목소리 몇 자, 번역 몇 자처럼 기능별 한도를 따로 줬어요. 그런데 보이저엑스(브루 운영사)가 실제 이용 데이터를 보니 한두 가지 기능만 집중해서 쓰는 사람이 훨씬 많았다고 해요. 그래서 2026년 4월 22일 업데이트부터는 플랜마다 정해진 크레딧을 받고, 어떤 기능에 쓸지는 내가 정하는 방식으로 바뀌었어요. 플랜별 매달 지급량은 Free 200 · Light 2,000 · Standard 10,000 · Business 12,000크레딧 이에요. 공식 공지에 따르면 무료 사용자는 매달 1일에, 유료 사용자는 매월 결제일에 충전되고, 남은 크레딧은 다음 달로 넘어가지 않아요. 바뀐 뒤 무엇이 좋아졌나 공지에 나온 예시가 이해하기 쉬워요. Standard 플랜에서 AI 목소리만 쓰면 예전에는 최대 50만 자였지만, 지금은 1만 크레딧을 모두 AI 목소리에 몰아 쓸 수 있어 최대 100만 자가 돼요. 반대로 여러 기능을 골고루 쓰는 사람은 크레딧이 기능끼리 ...

에이닷 전화 vs 익시오: 통화 녹음·AI 요약, 내 통신사·폰에 맞는 앱 고르기

요약: 통화 녹음과 AI 요약을 쓰고 싶다면 먼저 내 통신사와 휴대폰 종류부터 확인해야 해요. LG유플러스 고객은 무료 앱 익시오, SKT 고객은 에이닷 전화가 가장 기능이 많고, 다른 통신사의 아이폰 사용자는 iOS에 들어 있는 기본 통화 녹음·전사 기능이 현실적인 선택이에요. 이 글은 2026-10-30에 SKT·LG유플러스·Apple 공식 페이지와 도움말을 직접 확인해 세 가지를 비교했어요. 왜 '앱 기능'보다 '내 조건'을 먼저 봐야 할까요 통화 요약 앱 비교 글을 보면 기능 목록부터 나열하는 경우가 많아요. 그런데 실제로 써 보려는 사람에게 가장 먼저 걸리는 건 기능이 아니라 이용 조건 이에요. 익시오는 LG유플러스 고객 전용이고, 에이닷 전화는 누구나 설치할 수 있지만 통역콜·baro 같은 기능은 SKT 고객에게만 열려 있어요. 아이폰은 운영체제 구조상 앱이 통화를 마음대로 녹음하기 어려워서, 통신사 앱이 안 되면 iOS 기본 기능에 기대야 해요. 그래서 이 글은 "어떤 앱이 제일 좋은가"보다 "내 통신사·내 폰에서 무엇을 쓸 수 있나" 순서로 정리했어요. 기능 차이는 그다음이에요. 한눈에 비교: 에이닷 전화 vs 익시오 vs 아이폰 기본 통화 녹음 구분 에이닷 전화 (SKT) 익시오 ixi-O (LG유플러스) 아이폰 기본 통화 녹음 (Apple) 누가 쓸 수 있나 통신사 구분 없이 앱 설치 가능. 단, 통역콜·baro·그룹통화 발신 등은 SKT 고객 전용 U+ 모바일 고객. 타 통신사, 만 14세 미만, 선불요금제 고객은 제한 (공식 사이트 FAQ상 알뜰폰 중 KB리브엠은 예외) 지원 국가·언어의 iPhone 사용자. 1명과 통화할 때만 녹음 가능 지원 OS·기기 Android 10 이상, iOS 16 이상 iOS 17 이상 iPhone 12 이상 / Android...

타입캐스트 vs 클로바더빙: 수익 나는 채널에 쓸 때 무료·유료 조건 비교

요약 타입캐스트와 클로바더빙은 둘 다 글만 입력하면 한국어 AI 목소리를 만들어 주는 서비스지만, 무료로 쓸 수 있는 범위가 꽤 다릅니다. 클로바더빙 무료는 매달 15,000자까지 쓸 수 있는 대신 수익이 생기는 채널에는 쓸 수 없고, 타입캐스트 무료는 처음에 주는 약 5분 분량의 다운로드로 끝나는 체험판에 가깝습니다. 광고 수익이 붙은 유튜브나 쇼핑몰 영상에 넣을 목소리라면 처음부터 유료 플랜 조건을 보고 고르는 편이 안전합니다. 왜 이 두 서비스를 같이 비교하나 쇼츠 내레이션, 수업 자료 더빙, 상품 소개 영상처럼 "내 목소리 대신 AI 목소리"가 필요할 때 한국 사용자들이 가장 많이 찾는 곳이 네오사피엔스의 타입캐스트 와 네이버의 클로바더빙 입니다. 기능 소개만 보면 비슷해 보이지만, 실제로 문제가 되는 건 음질보다 "이 목소리를 내 채널에 써도 되나" 입니다. 그래서 이 글은 기능 나열보다 무료 사용 범위, 출처 표기 의무, 유료 플랜 가격과 다운로드 한도를 중심으로 정리했습니다. 모든 수치는 2026년 10월 25일에 두 서비스의 공식 요금 페이지와 고객센터 도움말에서 직접 다시 확인한 내용입니다. 한눈에 보는 비교표 항목 타입캐스트 무료 타입캐스트 베이직 클로바더빙 Free 클로바더빙 Standard 월 요금 0원 9,900원 (연간 결제 시 10% 할인) 0원 19,900원 (네이버 클라우드 플랫폼에서 결제) 무료·포함 사용량 음성 생성·재생 무제한, 다운로드는 최초 3,000크레딧(약 5분) 1회 지급 월 30,000크레딧(약 60분) 월 15,000자, 다운로드 월 20회, 프로젝트 누적 5개 (매월 1일 갱신) 월 30,000자, 다운로드 월 40회, 프로젝트 누적 20개 쓸 수 있...