기본 콘텐츠로 건너뛰기

35B 모델이 아이폰에서 돈다…오픈소스 비전 AI 'MiniCPM-V 4.7' 공개, 직접 써보는 법

AI 연구 그룹 OpenBMB가 이미지·영상을 이해하는 멀티모달 모델 MiniCPM-V 4.7을 오픈소스(Apache-2.0)로 공개했습니다. 핵심은 전체 파라미터가 350억 개(35B)인 모델을 클라우드가 아니라 스마트폰과 태블릿에서 직접 돌리겠다는 것입니다. 10월 12일 허깅페이스에 모델 카드와 라이선스가 올라오면서 본격적으로 알려졌습니다.

무엇이 나왔나

이번 버전은 두 가지입니다. 하나는 시리즈 첫 MoE(전문가 혼합) 구조인 35B-A3B, 다른 하나는 작고 가벼운 1B 모델입니다. MoE는 덩치는 크지만 단어 하나를 처리할 때 일부 '전문가' 블록만 꺼내 쓰는 방식이라 계산량은 작은 모델 수준에 가깝습니다. 문제는 폰 메모리에 모든 전문가를 올려 둘 수 없다는 점인데, OpenBMB는 이걸 세 가지 기법으로 풀었다고 설명합니다.

  • Lookahead Expert Scheduling(LES): 다음 층에서 쓰일 전문가를 미리 예측해 불러옵니다. 예측은 '미리 불러오기'에만 쓰이고, 실제 계산은 원래 모델의 선택을 그대로 따르기 때문에 성능 손실이 없다는 게 회사 설명입니다.
  • 층별 세밀한 양자화로 전문가 가중치의 저장 용량과 메모리 이동량을 줄였습니다.
  • DSpark 추측 샘플링을 결합해 글자 생성 속도를 높였습니다.

핵심 수치 (OpenBMB 발표 기준)

  • 35B-A3B 모델이 아이폰 17 Pro Max에서 초당 13토큰 이상 생성. 아이폰과 iPad M4에서 편집 없이 녹화한 시연 영상도 공개했습니다.
  • Instruct 모드에서 35B-A3B는 Qwen3.6 35B-A3B보다 더 짧은 추론 시간에 더 높은 종합 점수를 냈다고 밝혔습니다. 1B 모델은 Qwen3.5 0.8B보다 점수와 효율 모두 앞선다고 합니다.
  • iOS·안드로이드·하모니OS를 지원하고, Rockchip·Intel·AMD·Arm 등 칩 플랫폼도 출시 첫날부터 지원합니다.
  • SGLang, vLLM, llama.cpp, Ollama로 실행할 수 있고 GGUF·AWQ·GPTQ·FP8 등 양자화 버전이 함께 나왔습니다.

다만 이 수치는 모두 개발사가 직접 잰 결과입니다. 긴 영상이나 큰 이미지를 넣을 때의 대기 시간, 발열, 배터리 소모는 아직 독립적으로 검증되지 않았습니다.

왜 중요한가

지금까지 쓸 만한 비전 AI는 대부분 사진을 서버로 보내야 했습니다. 큰 모델이 폰 안에서 돌아가면 영수증·서류·사진 같은 개인 자료를 밖으로 내보내지 않고 처리할 수 있고, 인터넷이 없어도 쓸 수 있으며, 호출할 때마다 드는 API 비용도 사라집니다. 특히 "큰 MoE 모델은 기기에서 못 돌린다"는 통념에 정면으로 도전했다는 점에서, 앞으로 온디바이스 AI 경쟁의 기준점이 될 수 있습니다.

직접 해볼 수 있는 것

  • 설치 없이 맛보기: 허깅페이스의 공식 라이브 데모에서 사진을 올려 질문해 보세요.
  • 내 PC에서 돌리기: Ollama나 llama.cpp에 GGUF 버전을 받으면 됩니다. 사양이 낮다면 1B 모델부터 시작하는 게 부담이 적습니다.
  • 업무에 붙이기: 문서 OCR, 화면 캡처 요약, 제품 사진 분류처럼 민감한 이미지를 다루는 작업이라면 로컬 실행을 검토해 볼 만합니다. 회사가 함께 공개한 Self-Replay 파인튜닝으로 기존 능력을 덜 잊으면서 내 데이터에 맞출 수도 있습니다.
  • Apache-2.0 라이선스라 상업적 이용도 가능하지만, 도입 전에는 내 작업 데이터로 정확도를 꼭 직접 확인하세요.

출처: OpenBMB MiniCPM-V 4.7 35B-A3B 모델 카드 (Hugging Face) · MiniCPM-V 4.7 1B 모델 카드

Uploaded Image

댓글

이 블로그의 인기 게시물

브루(Vrew) 요금제 정리: 무료 200크레딧으로 어디까지 쓸 수 있나

요약: 영상 자막 편집기 브루(Vrew)는 2026년 4월 22일부터 기능별 사용량 대신 '통합 크레딧' 하나로 요금을 매겨요. 무료 플랜은 매달 200크레딧이 들어오는데, 음성 분석(자동 자막)만 쓰면 최대 200분 분량이라 짧은 영상 몇 편은 충분하지만, 영상 초반의 Vrew 마크를 지우려면 유료 플랜이 필요해요. 이 글은 브루 공식 가격 페이지와 고객센터 공지를 2026년 10월 23일에 다시 확인해, 크레딧 계산법과 플랜 고르는 기준을 정리했어요. 목차 브루 요금 구조: 통합 크레딧이란 1크레딧으로 할 수 있는 일 무료 플랜으로 되는 것과 안 되는 것 유료 플랜 4종 비교표 월 구독·연 구독·기간 이용권, 무엇이 이득일까 상황별 추천: 학생·직장인·유튜버 크레딧이 모자랄 때: 사용 기록 지우개 업그레이드·환불 전에 알아둘 규칙 운영자 메모, 자주 묻는 질문 1. 브루 요금 구조: 통합 크레딧이란 예전 브루는 플랜마다 음성 분석 몇 분, AI 목소리 몇 자, 번역 몇 자처럼 기능별 한도를 따로 줬어요. 그런데 보이저엑스(브루 운영사)가 실제 이용 데이터를 보니 한두 가지 기능만 집중해서 쓰는 사람이 훨씬 많았다고 해요. 그래서 2026년 4월 22일 업데이트부터는 플랜마다 정해진 크레딧을 받고, 어떤 기능에 쓸지는 내가 정하는 방식으로 바뀌었어요. 플랜별 매달 지급량은 Free 200 · Light 2,000 · Standard 10,000 · Business 12,000크레딧 이에요. 공식 공지에 따르면 무료 사용자는 매달 1일에, 유료 사용자는 매월 결제일에 충전되고, 남은 크레딧은 다음 달로 넘어가지 않아요. 바뀐 뒤 무엇이 좋아졌나 공지에 나온 예시가 이해하기 쉬워요. Standard 플랜에서 AI 목소리만 쓰면 예전에는 최대 50만 자였지만, 지금은 1만 크레딧을 모두 AI 목소리에 몰아 쓸 수 있어 최대 100만 자가 돼요. 반대로 여러 기능을 골고루 쓰는 사람은 크레딧이 기능끼리 ...

에이닷 전화 vs 익시오: 통화 녹음·AI 요약, 내 통신사·폰에 맞는 앱 고르기

요약: 통화 녹음과 AI 요약을 쓰고 싶다면 먼저 내 통신사와 휴대폰 종류부터 확인해야 해요. LG유플러스 고객은 무료 앱 익시오, SKT 고객은 에이닷 전화가 가장 기능이 많고, 다른 통신사의 아이폰 사용자는 iOS에 들어 있는 기본 통화 녹음·전사 기능이 현실적인 선택이에요. 이 글은 2026-10-30에 SKT·LG유플러스·Apple 공식 페이지와 도움말을 직접 확인해 세 가지를 비교했어요. 왜 '앱 기능'보다 '내 조건'을 먼저 봐야 할까요 통화 요약 앱 비교 글을 보면 기능 목록부터 나열하는 경우가 많아요. 그런데 실제로 써 보려는 사람에게 가장 먼저 걸리는 건 기능이 아니라 이용 조건 이에요. 익시오는 LG유플러스 고객 전용이고, 에이닷 전화는 누구나 설치할 수 있지만 통역콜·baro 같은 기능은 SKT 고객에게만 열려 있어요. 아이폰은 운영체제 구조상 앱이 통화를 마음대로 녹음하기 어려워서, 통신사 앱이 안 되면 iOS 기본 기능에 기대야 해요. 그래서 이 글은 "어떤 앱이 제일 좋은가"보다 "내 통신사·내 폰에서 무엇을 쓸 수 있나" 순서로 정리했어요. 기능 차이는 그다음이에요. 한눈에 비교: 에이닷 전화 vs 익시오 vs 아이폰 기본 통화 녹음 구분 에이닷 전화 (SKT) 익시오 ixi-O (LG유플러스) 아이폰 기본 통화 녹음 (Apple) 누가 쓸 수 있나 통신사 구분 없이 앱 설치 가능. 단, 통역콜·baro·그룹통화 발신 등은 SKT 고객 전용 U+ 모바일 고객. 타 통신사, 만 14세 미만, 선불요금제 고객은 제한 (공식 사이트 FAQ상 알뜰폰 중 KB리브엠은 예외) 지원 국가·언어의 iPhone 사용자. 1명과 통화할 때만 녹음 가능 지원 OS·기기 Android 10 이상, iOS 16 이상 iOS 17 이상 iPhone 12 이상 / Android...

타입캐스트 vs 클로바더빙: 수익 나는 채널에 쓸 때 무료·유료 조건 비교

요약 타입캐스트와 클로바더빙은 둘 다 글만 입력하면 한국어 AI 목소리를 만들어 주는 서비스지만, 무료로 쓸 수 있는 범위가 꽤 다릅니다. 클로바더빙 무료는 매달 15,000자까지 쓸 수 있는 대신 수익이 생기는 채널에는 쓸 수 없고, 타입캐스트 무료는 처음에 주는 약 5분 분량의 다운로드로 끝나는 체험판에 가깝습니다. 광고 수익이 붙은 유튜브나 쇼핑몰 영상에 넣을 목소리라면 처음부터 유료 플랜 조건을 보고 고르는 편이 안전합니다. 왜 이 두 서비스를 같이 비교하나 쇼츠 내레이션, 수업 자료 더빙, 상품 소개 영상처럼 "내 목소리 대신 AI 목소리"가 필요할 때 한국 사용자들이 가장 많이 찾는 곳이 네오사피엔스의 타입캐스트 와 네이버의 클로바더빙 입니다. 기능 소개만 보면 비슷해 보이지만, 실제로 문제가 되는 건 음질보다 "이 목소리를 내 채널에 써도 되나" 입니다. 그래서 이 글은 기능 나열보다 무료 사용 범위, 출처 표기 의무, 유료 플랜 가격과 다운로드 한도를 중심으로 정리했습니다. 모든 수치는 2026년 10월 25일에 두 서비스의 공식 요금 페이지와 고객센터 도움말에서 직접 다시 확인한 내용입니다. 한눈에 보는 비교표 항목 타입캐스트 무료 타입캐스트 베이직 클로바더빙 Free 클로바더빙 Standard 월 요금 0원 9,900원 (연간 결제 시 10% 할인) 0원 19,900원 (네이버 클라우드 플랫폼에서 결제) 무료·포함 사용량 음성 생성·재생 무제한, 다운로드는 최초 3,000크레딧(약 5분) 1회 지급 월 30,000크레딧(약 60분) 월 15,000자, 다운로드 월 20회, 프로젝트 누적 5개 (매월 1일 갱신) 월 30,000자, 다운로드 월 40회, 프로젝트 누적 20개 쓸 수 있...