AI 연구 그룹 OpenBMB가 이미지·영상을 이해하는 멀티모달 모델 MiniCPM-V 4.7을 오픈소스(Apache-2.0)로 공개했습니다. 핵심은 전체 파라미터가 350억 개(35B)인 모델을 클라우드가 아니라 스마트폰과 태블릿에서 직접 돌리겠다는 것입니다. 10월 12일 허깅페이스에 모델 카드와 라이선스가 올라오면서 본격적으로 알려졌습니다.
무엇이 나왔나
이번 버전은 두 가지입니다. 하나는 시리즈 첫 MoE(전문가 혼합) 구조인 35B-A3B, 다른 하나는 작고 가벼운 1B 모델입니다. MoE는 덩치는 크지만 단어 하나를 처리할 때 일부 '전문가' 블록만 꺼내 쓰는 방식이라 계산량은 작은 모델 수준에 가깝습니다. 문제는 폰 메모리에 모든 전문가를 올려 둘 수 없다는 점인데, OpenBMB는 이걸 세 가지 기법으로 풀었다고 설명합니다.
- Lookahead Expert Scheduling(LES): 다음 층에서 쓰일 전문가를 미리 예측해 불러옵니다. 예측은 '미리 불러오기'에만 쓰이고, 실제 계산은 원래 모델의 선택을 그대로 따르기 때문에 성능 손실이 없다는 게 회사 설명입니다.
- 층별 세밀한 양자화로 전문가 가중치의 저장 용량과 메모리 이동량을 줄였습니다.
- DSpark 추측 샘플링을 결합해 글자 생성 속도를 높였습니다.
핵심 수치 (OpenBMB 발표 기준)
- 35B-A3B 모델이 아이폰 17 Pro Max에서 초당 13토큰 이상 생성. 아이폰과 iPad M4에서 편집 없이 녹화한 시연 영상도 공개했습니다.
- Instruct 모드에서 35B-A3B는 Qwen3.6 35B-A3B보다 더 짧은 추론 시간에 더 높은 종합 점수를 냈다고 밝혔습니다. 1B 모델은 Qwen3.5 0.8B보다 점수와 효율 모두 앞선다고 합니다.
- iOS·안드로이드·하모니OS를 지원하고, Rockchip·Intel·AMD·Arm 등 칩 플랫폼도 출시 첫날부터 지원합니다.
- SGLang, vLLM, llama.cpp, Ollama로 실행할 수 있고 GGUF·AWQ·GPTQ·FP8 등 양자화 버전이 함께 나왔습니다.
다만 이 수치는 모두 개발사가 직접 잰 결과입니다. 긴 영상이나 큰 이미지를 넣을 때의 대기 시간, 발열, 배터리 소모는 아직 독립적으로 검증되지 않았습니다.
왜 중요한가
지금까지 쓸 만한 비전 AI는 대부분 사진을 서버로 보내야 했습니다. 큰 모델이 폰 안에서 돌아가면 영수증·서류·사진 같은 개인 자료를 밖으로 내보내지 않고 처리할 수 있고, 인터넷이 없어도 쓸 수 있으며, 호출할 때마다 드는 API 비용도 사라집니다. 특히 "큰 MoE 모델은 기기에서 못 돌린다"는 통념에 정면으로 도전했다는 점에서, 앞으로 온디바이스 AI 경쟁의 기준점이 될 수 있습니다.
직접 해볼 수 있는 것
- 설치 없이 맛보기: 허깅페이스의 공식 라이브 데모에서 사진을 올려 질문해 보세요.
- 내 PC에서 돌리기: Ollama나 llama.cpp에 GGUF 버전을 받으면 됩니다. 사양이 낮다면 1B 모델부터 시작하는 게 부담이 적습니다.
- 업무에 붙이기: 문서 OCR, 화면 캡처 요약, 제품 사진 분류처럼 민감한 이미지를 다루는 작업이라면 로컬 실행을 검토해 볼 만합니다. 회사가 함께 공개한 Self-Replay 파인튜닝으로 기존 능력을 덜 잊으면서 내 데이터에 맞출 수도 있습니다.
- Apache-2.0 라이선스라 상업적 이용도 가능하지만, 도입 전에는 내 작업 데이터로 정확도를 꼭 직접 확인하세요.
출처: OpenBMB MiniCPM-V 4.7 35B-A3B 모델 카드 (Hugging Face) · MiniCPM-V 4.7 1B 모델 카드
댓글
댓글 쓰기