폰·라즈베리파이에서 도는 2.3억 AI, 4배 큰 모델을 정말 이길까?

Liquid AI가 2026년 6월 25일 공개한 LFM2.5-230M은 파라미터가 2억 3천만 개(0.23B)뿐인 초소형 AI인데, 인터넷 연결 없이 스마트폰·라즈베리파이 같은 작은 기기에서 모델 전체가 통째로 돌아가고, 데이터 정리나 지시 따르기 같은 일부 실무 작업에서는 자기보다 3~4배 큰 모델까지 이긴다. 갤럭시 S25 울트라에서 초당 213토큰(토큰=대략 단어 조각), 라즈베리파이 5에서 초당 42토큰을 내지만, 수학·코딩·복잡한 추론은 만든 회사조차 권장하지 않는 용도다.

한 줄 요약: 2.3억 파라미터짜리 초소형 AI가 클라우드 없이 폰에서 돌면서 특정 작업에선 4배 큰 모델을 이긴다. 만능은 아니고 '작은 전용 일꾼'이다.

LFM2.5-230M은 정확히 무엇이고 왜 이렇게 작나?#

요즘 화제가 되는 AI는 대부분 파라미터가 수백억~수천억 개라 강력한 GPU나 클라우드가 있어야 돈다. 파라미터는 모델이 학습으로 얻은 '숫자 지식 조각'인데, 많을수록 아는 게 많지만 그만큼 메모리와 계산이 더 필요하다. LFM2.5-230M은 정반대 방향이다. 2억 3천만 개는 요즘 대형 모델(수백억~수천억)의 수백~수천분의 1 크기라, 클라우드를 부르지 않고 폰·노트북·심지어 라즈베리파이에서 그대로 돈다.

작다는 건 세 가지 실질 이득으로 이어진다. 첫째, 데이터가 기기 밖으로 나가지 않으니 프라이버시가 지켜진다. 둘째, 비행기 모드에서도 작동하는 오프라인 실행이 된다. 셋째, 호출할 때마다 클라우드에 돈을 낼 필요가 없다(전기·기기값은 별개). 여기서 "근데 작으면 멍청하지 않나?"라는 의문이 자연스럽다. 보통은 맞지만, LFM2.5-230M은 두 가지 트릭으로 그 통념을 일부 뒤집었다.

첫 번째 트릭은 구조(아키텍처)다. 이 모델은 평범한 트랜스포머가 아니라 'LFM2' 하이브리드다. 트랜스포머의 핵심인 어텐션은 문장 전체를 매 단어마다 다시 훑어보기 때문에 정확하지만 무겁다. LFM2는 이 비싼 어텐션을 조금만 쓰고, 대부분은 가벼운 합성곱(convolution) 블록으로 처리한다. 합성곱은 옆 단어 몇 개만 슬쩍 보는 방식이라 훨씬 빠르고 메모리를 적게 쓴다. 그래서 작은 기기에서도 속도가 난다.

두 번째 트릭은 데이터 양이다. 작은 모델에 무려 19조 토큰이라는 엄청난 양의 데이터를 학습시켰다. 그릇은 작아도 아주 오래, 아주 많이 훈련시켜 밀도를 끌어올린 셈이다.

라이선스는 오픈웨이트(가중치 공개)이지만 완전 자유는 아니다. 연매출 1천만 달러 이상 회사가 상업적으로 쓰려면 별도 라이선스가 필요하고, 그 미만 개인·회사는 무료로 쓸 수 있다.

작은 모델이 4배 큰 모델을 정말 이기나?#

핵심 근거는 특정 작업에 한해 "그렇다"이다. 다만 반드시 짚어야 할 오해가 하나 있다. 모든 작업에서 이기는 게 아니라, 좁고 특정한 작업에서만 이긴다.

의료 기록에서 항목을 뽑아내는 데이터추출 벤치마크(CaseReportBench)에서 LFM2.5-230M은 22.51점을 받아, 3.5배 큰 Qwen3.5-0.8B(13.83)와 4.3배 큰 Gemma 3 1B(2.28)를 모두 이겼다. 지시 따르기 벤치마크(IFEval)에서도 71.71점으로 두 모델(59.94, 63.49)보다 앞선다. 단, 이 수치들은 제조사가 직접 공개한 값이며 제3자 재현 전이라는 점을 감안해야 한다.

여기서 두 번째 큰 이점이 나온다. '진짜 내 기기에서 돈다'는 점이다. 이 모델은 출시 당일부터 llama.cpp·MLX·ONNX·GGUF 형식을 지원해서, 맥은 MLX로, 폰과 라즈베리파이는 GGUF/llama.cpp로 바로 올린다. 그리고 이 전체 흐름은 '무작정 키우기'보다 '작고 효율적으로 가기'로 방향을 트는 2026년 온디바이스 AI 흐름의 선명한 신호이기도 하다.

직접 돌려보려면? 주의할 점은?#

시작은 간단하다. 허깅페이스에서 GGUF 파일을 받아 llama.cpp(폰·라즈베리파이)나 맥의 MLX에 올리면 오프라인으로 굴려볼 수 있다. 잘하는 일은 명확하다. 구조화된 데이터 뽑기, 간단한 도구 호출, 지시 따르기 세 가지가 이 모델의 강점 영역이다.

하지만 반드시 알아야 할 한계가 있다. 수학·코딩·창작·복잡한 추론은 Liquid AI가 스스로 권장하지 않는 용도다. 폭넓은 상식을 재는 시험(MMLU-Pro)은 20.25로 낮고, 일부 에이전트 도구 호출(τ²-Bench Telecom)은 5.26으로 약하다. 또 작은 모델도 사실을 지어낼 수 있으니(할루시네이션), 중요한 데이터 추출에는 결과를 다시 확인하는 검증 단계를 두는 게 안전하다. 마지막으로 앞서 나온 속도 수치(213토큰/초 등)는 모델을 4비트로 경량화하고 짧은 입력을 줬을 때 기준이라는 점도 기억하자.

큰 그림으로 보면, Liquid AI는 이 모델을 휴머노이드 로봇 Unitree G1의 온보드 칩(NVIDIA Jetson Orin)에 올려, 음성 명령을 도구 호출 순서로 바꾸는 '두뇌의 말단(스킬 선택)'으로 시연했다. 거대 모델만이 AI라는 구도에서 벗어나, 작고 기기 안에서 돌며 특정 일을 잘하는 AI가 일상 기기와 로봇으로 퍼지는 신호다.

참고: 이 글의 수치는 2026년 6월 25일 공개 시점의 Liquid AI 발표 기준이며, 대부분 제조사 자체 공개 값으로 제3자 재현 전이다. 온디바이스 소형 모델 생태계는 빠르게 바뀌므로 도입 전 최신 모델카드와 자체 측정으로 확인하고, 본 글은 분기별로 갱신할 예정이다.