로컬에서 돌리는 오픈 LLM, 2026 현황과 추천

한눈에 보는 순위 (측정 근거):
1. 기본값 → Qwen3 (Apache-2.0)
2. 노트북/CPU → Phi-4-mini·Gemma 3 4B
3. 단일 24GB → Qwen3 30B-A3B
4. 프런티어 코딩 → GLM-5·DeepSeek V4
5. 추론/수학 → Qwen3-235B·R1

2026년 로컬 오픈 LLM에서 가장 중요한 사실은 단일 최강 모델은 없다는 것이다 — "제일 좋은 오픈 모델이 뭐냐"의 답은 이제 용도와 하드웨어에 따라 갈린다. 그래서 이 글은 순위표가 아니라 결정 규칙이다: 기본값은 무엇, 노트북엔 무엇, 프런티어 코딩엔 무엇. 공개 벤치 기준(2026 스냅샷) 코딩은 GLM-5가 SWE-bench Verified 77.8%로 오픈 선두, 추론·수학은 Qwen3-235B가 GPQA Diamond 77.2%·AIME'24 85.7%, 지식은 Llama 4 Maverick이 MMLU 85.5%, 순수 수학은 DeepSeek-R1이 MATH-500 97.3%로 앞선다. 하지만 MMLU는 이미 포화라 2~3% 차이는 사실상 구분 불가 — 순위표보다 네 작업으로 직접 재라. 요약: 기본은 Qwen3, 노트북은 Gemma, 프런티어는 GLM/DeepSeek.

쉽게 말하면: 오픈 LLM 고르기는 신발 고르기와 같다. "제일 좋은 신발"은 없고 달리기용·정장용·등산용이 따로 있다. 벤치 1등만 보고 사면 24GB 카드에 안 들어가는 235B 신발을 신는 격이다 — 발(하드웨어)에 맞는 걸 골라야 실제로 뛴다.

기본으로 뭘 깔아야 하나?#

Qwen3다. 품질·크기 다양성·다국어·툴 생태계·Apache-2.0 라이선스의 균형이 가장 좋아 대부분에게 기본값이다. 특히 Qwen3 30B-A3B(MoE)는 토큰당 3B만 계산해 30B급 품질을 ~17GB에 담아 단일 GPU에서 빠르다. 노트북·약한 하드웨어면 Phi-4-mini나 Gemma 3 4B, Qwen3 4B/8B로 시작하라 — CPU에서도 돈다(느릴 뿐). 즉 처음엔 벤치 1등이 아니라 네 하드웨어에서 실제로 도는 것을 깔고, 부족하면 올려라.

여기서 MoE(전문가 혼합)를 한 줄로 풀자. 30B-A3B는 '총 30B 파라미터지만 매 토큰엔 3B만 활성화'라는 뜻이다. 덕분에 30B급 지능을 내면서도 계산·메모리는 훨씬 가벼워, 24GB 한 장에 들어가고 속도도 빠르다. '큰 두뇌를 다 쓰지 않고 필요한 전문가만 부른다'고 생각하면 된다.

24GB 한 장이면 어디까지 되나?#

2026 단일 GPU 스윗스팟은 24GB(RTX 4090급)다. 이 한 장에서 30B급 MoE, 32B 추론 distill, 24B 에이전트 코더를 30~45 tok/s의 쓸 만한 속도로 돌린다. 24GB를 넘기면 대개 235B·671B 플래그십인데 이건 멀티GPU·데이터센터 영역(Qwen3-235B는 Q4로 ~132GB)이라 개인 로컬을 벗어난다. 그래서 개인 로컬의 현실적 상한은 30B 클래스고, 그 위가 필요하면 self-host보다 API가 대개 싸다(이건 VRAM 실측편에서 손익분기로 다뤘다).

라이선스는 왜 챙겨야 하나?#

상업 배포 가능 여부가 모델마다 다르기 때문이다. 라이선스 유연성이 최우선이면 Qwen3 Apache-2.0, DeepSeek·GLM-5 MIT가 가장 안전하다. 반면 Llama는 겉보기엔 관대해도 700M MAU 상한과 EU 제한이 있어 규모가 커지면 걸린다. 로컬로 굴리더라도 배포 규모가 커질 때 라이선스가 발목을 잡을 수 있으니, 모델 성능만큼 라이선스도 처음부터 확인하라.

그래서 2026년 로컬 오픈 LLM 추천은?#

핵심은 벤치 1등이 아니라 '내 용도·하드웨어에 맞는 것'이다.

• 기본: Qwen3(균형·Apache-2.0), 노트북은 Gemma 4/Phi-4-mini, 약한 HW는 소형 4B부터.
• 프런티어: 코딩·에이전트는 GLM-5·DeepSeek V4·Kimi K2, 추론·수학은 Qwen3-235B·DeepSeek-R1.
• 검증: 순위표는 방향만 — 상위 2~3개를 네 하드웨어·워크로드로 직접 양자화 테스트 후 정하라(MMLU 포화·오염 주의).

함께 읽기: 로컬 LLM, VRAM은 얼마나 필요할까, ComfyUI로 이미지·영상 만들기: 우리가 직접 굴리며 잰 운영 회고

함께 읽기: 로컬 오픈 LLM VRAM·RAM 요구량, 직접 계산·실측, 4bit·8bit 양자화, 5분 시작 가이드(초보자용)

참고 링크

• Qwen3(Apache-2.0 오픈 LLM)
• DeepSeek-V3/R1(MIT 오픈 LLM)
• meta-llama/llama-models(Llama 라이선스)
• google-deepmind/gemma(온디바이스)
• Open LLM 리더보드(공개 벤치)

참고: SWE-bench 77.8%·MMLU 85.5%·AIME 85.7% 같은 수치는 2026년 공개 리더보드 스냅샷이며 평가 조건(스캐폴딩·프롬프트)에 따라 다르고 모델 버전이 월 단위로 바뀐다(영구 순위 아님). MMLU·HumanEval은 포화·오염 우려가 있어 순위표만 믿지 말고 자기 도메인으로 재검증하라. 오픈 프런티어는 매월 바뀌니 분기별로 다시 본다.