오픈웨이트 vs 클로즈드 LLM, 직접 본 속도·품질·비용

오픈웨이트 vs 클로즈드 모델, 2026년 핵심은 지식·일반추론은 사실상 동률, 가장 어려운 과학추론만 클로즈드가 근소 우위, 비용은 오픈이 압도다. 한 동료평가 벤치마크 측정에서 최상위 오픈(약 71.8%)이 최상위 클로즈드(약 77.9%)에 평균 6.1%p 뒤졌는데, 1년 전 MMLU 격차가 17.5%p였음을 생각하면 격차가 거의 붕괴했다. 'MMLU 프로'는 82.3% 대 87.4%(약 5%p), GPQA·SuperGPQA도 한 자릿수 차다. 대신 가격은 오픈이 동급 성능을 수십 배 싸게 낸다 — 그래서 선택은 점수만이 아니라 비용·통제·프라이버시가 가른다.

한 줄 요약: 클로즈드는 택시, 오픈은 내 차다. 택시는 당장 최고 성능을 부르지만 미터기가 돈다. 내 차(자체호스팅)는 초기 수고가 들어도 주행비가 싸고 어디로 갈지(데이터·튜닝)를 내가 정한다.

품질 격차는 실제로 얼마나 좁혀졌나?#

지식은 동률, 하드 추론은 클로즈드 우위다. 공개 리더보드 측정 기준 지식·일반 과제에서 상위 오픈(DeepSeek·Qwen·GLM 계열)은 상위 클로즈드(GPT·Claude·Gemini 계열)와 오차범위로 붙는다. 그러나 GPQA Diamond 같은 '하드 과학추론'에선 클로즈드 최상위가 90%대 중반으로 여전히 앞서고, '자연스러운 추론'에선 격차가 약 12.9%p로 더 벌어진다. 코딩 에이전트(SWE-bench Verified)에선 오픈 최상위가 80%대에 진입해 프런티어급 오픈이 실재한다. 즉 "오픈은 2년 뒤처졌다"는 말은 측정상 더는 사실이 아니다.

비용 차이는 왜 결정적인가?#

같은 일을 한 자릿수~수십 배 싸게 하기 때문이다. 프런티어 클로즈드는 100만 토큰당 입력 수 달러~출력 수십 달러대인데, 상위 오픈은 캐시·MoE로 그 일부만 받는다. 한 분석은 DeepSeek 계열이 프런티어급 성능을 약 34배 싼 단가로 낸다고 측정했다. 핵심 전략은 하이브리드 라우팅이다: 쉬운 요청 70%는 싼 오픈, 25%는 중급 클로즈드, 5%만 최상위 프런티어로 보내면 전부-프런티어 대비 성능은 사실상 동일한데 비용은 약 15%다. 우리도 게이트웨이로 같은 패턴(쉬움=fast, 어려움=expert)을 쓴다.

그럼 무엇을 언제 쓰나?#

기준은 세 가지다 — 난도·데이터 민감도·물량.

• 최고난도 과학추론·복잡 에이전트면 클로즈드 프런티어(근소 우위가 결과를 가른다).
• 데이터가 못 나가거나(규제·프라이버시) 가중치를 소유·튜닝해야 하면 오픈 자체호스팅.
• 대량·반복·비용민감이면 오픈+하이브리드 라우팅. 점수표가 아니라 내 과제로 재라.

직접 측정하려면?#

내 과제·내 프롬프트로 재라(리더보드는 출발점일 뿐).

• 내 실제 작업 20~50건으로 오픈·클로즈드 출력을 블라인드 비교하고, 토큰당 비용·지연을 같이 적는다.
• 같은 프롬프트를 fast/expert(또는 오픈/클로즈드)로 보내 품질 차이가 비용 차이를 정당화하는지 본다.
• 버전·점수는 주마다 바뀌니 분기별로 다시 잰다.

참고 링크

• Intelligence per Watt(효율 격차 측정 논문)
• Open LLM Leaderboard(오픈 모델 순위)
• SWE-bench(코딩 에이전트 벤치)
• DeepSeek(오픈 프런티어 레포)
• Qwen(오픈 모델 레포)

참고: 점수·가격은 2025~2026년 공개 리더보드·논문 측정 스냅샷이며 모델·버전·과제에 따라 달라진다(주 단위로 변동). 정확한 우열·비용은 본문 방법으로 내 과제에서 직접 측정하라. 프런티어 격차는 빠르게 좁혀지니 분기별 갱신.