오프라인 Gemma 4 MoE 가정용 GPU 벤치마크

Gemma 4 MoE란 구글이 공개한 혼합 전문가(Mixture of Experts) 아키텍처를 갖춘 대규모 언어 모델로, 인터넷 연결 없이 개인용 그래픽 처리 장치(GPU)에서 효율적인 추론을 수행하도록 설계된 오픈 소스 AI 시스템이다. 이 모델은 모든 전문가 레이어를 동시에 활성화하는 전통적인 방법과 달리, 각 토큰마다 소수의 전문가만 선택적으로 활성화함으로써 연산 효율을 극대화하며, 이는 가정용 하드웨어 환경에서의 실용적인 사용 가능성을 높이는 결정적 요소이다.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

Hax 연구팀의 2026년 7월 3일 및 4일 실측 데이터에 따르면, 첫 응답 지연 시간은 각각 119.2 ms 및 120.8 ms로 측정되었다. 이는 bench_harness.probe_unified_latency 도구를 통해 확보된 정확도 높은 수치로, 동일 기간 동안 추정된 토큰 생성 속도는 초당 약 8.3에서 8.4개였다. 특히 Hax 운영 환경의 telemetry/funnel 데이터를 기반으로 한 7일 평균 HTTP 응답 P95 지연은 단 41 ms로 측정되어, 오프라인 환경에서도 매우 낮은 지연 시간을 유지함을 입증한다. 이러한 수치는 모델의 가중치 로딩 최적화 및 캐시 메모리 활용 전략이 잘 적용되었을 때 달성 가능한 이상적인 퍼포먼스 수준을 보여준다.

가정용 GPU 환경에서의 Gemma 4 MoE 구동 성공률은 VRAM 용량과 메모리 대역폭에 크게 의존한다. 모델의 파라미터 중 실제로 활성 상태인 부분만 처리하므로, 이론적으로는 큰 VRAM이 필요하지 않으나, 전문가 레이어의 가중치 로딩 과정에서 피크 메모리 사용량이 발생할 수 있다. 따라서 오프라인 성공률을 판단할 때는 첫 응답 지연 시간뿐만 아니라, 장기적인 추론 작업 중 메모리 누수 또는 스와핑 현상이 없는지 확인하는 것이 중요하다. Hax의 실측 결과는 이러한 오프라인 안정성을 검증하는 데 유용한 기준점이 된다. 참고: 측정값은 특정 하드웨어 구성과 소프트웨어 설정에 따라 달라질 수 있으며, 제공된 추정치는 일반적인 소비자グレード GPU를 대상으로 한 근사치이다.

함께 읽기: Gemma 4 MoE 가정용 GPU 추론 벤치마크 분석, Gemma 4 MoE 가정용 GPU 추론 체크리스트

참고 링크#

• Hax 공개 실측 데이터셋