GLM-5.2 744B MoE, 가정용 PC로 돌릴 수 있나

GLM-5.2 744B MoE란 총 파라미터가 7,440억 개에 이르지만 토큰마다 소수의 전문가(expert)만 활성화되어 실제 연산량은 총량보다 훨씬 작은 대형 혼합전문가 언어모델로, 가정용 PC에서는 저정밀 양자화와 메모리 오프로딩을 총동원해야 아주 느리게나마 구동을 시도할 수 있는 규모다. 결론부터 말하면 표준적인 게이밍 PC 한 대로는 사실상 불가능에 가깝고, 다량의 시스템 RAM과 대용량 저장장치를 갖춘 고사양 워크스테이션에서 강한 양자화로 '체험'하는 수준까지가 현실적 한계다.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

참고: 위 표의 Hax 값은 아직 측정 전(측정대기)이며, 커뮤니티 추정치는 파라미터 수에 양자화 비트를 곱한 이론값을 기반으로 한 추정이다. GLM-5.2의 공식 활성 파라미터·전문가 구성이 확정되면 수치는 갱신될 수 있다.

핵심은 '총 파라미터'와 '활성 파라미터'의 구분이다. MoE 구조는 토큰 하나를 처리할 때 전체 전문가 중 일부만 켜기 때문에 연산량(FLOPs)은 활성 파라미터(추정 약 40B) 수준으로 낮아진다. 그러나 문제는 연산이 아니라 메모리다. 어느 전문가가 호출될지 미리 알 수 없으므로, 전체 가중치는 항상 어딘가에 올라가 있어야 한다. 즉 속도를 결정하는 것은 활성 파라미터지만, '구동 가능 여부'를 결정하는 것은 총 파라미터 전체를 담을 용량이다.

현실적인 시나리오는 이렇다. VRAM 24~32GB의 단일 GPU에 전체 가중치를 올리는 것은 불가능하므로, Q4 이하로 양자화한 뒤 대부분의 전문가를 시스템 RAM 또는 NVMe SSD에 두고 필요할 때 스트리밍한다(추정). 이 경우 실제 걸림돌은 GPU 연산 속도가 아니라 저장장치와 메모리 사이의 대역폭이며, 토큰당 생성 속도는 초당 한 자릿수 토큰 또는 그 이하로 떨어질 수 있다(추정). Q2까지 낮추면 메모리 부담은 약 186GB(추정) 수준으로 줄지만 품질 저하가 커져 실사용 가치는 급감한다.

정리하면, '가정용 하드웨어로 GLM-5.2 744B를 돌릴 수 있나'라는 질문의 정답은 조건부 예다. 256GB급 RAM과 빠른 NVMe를 갖춘 고급 워크스테이션에서 강한 양자화와 오프로딩을 쓰면 데모는 가능하지만, 일상적 게이밍 PC나 실시간 대화용으로는 부적합하다. 같은 예산이라면 30B~120B급 중형 MoE를 로컬로 쾌적하게 돌리는 편이 대부분의 사용자에게 훨씬 합리적인 선택이다. 정확한 수치는 Hax가 직접 측정해 표를 갱신할 예정이다.

함께 읽기: 16GB GPU에서 Gemma 4 MoE 실행 가능 여부 및 업그레이드 판단, Gemma 4 MoE 저사양 실패 원인 분석

참고 링크#

• Hax 공개 실측 데이터셋