미스트랄 새 오픈웨이트 패밀리, 로컬 실행 첫 설치 가이드

미스트랄 새 오픈웨이트 패밀리란 2026년 7월 미스트랄이 공개한 것으로 알려진, 가중치 파일을 직접 내려받아 개인 PC의 GPU나 애플 실리콘 맥에서 클라우드 없이 오프라인으로 추론할 수 있게 배포하는 오픈웨이트 로컬 실행용 모델 묶음을 말한다. 핵심은 API 호출 대신 가중치 자체를 받아 로컬 런타임에 올린다는 점이며, 정확한 라이선스·파라미터 규모·양자화 배포본은 반드시 미스트랄 공식 모델 카드에서 직접 확인해야 한다. 아래 표의 수치는 아직 검증 전 참고값이다.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

참고: 위 표의 Hax 열은 아직 실측을 마치지 않아 전부 '측정대기' 상태다. 커뮤니티 열의 값은 모두 추정이며 공식 벤치마크가 아니다. 이 글은 2026-07-06 기준으로 작성됐고, 출시 직후 정보라 며칠 안에 공식 수치로 갱신될 수 있다.

왜 지금 로컬인가. 오픈웨이트는 가중치를 손에 쥔다는 뜻이라 세 가지가 달라진다. 첫째, 인터넷이 끊겨도 추론이 돌아 오프라인·사내망 환경에 강하다. 둘째, 프롬프트와 데이터가 외부로 나가지 않아 개인정보 통제가 쉽다. 셋째, 토큰 과금이 없어 반복 작업의 한계비용이 사실상 전기값 수준으로 내려간다. 대신 성능은 내 하드웨어에 갇히므로, 아래 설치 흐름과 양자화 선택이 체감 속도를 좌우한다.

로컬 추론 파이프라인은 단순하다.

설치 순서(공통). 하나, 런타임을 고른다. 초보자는 Ollama가 가장 쉽고, 세밀한 제어가 필요하면 llama.cpp, 다중 사용자 서빙은 vLLM이 무난하다. 둘, 공식 모델 카드에서 배포명·양자화 태그를 확인해 정확히 그 이름으로 받는다. 셋, Ollama라면 'ollama run <모델명>' 한 줄로 내려받기와 실행이 함께 진행되고, llama.cpp라면 GGUF 파일을 받아 'llama-cli -m <파일> -p "질문"' 형태로 띄운다. 넷, 첫 응답이 나오면 tok/s와 첫 토큰 지연을 기록해 자신의 기준값을 만든다.

하드웨어 선택 기준(모두 추정). 8B 안팎의 소형은 추정 8GB VRAM 또는 통합 메모리에서 4비트 양자화로 돌 만하다. 중형은 추정 16~24GB가 편하고, 대형·MoE 계열은 추정으로 그 이상을 요구한다. 맥은 통합 메모리 용량이 곧 한계선이므로 24GB 이상이면 선택지가 넓어진다. 이 범위는 커뮤니티 추정치일 뿐, 실제 값은 배포된 양자화와 문맥 길이에 따라 달라진다.

검증 원칙. 어떤 벤치마크 숫자도 공식 발표나 직접 실측 없이 사실로 옮기지 않는다. Hax는 동일 환경에서 설치 성공률, 첫 토큰 지연, tok/s, 최소 VRAM을 다시 측정해 위 표의 '측정대기' 칸을 실측값으로 채울 예정이다. 그전까지 표의 추정은 방향성 참고로만 쓰길 권한다.

FAQ. 상업적으로 써도 되나. 라이선스는 배포본마다 다르므로 공식 모델 카드의 라이선스 항목을 반드시 확인한다. 인터넷 없이 되나. 가중치를 미리 받아두면 추론 자체는 오프라인에서 동작한다. 어떤 양자화를 고르나. 메모리가 빠듯하면 4비트, 여유가 있으면 더 높은 정밀도를 택해 품질과 속도를 저울질한다.

함께 읽기: 로컬 오픈 LLM, 흔한 함정과 해결법, 로컬 오픈 LLM, 5분 시작 가이드(초보자용)

참고 링크#

• Hax 공개 실측 데이터셋