로컬 AI 에이전트, 어떤 오픈웨이트 LLM을 골라야 하나 (2026)

로컬에서 도구를 부르는 AI 에이전트를 돌릴 거라면, 2026년 기준 현실적인 선택지는 Qwen, Llama, Mistral, Gemma, DeepSeek 다섯 계열로 좁혀지고 결국 라이선스와 크기 두 축으로 고르면 된다. Qwen과 Mistral은 상업용 에이전트에 안전한 허용형(Apache-2.0) 가중치를 내고, Llama와 Gemma는 성능은 강하지만 자체 커뮤니티 라이선스가 붙으며, 도구 호출 위주 에이전트라면 7~8B instruct 모델로 대개 충분하다.

한 줄 요약: 상업용이면 Apache-2.0/MIT(Qwen·Mistral·DeepSeek)부터 보고, 크기는 7~8B를 기본값으로, 복잡한 추론에만 14~32B로 올려라.

먼저 '오픈웨이트(open-weight)'라는 말부터 풀고 가자. 오픈웨이트는 모델의 가중치 파일(학습된 숫자 덩어리)을 누구나 내려받아 자기 기기에서 돌릴 수 있게 공개한 모델을 말한다. ChatGPT처럼 API로만 부르는 '닫힌' 모델과 반대다. 다만 '가중치 공개'가 곧 '아무 데나 써도 됨'은 아니다. 공개하면서도 라이선스로 사용 범위를 제한할 수 있어서, 상업 서비스에 넣기 전에 반드시 조건을 읽어야 한다. 이 글이 계열별로 라이선스를 따지는 이유가 여기에 있다.

에이전트에 좋은 모델은 뭐가 다른가?#

챗봇으로 한 번 답하는 것과, 에이전트로 도구를 부르며 여러 번 왕복하는 것은 요구 조건이 다르다. 에이전트로서의 실력은 사실상 네 가지에서 갈린다. (1) 믿을 만한 도구·함수 호출 — 언제 어떤 함수를 어떤 인자로 부를지 정확히 판단하는가, (2) 지시 추종 — 시스템 프롬프트의 규칙과 형식을 벗어나지 않는가, (3) 유효한 JSON 출력 — 도구 인자를 문법이 깨지지 않는 JSON으로 뱉는가, (4) 충분한 컨텍스트 창 — 도구 정의와 대화 히스토리를 한꺼번에 담을 만큼 긴가. 이 네 가지를 내 하드웨어에서 실제로 돌아갈 크기 안에서 만족해야 진짜 쓸 만한 에이전트 모델이다.

흔한 오해 하나. "리더보드 점수 높은 모델이 곧 좋은 에이전트"라고 생각하기 쉽지만, 일반 지식 벤치마크 1등이 도구 호출과 JSON 포맷 준수에서는 의외로 약할 수 있다. 그래서 계열을 고른 뒤에는 반드시 내 도구 스키마로 직접 테스트해야 한다.

각 계열이 어디에 강한지 한눈에 정리하면 이렇다.

크기는 얼마가 필요할까?#

파라미터 수는 '모델의 뇌 크기'에 해당한다. 크면 똑똑하지만 그만큼 메모리(VRAM)를 먹고 느려진다. 그래서 크기는 무조건 키우는 게 아니라 작업 난이도에 맞춰 고르는 것이다. 도구를 부르며 정해진 흐름을 도는 대부분의 에이전트에는 7~8B instruct 모델이면 충분하고, 4비트로 양자화하면 RTX 3060 12GB 같은 소비자용 GPU에서도 돈다. 여러 단계를 스스로 계획하고 되짚어야 하는 복잡한 추론에만 14~32B로 올리고, 가장 큰 70B급은 실시간 응답이 필요 없는 오프라인 배치 작업에 아껴 둔다.

라이선스는 왜 먼저 봐야 하나?#

가중치가 공개돼 있어도 상업적으로 써도 되는지는 라이선스가 정한다. 여기서 사고가 가장 많이 난다. Apache-2.0과 MIT 가중치(Qwen 대부분, Mistral 공개 모델, DeepSeek 공개 모델)는 조건이 거의 없어 상업 서비스에 그대로 넣어도 안전하다. 반면 Meta의 Llama 커뮤니티 라이선스와 Google의 Gemma 약관은 대부분의 팀에는 허용형이지만 조건이 붙는다 — 예를 들어 사용 정책(acceptable use policy) 준수 의무나 대규모 서비스에 대한 별도 조항 같은 것이다. "오픈이니까 공짜겠지" 하고 넘어가지 말고, 출시 전에 해당 모델의 원본 라이선스 원문을 직접 확인하라.

양자화는 어떻게 도움이 되나?#

양자화(quantization)는 가중치를 더 적은 비트로 압축해 같은 모델을 더 적은 메모리에 욱여넣는 기술이다. 원래 16비트(FP16)로 저장되던 숫자 하나를 4비트로 줄이면, 저장 공간이 대략 1/4로 줄어든다. 사진을 원본 대신 적당히 압축한 JPG로 저장하는 것과 비슷하다 — 자세히 뜯어보면 차이가 있지만, 대부분의 용도에서는 눈에 띄지 않는다. 에이전트에서는 4비트가 흔한 기본값으로, 대부분 작업에서 품질 손실은 작으면서 16비트 대비 VRAM을 약 1/4로 줄인다. 이 덕분에 16비트로는 약 16GB가 필요한 7~8B 모델이 4비트에서는 약 6GB로 떨어져, 소비자용 GPU에서 현실적으로 돌릴 수 있게 된다.

이번 주에 하나만 고른다면?#

1. 허용형 7~8B instruct 모델(예: Qwen 계열 Apache-2.0)을 기본 후보로 잡는다.
2. 4비트 양자화 버전을 받아 소비자용 GPU에 올린다.
3. 내 실제 도구 스키마로 함수 호출과 JSON 출력을 테스트해, 스키마를 안정적으로 따르는지 확인한다.
4. 평가 결과가 부족할 때만 14~32B로 키운다 — 처음부터 크게 시작하지 않는다.

참고: 오픈웨이트 모델은 릴리스가 매우 잦다. 이 글은 특정 순위표가 아니라 계열 지도로 보고, 도입 전 각 모델의 최신 릴리스·라이선스·벤치마크를 직접 확인하라. 이 지도는 분기별로 갱신한다.