로컬 코딩 보조 모델, 직접 돌려본 속도·품질 비교

로컬 코딩 보조 모델은 HumanEval 정답률보다 내 GPU에서 쓸 만한 속도로 도느냐와 라이선스가 먼저이며, 직접 비교하면 8GB엔 Qwen2.5-Coder 7B(HumanEval 88.4%)가, 24GB엔 32B(92.7%·GPT-4o급)가 기본값이고, IDE 자동완성(FIM)은 Codestral이 95.3%로 가장 강하지만 비상업 라이선스이며, 알고리즘 중심이면 DeepSeek-Coder-V2-Lite가 MoE 효율로 12GB에서 돈다.

한 줄 요약: 코딩 모델 고르기는 공구 고르기다. 채팅형 코드 생성, IDE 자동완성, 알고리즘 풀이 — 용도마다 잘 드는 공구가 다르다.

내 VRAM엔 무엇이 맞나?#

VRAM 등급으로 깔끔하게 갈린다. 8GB면 Qwen2.5-Coder 7B(4비트 약 4.7GB)가 88.4%로 충분히 경쟁력 있고, 12~16GB면 14B나 DeepSeek-Coder-V2-Lite, 24GB면 Qwen2.5-Coder 32B가 92.7%로 단일 카드에 들어가는 최강 오픈 코딩 모델이다. Qwen 14B는 모든 파라미터가 활성이라 메모리 대역폭이 예측 가능해 DeepSeek MoE보다 토큰 생성이 빠르다. 아래 그림이 VRAM 사다리와 각 칸의 기본값이다.

채팅 생성과 자동완성은 같은 모델인가?#

아니다. 작업이 다르면 잘하는 모델도 다르다. 채팅형 코드 생성·리팩터링은 Qwen2.5-Coder가 전 등급에서 앞서고, IDE에서 커서 위치를 채우는 자동완성(FIM, fill-in-the-middle)은 Codestral이 95.3% pass@1로 2025년 최고(클로즈드 포함)다. Codestral은 FIM 전용으로 학습된 22.2B 덴스 모델이라 타이핑 중 즉답처럼 느껴진다. DeepSeek-Coder-V2는 LeetCode식 알고리즘·수학 코드에 강하다. 아래가 용도→공구 매핑이다.

벤치 점수는 그대로 믿어도 되나?#

조심해야 한다. HumanEval 점수는 평가 파이프라인마다 다르고, 더 엄격한 HumanEval+(EvalPlus)는 보통 5~10%p 낮게 나온다(순위는 대체로 유지). 게다가 요즘은 단순 생성(HumanEval)보다 레포를 탐색하고 테스트를 돌리는 에이전트 벤치(SWE-bench)로 무게가 옮겨갔다. 즉 자동완성·채팅이면 위 표가 유효하고, 멀티스텝 에이전트면 한 등급 위(Qwen3-Coder·Devstral 세대)를 봐야 한다. 아래가 벤치의 무게중심 이동이다.

직접 측정하려면?#

내 코드로 재라.

• HumanEval/EvalPlus를 같은 양자화로 모델별로 돌려 pass@1과 토큰 생성 속도(ollama run 모델 --verbose의 eval rate)를 함께 본다.
• 자동완성이 목적이면 내 언어로 FIM 케이스를 만들어 커서 채움 정확도를 본다.
• 상업 제품이면 측정 전에 라이선스부터 거른다 — Codestral은 유료 배포에 별도 계약이 필요하다.

참고 링크

• Qwen2.5-Coder(레포)
• DeepSeek-Coder-V2(레포)
• Codestral(모델 카드)
• EvalPlus / HumanEval+(레포)
• Qwen2.5-Coder 기술보고서(논문)

참고: HumanEval·FIM 수치는 2024~2025년 각 모델 공식 방법론 기준 공개 측정치이며 평가 파이프라인·양자화에 따라 달라진다(HumanEval+는 더 낮음). 정확한 값은 본문 방법으로 내 코드베이스에서 직접 측정하라. 모델·라이선스는 자주 바뀌니 분기별 갱신.