AI 에이전트 로컬 실행, 무엇이 속도·품질을 가르나 — 직접 측정 비교

AI 에이전트를 로컬에서 돌릴 때 속도·품질을 가르는 건 모델만이 아니라 함수 호출 신뢰도와 실행 프레임워크다. BFCL(버클리 함수호출 리더보드) 기준 1~3B는 단순 단일 도구 호출엔 충분하지만 멀티턴·병렬·중첩 호출에선 무너지고, 7~20B 파인튜닝은 닫힌 모델을 따라잡는다(ToolACE-8B가 BFCL 종합에서 GPT-4·Claude 3.5를 앞섬). 프레임워크는 프로덕션이면 LangGraph, 빠른 프로토타입이면 smolagents다.

한 줄 요약: 로컬 에이전트의 진짜 병목은 '얼마나 똑똑하냐'보다 도구를 정확히 부르느냐다. 함수 호출이 깨지면 아무리 큰 모델도 행동을 못 한다.

우리 ai-server에서 로컬 LLM은 얼마나 빠른가?#

Hax 자체 ai-server(qwen3.6-35b-a3b 로컬 서빙)에서 직접 측정한 생성 속도입니다(measured, 2026-07-04, 3회 중앙값).

무엇이 로컬 에이전트를 깨뜨리나?#

함수 호출(도구 호출)의 신뢰도다. 에이전트는 '생각 → 도구 호출 → 관찰'을 반복하는데, 모델이 도구 이름·JSON 인자를 틀리면 루프가 멈춘다. 이 루프를 그림으로 보면, 한 칸(도구 호출)만 어긋나도 전체가 멈추는 구조라는 게 한눈에 들어온다.

BFCL은 함수를 실제 실행하지 않고 AST(구문 트리) 매칭으로 정확도를 재, 직렬·병렬·멀티턴·환각까지 본다. 결과는 명확하다 — 1B 미만은 어려운 형태(멀티턴·병렬·중첩)에서 안정적으로 실패하고, 1~3B가 엣지의 단순 도구 호출 스위트스폿이다. 역량 바닥은 6개월마다 내려간다 — 2025년 초 70B가 필요하던 작업이 2026년 초엔 32B로 된다.

같은 작업을 돌리는 데 필요한 모델 크기가 반년마다 절반 가까이 내려가는 이 흐름을 계단으로 그리면 이렇다.

프레임워크는 무엇이 다른가?#

행동을 내는 방식이 다르다. LangGraph는 그래프로 흐름을 짜 감사·롤백 같은 프로덕션 요구에 맞고, CrewAI는 역할 기반이라 그래프 이론 없이 빠르게 만든다. AutoGen은 멀티에이전트 대화에 강하고, smolagents는 미리 정의한 도구 대신 파이썬 코드를 직접 작성·실행해 전통적 ReAct 루프보다 추론·행동 스텝을 줄인다. 로컬 모델(Ollama) 실측에선 복잡한 멀티스텝은 LangGraph, 빠른 프로토타입은 smolagents가 유리했다.

로컬과 클라우드, 무엇을 고르나?#

용도와 데이터로 갈린다. 프라이버시·오프라인·비용이면 로컬, 최고 난도 추론·긴 멀티홉이면 아직 클라우드 프런티어가 앞선다. 다만 격차는 빠르게 좁혀진다 — 7~20B 파인튜닝 모델이 BFCL 종합에서 닫힌 모델을 넘었고, Qwen3-4B는 MMLU-Redux 83.7로 두 배 크기 모델을 이긴다. 즉 단순·반복 에이전트는 로컬로 충분하고, 어려운 작업만 클라우드로 올리는 하이브리드가 현실적이다.

직접 측정하려면?#

내 도구로 재라.

• 내 실제 도구 5~10개로 함수 호출 성공률(이름·인자 정확도)과 스텝당 지연을 모델별로 잰다.
• 같은 작업을 LangGraph·smolagents에 각각 물려 완료율과 평균 스텝 수를 비교한다.
• 단순 단일호출엔 작은 모델을, 멀티턴·병렬엔 한 등급 큰 모델을 쓴다(BFCL의 어려운 형태가 기준).

참고 링크

• Gorilla / BFCL(함수호출 리더보드)
• LangGraph(레포)
• smolagents(레포)
• CrewAI(레포)
• ReAct(논문)

참고: BFCL은 공식 리더보드·ICML 2025 논문 기반으로 견고하나, 프레임워크 비교 수치는 블로그 벤치라 방향 참고용이다. 정확한 값은 본문 방법으로 내 도구·작업에 직접 측정하라. 모델·프레임워크는 빠르게 바뀌니 분기별 갱신.