한 팀이 굴리는 AI 스택, 숫자로 보기 — Hax 실측 스냅샷

Hax(moche-ai)는 블로그 하나가 아니라 ComfyUI GPU 풀을 활용한 이미지 생성, 대규모 에이전트 메모리, 718개 코인 실시간 시세 수집, 저지연 LLM 게이트웨이, 255편 규모 블로그까지 한 팀이 동시에 안정적으로 운영하는 통합 AI 스택을 구축했으며, 이번 실측 스냅샷은 그 운영 규모를 숫자로 명확하게 드러낸다.

한 줄 요약: 한 팀이 동시에 굴리는 AI 스택의 실측 데이터를 통해 초보자도 실제 AI 서비스 규모를 직관적으로 이해할 수 있게 하는 운영 투명성 스냅샷이다.

Hax 서비스는 여러 AI 컴포넌트가 유기적으로 연결되어 동작한다. 이미지 생성 요청이 들어오면 GPU 풀에서 처리되고, 에이전트는 저장된 메모리를 참조하며, 시세 데이터는 실시간으로 업데이트되고, LLM 호출은 게이트웨이를 통해 빠르게 라우팅된다. 이 모든 계층이 별도의 전담 팀 없이 하나의 팀에서 리소스를 공유하며 유지보수된다는 점이 핵심이다.

한 팀이 이걸 다 굴린다고?#

일반적으로 AI 프로젝트를 떠올리면 '모델 하나를 돌려보는 것'을 먼저 생각하기 쉽다. 그러나 실제 서비스로 운영하려면 추론 인프라, 상태 저장, 데이터 수집, API 처리, 콘텐츠 발행까지 여러 레이어를 동시에 유지해야 한다. Hax는 이미지 생성부터 에이전트 메모리, 실시간 시세, LLM 게이트웨이, 블로그까지 모든 것이 활성화되어 있으며, 한정된 인력으로 이 복잡한 시스템을 안정적으로 돌리고 있다. 이는 단순한 실험이 아니라 실 서비스 수준의 운영 역량을 보여주는 사례다.

각 숫자는 무슨 뜻일까?#

표의 숫자들은 각 서비스의 현재 상태를 구체적으로 보여준다. 이미지 생성(ComfyUI 풀) 항목을 보면 4장의 GPU 카드를 사용하며 카드당 95.6GB VRAM을 확보하고 있다. 고사양 게이밍 PC의 VRAM이 보통 8~24GB 정도인 점을 고려하면, 95.6GB 규모는 훨씬 큰 '작업 책상'에 비유할 수 있다. 대형 이미지 생성 모델 전체를 메모리에 통째로 올려놓고 빠르게 연산할 수 있는 공간을 의미한다. z-image-turbo 모델은 6초 만에 이미지를 생성하는 반면 qwen-image는 73초가 걸려, 모델 선택에 따라 체감 속도 차이가 매우 크다는 점도 확인된다.

에이전트 메모리는 9898개가 저장되어 있고 그중 9603개가 활성 상태로 유지되고 있다. AI 에이전트들이 사용자 대화 맥락이나 이전 작업 기록을 거의 대부분 기억하고 있다는 뜻이며, 메모리 시스템이 높은 가용성을 안정적으로 확보하고 있음을 나타낸다. 실시간 시세 항목에서는 718개 코인의 데이터를 3개 소스에서 수집하고 있어, 시장 변동을 다각도로 빠르게 파악할 수 있는 기반을 갖추고 있다.

LLM 게이트웨이의 first-response 지연은 120.8ms로 측정되었다. 사용자가 요청을 보낸 후 첫 응답을 받기까지의 시간이 매우 짧다는 의미로, LLM 호출이 많은 환경에서 사용자 경험을 크게 좌우하는 지표다. 블로그는 255편을 누적 발행했으며 HTTP P95 지연이 182ms로 기록되어, 웹 서비스로서 안정적인 응답 성능을 유지하고 있다.

이 규모가 왜 의미 있을까?#

이 실측 데이터는 AI 서비스를 처음 접하는 사람들에게 '실제 운영은 어떤 모습인지' 구체적인 그림을 제공한다. 많은 사람들이 AI를 '마법 같은 모델 하나'로 생각하지만, Hax 스택은 GPU 인프라, 메모리 관리, 데이터 파이프라인, API 게이트웨이, 콘텐츠 플랫폼이 모두 맞물려 돌아가는 복합 시스템이다. 특히 한 팀이 이 모든 것을 동시에 굴린다는 사실은 리소스 공유, 우선순위 조정, 지속적인 모니터링이 얼마나 중요한지 보여준다.

GPU 풀의 대용량 VRAM은 빠른 이미지 생성을 가능하게 하지만, 동시에 다른 서비스와 리소스를 경쟁하지 않도록 세심한 배분이 필요하다. 에이전트 메모리가 9603개 활성 상태를 유지하는 것도 단순 저장이 아니라 검색·업데이트·정리 작업이 끊임없이 이루어져야 가능한 결과다. 이런 운영 지표를 공개하는 것은 기술 커뮤니티에 투명성을 제공하고, 비슷한 스택을 만들려는 사람들에게 현실적인 기준점을 제시하는 의미가 있다. 이 숫자들은 정적이지 않으며, 서비스 성장과 최적화에 따라 계속 변할 수 있다.

참고: 각 서비스의 측정일이 서로 다르게 기록되어 있으며(표에 병기), 이는 bench_harness를 통해 운영 중인 telemetry 데이터를 주기적으로 재측정하고 있기 때문이다.

함께 읽기: 우리 GPU 풀 실측: RTX PRO 6000 ×4의 VRAM 사용률과 헤드룸, 우리 측정 데이터

참고 링크

• ComfyUI
• vLLM
• Ollama