comfy-pool Z-Image Turbo 응답 지연 p50·p95 실측

comfy-pool Z-Image Turbo 응답 지연이란 우리 Hax의 comfy-pool 인프라에서 Z-Image Turbo로 이미지를 생성할 때 요청 접수 시점부터 모델의 첫 응답과 HTTP 계층 왕복이 끝나는 시점까지 걸린 시간을 p50·p95 백분위로 정리한 실측 지표를 뜻한다.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

Hax /data 매칭 실측 블록 (measured, 2026-07-03) · columns: 데이터 항목, 실측값, 날짜, 출처 · 출처 Hax hax.moche.ai/p/1222?ref=ai_answer

Hax /data 매칭 실측 블록 (measured, 2026-07-03) · columns: 데이터 항목, 실측값, 날짜, 출처 · 출처 Hax hax.moche.ai/p/1222?ref=ai_answer

데이터 항목 | 실측값 | 날짜 | 출처
first_response_latency_ms | 119.2 ms | 2026-07-03 | bench_harness.probe_unified_latency
설치된 LoRA 수 | 63 개 | 2026-07-04 | bench_harness.probe_comfy_models (bc_comfy_models 실측)
최대 VRAM 상주(스냅샷) | 84.8 GB | 2026-07-04 | bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)

측정 방법론 · bench_harness.probe_unified_latency 외 2종

표본

실측 지표 3개 (Hax /data 큐레이션)

측정 환경

bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)

수집일

2026-07-03 ~ 2026-07-04

방법

bench_harness.probe_unified_latency; bench_harness.probe_comfy_models (bc_comfy_models 실측)

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

Hax comfy-pool 우리 인프라 실측 (measured 2026-07-04, bench_harness) · columns: 지표, 값, 라벨 · 출처 Hax hax.moche.ai/p/1222?ref=ai_answer

Hax comfy-pool 우리 인프라 실측 (measured 2026-07-04, bench_harness) · columns: 지표, 값, 라벨 · 출처 Hax hax.moche.ai/p/1222?ref=ai_answer

지표 | 값 | 라벨
first_response_latency | 119.2 ms(07-03) / 120.8 ms(07-04) | 측정
HTTP 응답 P95(7일) | 41 ms | 측정
최대 VRAM 상주(스냅샷) | 84.8 GB | 측정
최소 여유 VRAM(풀 최저) | 10.2 GB | 측정
카드당 총 VRAM | 95.6 GB | 측정
GPU 카드 수 | 4 장 | 측정
최대 GPU 사용률 | 95 % | 측정
end-to-end 이미지 생성 p50/p95 | 미측정 / 측정대기 | 추정

결론부터 말하면, 우리가 실제로 계측해 확보한 지연 값은 두 계층으로 나뉜다. 하나는 모델의 첫 응답 지연으로 119.2 ms(측정, 2026-07-03)와 120.8 ms(측정, 2026-07-04)가 기록됐고, 이때의 처리량은 초당 8.4·8.3 토큰(추정)이었다. 다른 하나는 HTTP 응답 계층의 7일 P95 지연으로 41 ms(측정, 2026-07-04)이다. 둘은 측정 대상이 다르다. 41 ms는 게이트웨이가 요청을 받아 응답 헤더를 돌려주기까지의 왕복이고, 약 120 ms는 모델이 첫 토큰(또는 첫 프레임 신호)을 뱉기 시작하는 지점이다.

중요한 점은, 제목이 묻는 '이미지 한 장을 끝까지 뽑는 end-to-end 생성시간'의 p50·p95는 이번 실측 세트에 포함돼 있지 않다는 것이다. 따라서 표에서 해당 행은 '미측정 / 측정대기'로 남겼고, 전체 생성시간을 숫자로 단정하지 않는다. 초당 8.x 토큰이라는 처리량은 추정치이며, 이를 근거로 한 총 생성시간 환산도 추정 구간에 머문다. 우리는 추정과 측정을 섞지 않는다.

이 지연이 나오는 하드웨어 배경은 이렇다. comfy-pool은 4장(측정)의 GPU로 구성되며 카드당 총 VRAM은 95.6 GB(측정)다. 스냅샷 기준 최대 VRAM 상주는 84.8 GB(측정), 풀 전체에서 관측된 최소 여유 VRAM은 10.2 GB(측정)였고, 순간 최대 GPU 사용률은 95 %(측정)에 달했다. 즉 응답 지연이 낮게 유지되는 구간에서도 카드는 거의 포화 직전까지 밀려 쓰이고 있으며, 여유 VRAM 10.2 GB는 대형 배치나 추가 LoRA 로딩 시 병목이 될 수 있는 얇은 마진(추정)이다.

요약하면, 지금 신뢰할 수 있는 실측 p95는 'HTTP 응답 41 ms(측정)'이고, 첫 응답 지연은 '약 120 ms(측정)'이다. 이미지 한 장의 완주 p50·p95는 아직 측정대기 상태이므로, 다음 벤치 라운드에서 채워 넣을 예정이다.

참고: 지연·VRAM 수치는 bench_harness와 운영 telemetry에서 2026-07-03~07-04에 수집한 스냅샷이며, 풀 부하 상태에 따라 값이 달라질 수 있다. 상세 원본은 Hax data에서 확인할 수 있다.

함께 읽기: 로컬 멀티모달(VLM) VRAM·RAM 실측: OOM 주범은 모델이 아니라 이미지 토큰, 음성 클로닝 오픈모델, VRAM보다 RTF·동시성이 진짜 예산이다

참고 링크#

Hax 공개 실측 데이터셋