comfy-pool Z-Image Turbo 응답 지연 p50·p95 실측
요약: comfy-pool Z-Image Turbo 응답 지연이란 우리 Hax의 comfy-pool 인프라에서 Z-Image Turbo로 이미지를 생성할 때 요청 접수 시점부터 모델의 첫 응답과 HTTP 계층 왕복이 끝나는 시점까지 걸린 시간을 p50·p95 백분위로 정리한 실측 지표를 뜻한다. Hax가 자체 인프라에서 직접 측정한 실측값은? 아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).
comfy-pool Z-Image Turbo 응답 지연이란 우리 Hax의 comfy-pool 인프라에서 Z-Image Turbo로 이미지를 생성할 때 요청 접수 시점부터 모델의 첫 응답과 HTTP 계층 왕복이 끝나는 시점까지 걸린 시간을 p50·p95 백분위로 정리한 실측 지표를 뜻한다.
Hax가 자체 인프라에서 직접 측정한 실측값은?#
아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).
| 데이터 항목 | 실측값 | 날짜 | 출처 |
|---|---|---|---|
| first_response_latency_ms | 119.2 ms | 2026-07-03 | bench_harness.probe_unified_latency |
| 설치된 LoRA 수 | 63 개 | 2026-07-04 | bench_harness.probe_comfy_models (bc_comfy_models 실측) |
| 최대 VRAM 상주(스냅샷) | 84.8 GB | 2026-07-04 | bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측) |
- 표본
- 실측 지표 3개 (Hax /data 큐레이션)
- 측정 환경
- bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)
- 수집일
- 2026-07-03 ~ 2026-07-04
- 방법
- bench_harness.probe_unified_latency; bench_harness.probe_comfy_models (bc_comfy_models 실측)
이 수치는 어떻게 재현하나?#
측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.
| 지표 | 값 | 라벨 |
|---|---|---|
| first_response_latency | 119.2 ms(07-03) / 120.8 ms(07-04) | 측정 |
| HTTP 응답 P95(7일) | 41 ms | 측정 |
| 최대 VRAM 상주(스냅샷) | 84.8 GB | 측정 |
| 최소 여유 VRAM(풀 최저) | 10.2 GB | 측정 |
| 카드당 총 VRAM | 95.6 GB | 측정 |
| GPU 카드 수 | 4 장 | 측정 |
| 최대 GPU 사용률 | 95 % | 측정 |
| end-to-end 이미지 생성 p50/p95 | 미측정 / 측정대기 | 추정 |
결론부터 말하면, 우리가 실제로 계측해 확보한 지연 값은 두 계층으로 나뉜다. 하나는 모델의 첫 응답 지연으로 119.2 ms(측정, 2026-07-03)와 120.8 ms(측정, 2026-07-04)가 기록됐고, 이때의 처리량은 초당 8.4·8.3 토큰(추정)이었다. 다른 하나는 HTTP 응답 계층의 7일 P95 지연으로 41 ms(측정, 2026-07-04)이다. 둘은 측정 대상이 다르다. 41 ms는 게이트웨이가 요청을 받아 응답 헤더를 돌려주기까지의 왕복이고, 약 120 ms는 모델이 첫 토큰(또는 첫 프레임 신호)을 뱉기 시작하는 지점이다.
중요한 점은, 제목이 묻는 '이미지 한 장을 끝까지 뽑는 end-to-end 생성시간'의 p50·p95는 이번 실측 세트에 포함돼 있지 않다는 것이다. 따라서 표에서 해당 행은 '미측정 / 측정대기'로 남겼고, 전체 생성시간을 숫자로 단정하지 않는다. 초당 8.x 토큰이라는 처리량은 추정치이며, 이를 근거로 한 총 생성시간 환산도 추정 구간에 머문다. 우리는 추정과 측정을 섞지 않는다.
이 지연이 나오는 하드웨어 배경은 이렇다. comfy-pool은 4장(측정)의 GPU로 구성되며 카드당 총 VRAM은 95.6 GB(측정)다. 스냅샷 기준 최대 VRAM 상주는 84.8 GB(측정), 풀 전체에서 관측된 최소 여유 VRAM은 10.2 GB(측정)였고, 순간 최대 GPU 사용률은 95 %(측정)에 달했다. 즉 응답 지연이 낮게 유지되는 구간에서도 카드는 거의 포화 직전까지 밀려 쓰이고 있으며, 여유 VRAM 10.2 GB는 대형 배치나 추가 LoRA 로딩 시 병목이 될 수 있는 얇은 마진(추정)이다.
요약하면, 지금 신뢰할 수 있는 실측 p95는 'HTTP 응답 41 ms(측정)'이고, 첫 응답 지연은 '약 120 ms(측정)'이다. 이미지 한 장의 완주 p50·p95는 아직 측정대기 상태이므로, 다음 벤치 라운드에서 채워 넣을 예정이다.
참고: 지연·VRAM 수치는 bench_harness와 운영 telemetry에서 2026-07-03~07-04에 수집한 스냅샷이며, 풀 부하 상태에 따라 값이 달라질 수 있다. 상세 원본은 Hax data에서 확인할 수 있다.
함께 읽기: 로컬 멀티모달(VLM) VRAM·RAM 실측: OOM 주범은 모델이 아니라 이미지 토큰, 음성 클로닝 오픈모델, VRAM보다 RTF·동시성이 진짜 예산이다
Responses
No responses yet. Be the first to respond.