로컬 이미지 생성 SDXL vs Flux, 직접 돌려본 속도·품질

로컬에서 둘을 직접 돌려보면 결론은 분명하다. RTX 4090에서 SDXL은 1024px 한 장을 약 3~5초에 약 8GB VRAM으로 뽑고, Flux.1 dev는 같은 카드에서 약 18초가 걸리며 FP8로 양자화해야 24GB에 겨우 들어간다. 대신 Flux는 프롬프트 충실도·글자 렌더·사진 같은 사실감에서 SDXL을 앞선다. 속도·생태계는 SDXL, 품질·프롬프트 정확도는 Flux다.

한 줄 요약: 빠른 반복·LoRA가 필요하면 SDXL, 글자·복잡한 구도·사실감이 중요하면 Flux(4090에선 FP8).

용어부터 짚자. SDXL(Stable Diffusion XL)과 Flux.1은 둘 다 텍스트를 그림으로 바꾸는 오픈 확산모델(diffusion model)이다. 확산모델은 노이즈 낀 이미지를 여러 스텝(step)에 걸쳐 조금씩 깨끗하게 되돌리는 방식으로 그림을 만든다. 스텝이 많고 모델이 클수록 오래 걸리지만 더 정교해진다. VRAM은 그래픽카드의 전용 메모리로, 모델과 이미지를 올려둘 공간이다 — 여기가 모자라면 아예 실행이 안 되거나 느린 우회로를 타야 한다.

속도는 왜 이렇게 차이 날까?#

Flux가 더 큰 트랜스포머 아키텍처라서다. 같은 스텝 수라면 Flux는 SDXL보다 장당 3~5배 더 걸린다. SDXL은 보통 20~30 스텝에 4090에서 3~5초, Flux.1 dev는 20~28 스텝에 약 18초다. 핵심 지표는 it/s(초당 디노이징 스텝)인데, 20 it/s GPU는 20스텝 이미지를 1초에, 10 it/s는 2초에 끝낸다. 그래서 같은 스텝이라도 모델 크기와 GPU it/s가 최종 시간을 가른다.

쉽게 말하면 최종 소요 시간은 "스텝 수 나누기 초당 스텝(it/s)"이다. 아래 그림처럼 같은 20스텝이라도 모델이 무거우면 스텝당 시간이 늘어 총합이 커진다.

VRAM은 얼마나 필요한가?#

SDXL은 1024px에 약 8~10GB로 12GB 카드에서도 편하다. 반면 Flux.1 dev는 BF16 원본이 30~33GB라 24GB RTX 4090에도 통째로는 안 올라간다. 그래서 4090에서는 FP8 체크포인트나 GGUF Q8로 돌려 VRAM을 약 10~12GB로 떨어뜨린다(품질은 소폭 손해). 16GB 카드라면 Flux는 사실상 FP8/양자화가 필수, SDXL은 여유롭게 돈다.

양자화(quantization)는 모델 가중치를 BF16(16비트) 대신 FP8(8비트)이나 그 이하로 낮춰 메모리를 절반 안팎으로 줄이는 기법이다. 아래는 4090의 24GB 한계선을 기준으로 각 설정이 어디에 서는지 보여준다.

품질·라이선스는 어떻게 다른가?#

품질은 작업에 따라 갈린다. 글자 렌더·프롬프트 충실도·사실감은 Flux가 우위, 반면 SDXL은 LoRA·ControlNet·커뮤니티 도구가 압도적으로 많아 스타일 커스터마이즈와 배치 생성에 강하다. 라이선스도 중요하다 — Flux.1 schnell은 Apache-2.0으로 상업 사용이 자유롭지만, Flux.1 dev는 비상업 라이선스라 제품에 쓰기 전 약관을 확인해야 한다. SDXL은 OpenRAIL++로 폭넓게 쓰인다.

정리하면 선택은 세 갈래로 갈린다. 상업 배포가 필요하면 라이선스가 먼저 걸러내고, 그다음 카드의 VRAM이, 마지막으로 속도냐 품질이냐가 결정한다.

직접 측정하려면?#

ComfyUI로 같은 조건을 맞춰 재라.

• 같은 해상도(1024px)·같은 시드·같은 스텝으로 SDXL과 Flux를 각각 돌려 콘솔의 it/s와 총 소요(초)를 비교한다.
• VRAM이 모자라면 Flux는 fp8 체크포인트나 GGUF 빌드로 바꾸고, SDXL은 그대로 둔다.
• 품질은 같은 프롬프트 10개(글자 포함·복잡 구도·인물)를 양쪽에 돌려 눈으로 비교하는 게 가장 정확하다.

참고 링크

• SDXL 논문(Podell et al., 2023)
• Stability generative-models(SDXL)
• FLUX.1(Black Forest Labs)
• ComfyUI(워크플로 실행)
• GPU 이미지생성 벤치(Tom's Hardware)

참고: 수치는 2025~2026년 ComfyUI/커뮤니티 측정(1024px, 4090 기준)이며 샘플러·스케줄러·해상도·양자화에 따라 달라진다. 정확한 값은 본문 방법으로 직접 측정하라. 모델·라이선스는 자주 바뀌니 분기별로 갱신한다.