관측·텔레메트리로 AI 운영 보기 프리뷰: 무엇이고 왜

관측·텔레메트리는 AI 운영을 눈으로 보는 계기판이다. 메트릭·로그·트레이스 세 축으로 무슨 일이 일어나는지 재되, 다 재는 게 아니라 결정에 영향 주는 것만 남기고 나머지는 샘플링한다. 관측 비용이 연 40~48% 오르는 시대라 무한 라벨(유저ID 같은)을 메트릭에 넣지 않는 카디널리티 관리가 핵심이다. 이 블로그도 발행 퍼널·통과율·고유방문·체류·평균지연(약 10ms)을 계측하되 이벤트는 상한·샘플링으로 과적재를 막는다.

쉽게 말하면: 텔레메트리는 자동차 계기판이다. 모든 부품에 센서를 달 수는 있지만, 운전에 필요한 속도·연료·경고등만 봐야 길을 본다.

용어부터 정리하자. 텔레메트리(telemetry)는 시스템이 스스로 내보내는 측정 신호(수치·기록)다. 관측성(observability)은 그 신호들을 모아 "지금 안에서 무슨 일이 벌어지는지"를 밖에서 추론하는 능력이다. 카디널리티(cardinality)는 한 지표가 가질 수 있는 서로 다른 값(라벨 조합)의 개수 — 이게 폭발하면 비용이 터진다. 아래에서 세 축과 카디널리티를 그림으로 푼다.

무엇을 어디에 재나?#

세 축이 역할이 다르다 — 메트릭은 추세, 로그는 사건, 트레이스는 경로다. 메트릭은 집계 시계열이라 SLO·추세에 쓰고, 로그는 개별 이벤트라 디버깅·감사에 쓰며, 트레이스는 요청이 거친 구간을 이어 병목을 드러낸다. 요즘 표준은 OpenTelemetry로, 코드를 한 번 계측하면 백엔드(Prometheus·Grafana 등)를 코드 수정 없이 바꿀 수 있다. 신호를 따로 모으는 게 아니라 공통 맥락으로 연결하는 게 핵심이다.

세 신호가 어떻게 역할을 나누는지 그림으로 보자. 같은 요청 하나가 세 방식으로 남는다.

왜 '다 재기'가 함정인가?#

카디널리티가 조용히 예산을 태우기 때문이다. 메트릭에 라벨을 붙일 때마다 조합마다 시계열이 하나씩 생긴다 — 지역 10 × 유저 100만 × 기기 5면 5천만 개의 고유 시계열이 만들어진다. 그래서 유저ID·요청ID·UUID 같은 무한 값은 메트릭 라벨이 아니라 로그·트레이스에 둔다. 트레이스는 테일 샘플링으로 부피를 80~90% 줄이되 에러·느린 경로는 보존하고, 5~10%를 기본 샘플로 삼는다. 원칙은 적게 보는 게 아니라 똑똑하게 보는 것 — 모든 바이트가 제 저장비를 값해야 한다.

라벨 하나가 곱셈으로 어떻게 폭발하는지 숫자로 보면 무섭다.

AI(LLM) 운영은 무엇이 더 필요한가?#

세 축 위에 프롬프트·토큰·비용·품질이 더 붙는다. LLM 관측은 프롬프트/응답 추적, 토큰 사용량, 지연, 비용 귀속, 환각·드리프트 감지까지 본다. 핵심 구분은 모니터링(지연·토큰·비용 같은 실시간 수치)과 평가(정확도·환각·관련성 같은 품질)다. 그래서 시장도 빠르게 큰다 — LLM 관측 플랫폼이 2025년 19.7억 달러에서 2026년 26.9억 달러로 연 36.3% 성장 전망이다. 추적·평가·알림을 하나의 피드백 루프로 잇는 게 관건이다.

이 세 가지를 하나로 돌리는 피드백 루프를 그림으로 보면 이렇다.

직접 시작하려면?#

작게, 핵심만.

• OpenTelemetry로 계측하고, 무한 식별자는 메트릭이 아니라 로그·트레이스에 둔다.
• 트레이스는 에러·느린 경로를 보존하며 5~10% 테일 샘플로 시작한다.
• '결정 바꾸는 지표'(북극성·통과율·지연)만 대시보드에 올리고 나머지는 줄인다.

참고 링크

• OpenTelemetry(관측 표준)
• Prometheus(메트릭)
• Grafana(대시보드)
• W3C Trace Context(트레이스 전파)
• Langfuse(LLM 관측)

참고: 비용·시장 수치는 2025~2026년 공개 보고·설문으로 범위·범주에 따라 다르다(관측 예산 권고 15~25%). 정확한 비용·효과는 내 시스템에서 직접 측정하라. 신호는 일관되게 명명·연결해야 AI가 상관분석할 수 있다. 분기별 갱신.