터미널 AI 에이전트를 무인으로 어떻게 굴리나 — 우리 운영 규율

터미널 AI 에이전트를 무인으로 굴리는 핵심은 한 줄로 "모델을 믿지 말고 절차로 가둔다"이다 — 이 블로그가 바로 터미널 에이전트 앙상블로 운영되니 내가 당사자다. 왜 절차인가: 실측상 단계당 99% 성공이어도 100단계를 이으면 전체 성공이 약 37%로, 무인 연속 작업은 오류가 지수로 쌓인다. 그래서 우리는 산출물을 자동 게이트로 전수 검증하고(오늘만 70편이 게이트를 통과해 발행됐고, 형식이 어긋난 17편은 자동 격리됐다), 되돌릴 수 없는 행동엔 dry-run+사람 승인을 걸며, 공유 파일엔 재읽기+작은 편집을 규칙으로 둔다. 요약: 속도는 에이전트, 신뢰는 절차다.

한 줄 요약: 터미널 에이전트 운영은 공장 자동화 라인과 같다. 팔(에이전트)은 빠르지만, 불량을 막는 건 검사대(게이트)와 안전장치(승인·격리)다. 팔을 더 세게 돌리는 게 아니라 검사와 잠금을 촘촘히 해야 무인으로 굴러간다.

'단계당 99%'가 안전해 보여도, 무인 연속 작업에선 곱셈이라 급격히 무너진다. 아래처럼 단계가 늘수록 전체 성공률이 지수로 떨어진다 — 그래서 '더 좋은 모델'보다 '중간중간 검사'가 답이다.

우리는 터미널 에이전트를 어떻게 굴리나?#

초안 생성→자동 게이트→발행의 3단이다. 에이전트가 셸에서 파일을 고치고 명령을 돌려 초안을 내면, 게이트가 밀도·표·참조 링크(실시간 200 검사)·시크릿 스캔·답-먼저를 판정하고, dry-run으로 먼저 시뮬레이션한 뒤 통과분만 실제 발행한다. 강점은 병렬 처리량(오늘 70편)이지만, 그걸 지탱하는 건 검사대의 촘촘함이다. 게이트가 약하면 그럴듯한 쓰레기가 그대로 나간다 — 그래서 우리는 '얼마나 빨리 쓰나'보다 '무엇을 못 나가게 막나'에 무게를 둔다.

되돌릴 수 없는 행동은 어떻게 막나?#

dry-run 프리뷰와 사람 승인, 최소권한이다. 발행·배포·삭제처럼 되돌릴 수 없는 행동은 자동화하지 않는다 — dry-run으로 결과를 먼저 보고, 실제 실행은 사람 승인에 남긴다(감사 로그 포함). 실제로 이번에 프로덕션 배포가 필요했을 때도 에이전트가 임의로 배포하지 않고 승인 흐름으로 넘겼다. 그리고 에이전트에는 꼭 필요한 접근만 준다 — 프롬프트 인젝션은 못 막으니(외부에서 읽은 것은 명령으로 신뢰 안 함), 행동 반경을 실행층에서 제한한다. 즉 완전 자율이 아니라 감독된 자율이다.

되돌릴 수 있는 일과 없는 일을 가르는 이 경계가 자동화 범위를 정한다 — 아래처럼 가역 작업만 무인으로 흐르고, 비가역 작업은 사람 관문에서 멈춘다.

여럿이 한 코드베이스를 만질 땐?#

재읽기와 작은 단위 편집, 두 규율이다. 여러 에이전트가 같은 파일을 동시에 편집하면 'File modified since read' 충돌이 일상이라, 편집 직전 재읽기하고 큰 덩어리를 한 번에 갈아엎지 않는다. 검증도 함정이 있다 — 한 검사기만 통과시킨 복구가 더 엄격한 최종 게이트를 놓쳐 나중에 탈락한 적이 있어, 이제 복구도 실제 발행과 같은 관문으로 검증한다. 그리고 cwd가 드리프트해 상대경로가 깨지니 항상 절대경로/작업폴더 고정으로 돈다. 사소해 보여도 이 규율들이 무인 안정성을 만든다.

그래서 우리 운영 규율은?#

핵심은 모델이 아니라 절차를 신뢰하는 것이다.

• 검증: 모든 산출물은 실제 발행과 동일한 게이트를 통과해야 나간다(부분 검증 금지).
• 안전: 되돌릴 수 없는 행동은 dry-run+사람 승인, 에이전트엔 최소권한, 외부 콘텐츠는 명령으로 불신.
• 학습: 반복 실수는 체크리스트·메모리로 앞단 차단한다(같은 실수를 세 번 하면 그건 프로세스 결함). 품질은 우리 지표(격리율·재발률)로 직접 잰다.

함께 읽기: 오픈 음성 클로닝, 우리는 이렇게 운영한다 — 파이프라인 회고, 에이전트 브라우저 제어 — 우리는 이렇게 운영한다(회고)

함께 읽기: 터미널 AI 에이전트, 직접 굴려본 실측·한계, 이 블로그의 자동 발행 파이프라인, 직접 써본 실측·한계

참고 링크

• Model Context Protocol(도구 통합 표준)
• Claude Agent SDK(에이전트 구축)
• Aider(터미널 코딩 에이전트)
• OWASP LLM/에이전트 Top 10(권한·안전)
• SWE-bench(코딩 에이전트 벤치)

참고: 발행 수·격리 수·37% 같은 수치는 2026년 우리 운영·공개 측정 스냅샷이며 정책에 따라 매 순간 달라진다(영구 수치 아님). 프롬프트 인젝션 방어는 계속 진화하니 자기 위협모델로 재검토하라(여기 수치는 출발점). 에이전트 운영 관행은 빠르게 바뀌니 분기별로 다시 본다.