하루 9만 원 가까이 나온 AI API 요금, 원인을 찾아 로컬 LLM으로 옮긴 기록
여러 개의 작은 AI 에이전트가 각자 맡은 일을 처리하는 자동화 시스템을 운영하고 있습니다. 조사하는 팀, 코드 점검하는 팀, 보안 감시하는 팀처럼 역할을 나눈 구조입니다. 대부분의 호출은 Google의 Gemini Flash 모델로 처리했습니다. 싼 모델이니 부담 없다고 생각했습니다.
그러다 결제 콘솔을 열어보고 놀랐습니다. 하루 사용액이 8만 6천 원이었습니다. 무료 체험 크레딧이 전액 상쇄하고 있어서 실제 청구는 0원이었지만, 크레딧이 떨어지는 순간 그대로 청구되는 상황이었습니다. 9월 첫 6일 동안 쓴 금액이 18만 원을 넘었습니다.
원인 찾기: 어떤 호출이 비쌌나
Google Cloud 결제 화면의 “비용 분석”에서 SKU(과금 항목)별로 나눠 보니 바로 드러났습니다. 전체 비용의 절반이 텍스트 입력 토큰에서 나오고 있었고, 전주 대비 170% 늘어 있었습니다. 출력이 아니라 입력이 문제라는 건, 같은 긴 내용을 반복해서 모델에 보내고 있다는 뜻입니다.
코드를 따라가 보니 비용이 곱셈으로 불어나는 지점이 두 군데 있었습니다.
| 위치 | 동작 | 호출이 불어나는 이유 |
|---|---|---|
| 에이전트 실행 루프 | 작업 하나를 최대 15턴까지 모델과 주고받으며 처리 | 턴마다 지금까지의 대화 전체를 다시 입력으로 보냄 |
| 결과 채점기 | 작업이 끝날 때마다 별도 모델이 결과를 평가 | 작업 수만큼 그대로 늘어남 |
여기에 작업을 자동으로 넣어주는 스케줄러가 팀마다 6시간 간격으로(초기 24시간은 30분 간격으로) 돌고 있었습니다. 12개 팀에 하루 수십 번씩, 매번 최대 15턴이면 호출 한 번은 싸도 합치면 커집니다. 특히 에이전트 루프는 턴이 쌓일수록 입력이 길어지니, 15번째 턴의 입력은 첫 턴보다 몇 배 깁니다.
선택지: 줄일까, 옮길까
호출 횟수를 줄이는 방법도 있었습니다. 스케줄 간격을 늘리고 최대 턴 수를 낮추는 식으로요. 하지만 마침 집 PC에 RTX 4080 SUPER(16GB)가 있었고, Ollama도 이미 깔려 있었습니다. 그래서 모델 자체를 로컬로 옮기기로 했습니다. 로컬 모델은 전기요금 말고는 호출 횟수에 따른 비용이 없습니다.
모델은 Qwen3.8 27B의 4비트 양자화 버전(약 17GB)을 골랐습니다. VRAM보다 살짝 커서 일부가 CPU로 넘어가지만, 에이전트 작업은 실시간 응답이 필요 없어서 속도는 크게 문제가 되지 않았습니다. 그리고 에이전트가 쓰는 “도구 호출(function calling)”을 지원하는지가 중요했는데, Ollama에서 모델 정보를 조회하면 tools 기능이 표시돼 있었습니다.
옮기면서 지킨 원칙 세 가지
1. 실패하면 원래 경로로 돌아간다
로컬 모델 호출이 실패하거나 응답이 이상하면 예외를 잡아 기존 Gemini 경로로 자동 전환되게 했습니다. 집 PC가 꺼져 있어도 시스템 전체가 멈추지는 않습니다. 환경변수 하나(USE_LOCAL_LLM)로 켜고 끌 수 있게 해서, 문제가 생기면 바로 되돌릴 수 있습니다.
2. 채점은 다른 모델이 한다
결과 채점기는 원래 “자기 숙제를 자기가 채점하지 않게” 별도 세션으로 설계한 것이었습니다. 로컬로 옮기면서 에이전트와 같은 모델을 쓰면 이 원칙이 무너집니다. 그래서 채점에는 일부러 다른 모델(Qwen2.5 14B)을 쓰게 했습니다. 같은 모델이면 같은 맹점을 공유할 가능성이 높기 때문입니다.
3. 도구 실행 코드는 하나로 합친다
Gemini와 Ollama는 도구 호출 형식이 다릅니다. Gemini는 자체 객체를 쓰고, Ollama는 OpenAI 스타일의 JSON 형식을 씁니다. 이 차이는 호출하는 부분에서만 처리하고, 실제로 도구를 실행하는 함수는 하나로 뽑아서 양쪽이 같이 쓰게 했습니다. 두 경로의 동작이 슬금슬금 달라지는 걸 막기 위해서입니다.
# Ollama /api/chat 응답에서 도구 호출 꺼내기
for call in resp["message"].get("tool_calls", []):
fn = call["function"]
args = fn["arguments"]
if isinstance(args, str): # 가끔 문자열로 오는 경우 방어
args = json.loads(args)
result = dispatch_tool(fn["name"], args) # Gemini 경로와 공용
배포는 한 줄로 끝났다
12개 팀이 각자 docker 컨테이너로 도는데, docker-compose 파일에서 공통 환경변수를 YAML 앵커(&base-env)로 정의하고 모든 팀이 상속받는 구조였습니다. 그래서 앵커에 USE_LOCAL_LLM, OLLAMA_URL, OLLAMA_MODEL 세 줄만 추가하니 12개 팀 전부에 적용됐습니다. 처음 compose 파일을 만들 때 앵커로 묶어둔 덕을 여기서 봤습니다.
결과와 남은 한계
옮긴 뒤로 비용의 대부분을 차지하던 두 경로, 즉 에이전트 루프와 채점기의 호출은 로컬 모델이 처리합니다. Gemini는 로컬이 실패했을 때만 쓰는 예비 경로가 됐습니다. 다만 공짜는 아닙니다.
- 품질 편차: 강제 스키마가 없어서 응답 구조가 가끔 달라집니다. 배열 안에 문자열이 올 때도 있고 객체가 올 때도 있어서, 파싱 코드를 방어적으로 짜야 했습니다.
- 없는 것을 지어냄: 목록이 정해진 고유명사를 모델이 만들어내는 경우가 있었습니다. 프롬프트에 허용 목록을 직접 넣어주니 줄었습니다.
- PC 의존: 집 PC가 켜져 있어야 합니다. 그래서 위의 자동 복귀 경로를 없앨 수 없습니다.
가장 크게 배운 건 비용 구조입니다. API 호출 한 번의 단가만 보면 저렴해 보여도, 에이전트 루프는 턴 수 × 누적 입력 길이 × 실행 빈도로 비용이 커집니다. 에이전트 시스템을 만든다면 첫날부터 결제 알림을 걸어두시길 권합니다. 저는 크레딧 덕분에 운 좋게 청구 전에 발견했을 뿐입니다.