GPT-4o mini의 대안을 찾아서 — 비용과 성능의 줄다리기
운영 비용을 줄이려고 GPT-4o mini로 갈아탔는데, 시간이 지나며 속도와 지연 문제가 드러났다. 대안 후보를 실측 수치로 비교하고 실무 체크리스트를 정리했다.
초기 개발은 GPT-4o로 했다. 그다음 운영 비용을 줄이려고 GPT-4o mini로 갈아탔다. 비용 이점은 분명했지만 시간이 지나면서 몇 가지 문제가 두드러졌고, 모델을 다시 바꿔야 하나 고민하게 됐다. 후보를 놓고 비교한 기록이다.
요약 — 어느 쪽을 볼 것인가
| 모델 | 단가 (입력/출력, $/M) | 속도 | 판단 근거 |
|---|---|---|---|
| GPT-4o mini | 0.15 / 0.60 | 약 70 tok/s, TTFT 0.52s | 가격은 여전히 매력적이나 속도·지연이 걸린다 |
| GPT-4.1 mini | 0.40 / 1.60 | 약 76 tok/s, TTFT 0.69s | 응답 품질과 1M 컨텍스트가 강점. 단가는 약 2.6배 |
| Gemini 2.5 Flash | 0.15 / 0.60 | 약 282 tok/s, TTFT 0.26s | 속도·지연 최우수, 단가는 동일 수준 |
| 오픈소스 (Qwen, Llama) | 사실상 0에 수렴 가능 | 구성에 따라 다름 | 운영 최적화 없이는 상용 mini/Flash 단가를 맞추기 어렵다 |
1. GPT-4o mini가 드러낸 한계
GPT-4o mini는 GPT-4o 대비 입력 토큰 기준 약 97% 저렴한 파격적인 가격으로 비용 절감의 확실한 이점을 줬다. 다만 실제 운영에서 한계가 남는다.
Artificial Analysis의 실측을 보면 평균 출력 속도 70.1 tok/s, 초기 토큰 지연(TTFT) 0.52초다. 출시 초기 공개 벤치마크에서 보이던 100 tok/s 이상과 비교하면 체감 속도가 거의 절반 가까이 줄었다는 개발자 커뮤니티 피드백과 일치한다. 속도 저하와 API 응답 지연은 사용자 경험과 직결된다. 가격 변경과 별개로 모델을 고를 때 여전히 중요한 고려 사항이다.
2. 대안 ① OpenAI GPT-4.1 mini
| 항목 | GPT-4o mini | GPT-4.1 mini |
|---|---|---|
| 컨텍스트 | 128K | 1M |
| 평균 속도 (OpenAI) | 약 70 tok/s | 약 76 tok/s |
| 단가 (입력/출력) | $0.15 / $0.60 | $0.40 / $1.60 |
| TTFT (OpenAI) | 0.52s | 0.69s |
장점 — 응답 품질이 크게 올랐다. 100만 토큰 컨텍스트 덕에 RAG나 장문 요약에서 API 재호출 횟수를 줄여 총비용을 낮출 잠재력이 있다.
단점 — OpenAI 엔드포인트 기준 출력 속도는 체감상 큰 개선이 없다. 단가는 지금 매우 저렴해진 GPT-4o mini 대비 약 2.6배다.
3. 대안 ② Google Gemini 2.5 Flash
성능과 속도가 눈에 띈다.
- 평균 출력 속도 약 282 tok/s — GPT-4o mini의 약 4배
- TTFT 0.26초 — 매우 빠르다
- MMLU 80.9% — GPT-4o mini(64.8%) 대비 우수
Artificial Analysis 실측 수치, 본문 기준. 오픈소스 후보(Qwen 3 · Llama 4)는 '구성에 따라 다름'으로만 적혀 있어 수치가 없다 — 뺐다.
가격은 입력 $0.15/M, 출력 $0.60/M으로 지금의 GPT-4o mini와 거의 같다. 상당한 가격 경쟁력이다. 다만 OpenAI 모델처럼 컨텍스트 캐시 스토리지에 대한 명시적 할인 옵션은 낮아, 반복 호출 시 비용 효율은 상대적으로 떨어진다.
’Reasoning Mode’를 켜면 GPT-4.1 mini보다 나은 품질을 얻을 수 있지만 초기 응답 지연이 늘어나는 트레이드오프가 있다.
Artificial Analysis 실측 수치, 본문 기준. 막대가 짧을수록 좋은 지표라 정렬 방향이 다른 차트와 반대다.
4. 대안 ③ 오픈소스 — Qwen 3, Llama 4
장점 — 라이선스 조건에 따라 자유롭게 쓸 수 있고, 자체 데이터로 파인튜닝하면 비용을 거의 0에 가깝게 줄일 수 있다. 데이터 주권도 큰 이점이다.
입력출력
각 사 공개 가격, 본문 기준. 오픈소스 후보는 '사실상 0에 수렴 가능'으로만 적혀 있어 수치가 없다 — 뺐다. 아래 두 줄이 같은 것은 실제로 단가가 같기 때문이다.
단점 — GPU 구매나 임대, 인프라 구축 같은 초기 투자가 든다. 주간·야간, 평일·주말 트래픽 변동에 대응할 오토스케일링과 운영 최적화에도 상당한 노력이 필요하다. 특히 “평일 집중형” 서비스라면 GPU 유휴 시간이 늘어 비효율이 커진다. 운영 비용까지 넣고 보면 상용 mini/Flash 수준의 단가를 맞추기가 쉽지 않다.
5. 실무 체크리스트
모델을 도입하거나 바꿀 때 아래를 점검한다.
- 정확한 TCO 산출 — 지금의 프롬프트 길이와 캐시 적중률을 다시 재서 실제 토큰 소모량 기준으로 총소유비용을 낸다. OpenAI의 캐시 할인 활용도도 함께 본다
- 폴백 로직 — 서비스 SLA(예: 초기 지연 400ms 미만)와 사용 패턴(평일·주말, 주간·야간)을 기준으로, 속도 편차가 큰 모델에는 자동 폴백을 준비한다
- 오픈소스 최적화 검토 — GPU 온디맨드(스팟 인스턴스), 4비트 등 양자화, 컨테이너 오토스케일러를 함께 봐야 상용 mini/Flash 단가와 겨룰 수 있다
- 주기적 재검토 — LLM 시장은 빠르게 바뀐다. 주요 모델 공개 시점에 맞춰 벤치마크와 비용을 다시 볼 일정을 잡아 둔다
결국 각 서비스의 특성과 우선순위에 맞춰 최적의 LLM을 고르고, 계속 평가하며 개선해 나가는 여정은 이어질 것이다.
