질문 한 번의 전력은 얼마인가 — 구글이 공개한 추론 에너지
지금까지 AI의 환경 영향 논의는 '훈련'에 쏠려 있었다. 구글이 실제 운영 환경에서 '추론' 단계의 에너지·탄소·물 소비량을 재는 방법론과 수치를 공개했다.
지금까지 AI의 환경 영향에 대한 논의는 주로 에너지 집약적인 모델 ‘훈련’ 과정에 초점이 맞춰져 왔다. 하지만 이제 AI가 전 세계에서 수십억 건의 프롬프트를 처리하면서, 응답을 생성하는 ‘추론’ 단계의 에너지·탄소·물 소비량이 전체 환경 비용에서 중요한 부분으로 떠올랐다.
문제는 실제 운영 환경에서 AI 추론의 환경 지표를 잰 믿을 만한 데이터가 없었다는 점이다. 구글이 이 격차를 메우고 업계 투명성을 높이려고, 대규모 AI 운영 환경에서 에너지·탄소·물을 재는 포괄적 방법론과 그 결과를 담은 기술 백서를 냈다.
1. 결과 — Gemini는 얼마나 쓰는가
2025년 5월 기준 Gemini 앱에 누적된 프롬프트의 중앙값을 기준으로, 질문 하나당 다음을 소비하는 것으로 나타났다.
| 항목 | 값 |
|---|---|
| 에너지 | 0.24 Wh |
| 탄소 | 0.03 gCO₂e |
| 물 | 0.26 mL |
많은 공개 추정치보다 현저히 낮은 수준이다. 프롬프트당 0.24 Wh는 TV를 9초 미만 시청하는 것보다 적은 양이고, 0.26 mL는 물 다섯 방울에 해당한다.
더 주목할 것은 효율성 향상 폭이다. 지난 1년간 소프트웨어 효율 개선과 클린 에너지 조달에 힘입어, Gemini 앱스 텍스트 프롬프트 중앙값의 에너지 소비량은 33배, 탄소 발자국은 44배 줄었다.
2. 왜 정확한 측정이 어려운가
AI 추론의 에너지 소비를 재는 일은 간단하지 않다. 어떤 활동을 측정에 포함할지에 대한 합의된 기준, 즉 **‘측정 범위’**가 없어 기존 연구들의 추정치는 편차가 컸다.
기존 방식은 대개 활성 상태의 AI 가속기(GPU, TPU)에서 쓰는 전력에만 초점을 맞췄다. 하지만 그것은 AI 서비스 운영의 일부일 뿐이다. 실제 대규모 운영에서는 가속기의 실제 가동률, 호스트 시스템의 전력, 안정성을 위한 유휴 장비, 데이터센터의 냉각과 전력 분배까지 훨씬 많은 요소를 고려해야 한다.
3. 구글의 포괄적 측정 방법론
인프라 전체 스택을 고려하는 접근이다. 측정 범위에 네 가지가 들어간다.
- 활성 AI 가속기 에너지 — 추론이 실행되는 동안 가속기가 실제로 쓰는 전력. 생산 시스템의 실제 가동률을 반영한다
- 활성 CPU·DRAM 에너지 — 가속기를 구동하는 데 필수인 호스트 시스템의 CPU와 DRAM
- 유휴 장비 에너지 — 높은 가용성과 낮은 지연을 보장하려고 트래픽 급증이나 장애에 대비해 돌려 두는 예비 장비
- 데이터센터 간접 전력 — 냉각과 전력 변환 등 인프라 유지에 필요한 에너지. PUE로 측정한다
4. 범위를 바꾸면 결과가 달라진다
2025년 5월 Gemini 앱스 텍스트 프롬프트를 두 방식으로 재 봤다.
- 기존 접근법 — 0.10 Wh. 활성 AI 가속기 에너지만 포함(가장 효율적인 데이터센터 샘플링)
- 포괄적 접근법 — 0.24 Wh. 활성 가속기 58%, CPU·DRAM 25%, 유휴 장비 10%, 간접 전력 8%
포괄적 접근으로 잰 값이 기존 방식보다 2.4배 높다. 실제 환경 영향을 정확히 파악하려면 모든 주요 소비 요인을 넣는 표준화된 측정이 중요하다는 뜻이다.
같은 모델이라도 측정 방식에 따라 결과 차이가 크다. 예컨대 Llama 3.1(70B)은 kWh당 약 580개에서 3,600개 프롬프트까지 편차가 있다. Gemini 앱스 텍스트 프롬프트 중앙값도 좁게 정의한 기존 접근에서는 kWh당 10,000 프롬프트, 더 완전한 포괄적 접근에서는 kWh당 4,167 프롬프트로 달라진다.
5. 효율성의 비결 — 풀스택 최적화
Gemini의 극적인 효율 향상은 하드웨어부터 소프트웨어, 데이터센터 운영까지 전반에 걸친 최적화 덕분이다.
- 모델 아키텍처 — 트랜스포머를 기반으로, 응답에 필요한 모델의 일부만 활성화해 계산량을 10~100배 줄이는 전문가 혼합(MoE) 같은 구조를 쓴다
- 알고리즘·양자화 — 응답 품질을 떨어뜨리지 않으면서 서비스 에너지를 줄이는 정확한 양자화 훈련(AQT)
- 추론·서비스 최적화 — 더 적은 가속기로 더 많은 응답을 처리하는 추측성 디코딩, 더 작고 효율적인 서비스용 모델을 만드는 증류
- 맞춤형 하드웨어 — 와트당 성능을 목표로 직접 설계한 TPU. 모델과 TPU를 함께 설계한다. 최신 세대 Ironwood는 최초의 공개 TPU보다 에너지 효율이 30배 높다
- 유휴 상태 관리 — 수요에 따라 거의 실시간으로 모델을 옮겨 가속기의 유휴 상태를 최소화한다
- ML 소프트웨어 스택 — XLA 컴파일러, Pallas 커널, Pathways 시스템
- 데이터센터 — 전체 평균 PUE 1.09로 운영한다. 24/7 탄소 무배출을 추구하고, 소비하는 담수의 120%를 보충하는 목표를 밀고 있다
6. 제언
이 연구는 AI 서비스의 환경 발자국에 대한 투명하고 포괄적인 이해가 시급함을 보여 준다. 제한적인 측정 방식은 실제 영향을 상당히 과소평가할 수 있다.
단일 프롬프트의 영향은 작지만 전 세계적인 사용 규모를 생각하면 환경 비용을 줄이려는 노력은 필수적이다. 구글은 업계 전반이 이런 포괄적 측정 프레임워크를 채택해 투명성을 높이고, 스택 전체의 효율 향상을 유도하기를 희망한다고 밝혔다.