RTX Pro 6000 96GB — 내 책상에서 큰 모델을 돌리려면

OpenAI의 샘 알트먼이 가중치 공개 모델의 출시일을 6월에서 여름 후반으로 미루겠다는 트윗을 올렸다. 어떤 크기와 성능의 모델이 나올지 기대되는 한편, 다른 바람도 생긴다. 내 로컬 환경에서 마음껏 고성능 AI 모델을 돌려볼 수 있는 시대가 빨리 왔으면 좋겠다.

RTX 5090은 성능은 좋지만 32GB라서 아쉽다. RTX Pro 6000은 96GB VRAM을 얹어 LLM 구동에 새로운 가능성을 제시한다. 이 영상이 다양한 모델과 조건에서 성능을 테스트했기에 요약해 공유한다.

VRAM 용량이 왜 결정적인가

LLM을 돌릴 때 VRAM은 가장 중요한 요소 중 하나다. 부족하면 모델의 일부를 CPU로 오프로드해야 하는데, 이러면 처리 속도가 급격히 떨어진다.

RTX 5090에서 700억 파라미터 모델을 실행하면 VRAM이 모자라 초당 1.8 토큰이라는 매우 낮은 성능이 나온다. 모델 전체를 VRAM에 올릴 수 있느냐 없느냐가 실사용 성능을 좌우한다. RTX Pro 6000의 96GB는 32GB짜리 5090 세 개에 맞먹는 용량을 카드 하나로 구현한 것이다.

대규모 모델 실측

70B Q4 — 700억 파라미터 Llama 3(4비트 양자화)에서 초당 31.89 토큰. 디스크 39GB, VRAM 43GB로 로드
70B Q8 — 8비트 양자화 Llama 3.3 70B는 VRAM 70GB를 쓴다. 모든 레이어(80/80)를 GPU에 올려 실행해 초당 20 토큰. VRAM이 부족해 일부(66/80)만 올렸다면 초당 3 토큰으로 떨어졌을 것이다
32B FP16 — 양자화하지 않은 320억 파라미터 FP16 모델은 61GB를 차지한다. 초당 23 토큰으로 준수하다

장문 프롬프트

65GB 크기의 32B Q8 모델을 컨텍스트 길이 40,000 토큰으로 설정해 올리자 VRAM 사용량이 74.9GB까지 올라갔다. 이 상태에서 35,000 토큰짜리 매우 긴 프롬프트를 넣으니 첫 토큰까지 약 29.9초, 이후 초당 17 토큰으로 출력됐다. 대규모 코드베이스 분석이나 긴 문서 요약처럼 방대한 컨텍스트를 한 번에 처리해야 하는 작업에서 이 카드의 쓸모가 드러난다.

RTX 5090과 비교하면

양자화 모델(Q4, Q8) — 7B, 12B, 34B처럼 비교적 작은 양자화 모델에서는 5090이 약간 더 빠르다. Gemma 3 34B 테스트에서 5090이 239 t/s, Pro 6000이 233 t/s였다
비양자화 모델(FP16, F32) — Pro 6000이 5090과 비슷하거나 약간 더 빠르다
CUDA 코어와의 관계 — Pro 6000은 24,064개로 5090의 21,760개보다 많은데도 일부 모델에서 더 느렸다. 쿨링이나 전력 사용량 같은 다른 요인이 작용했을 가능성이 있다

Apple Silicon(M4 Max)과 비교하면

CUDA 기반의 RTX Pro 6000이 월등했다.

Qwen 32B FP16 — Pro 6000 초당 22 토큰, M4 Max 7.63 토큰
Mistral 7B F32 — Pro 6000 초당 51 토큰, M4 Max 18 토큰

가성비와 결론

M3 Ultra를 얹은 Mac Studio가 약 1만 달러인 반면 RTX Pro 6000은 약 7,5001만 1,000달러에 거래된다. 같은 Gemma 3 테스트에서 Pro 6000이 Mac Studio보다 2배 이상 빨랐던 것을 감안하면, 달러당 토큰 생성 수 기준 가성비는 Pro 6000이 최대 23배 높다.

정리하면, RTX Pro 6000은 막대한 VRAM 덕에 기존 소비자용 카드로는 어려웠던 매우 큰 모델, 비양자화 모델, 방대한 컨텍스트 작업을 무리 없이 소화하는 강력한 선택지다. 작은 모델에서는 5090이 더 빠를 수 있지만, 메모리 용량이 병목이 되는 환경에서는 이 카드의 가치가 극대화된다.