M3 Ultra 512GB에 405B 모델을 올릴 수 있을까
새 맥 스튜디오의 512GB면 8비트 양자화한 Llama 3.1 405B도 메모리에 올라간다. 문제는 메모리가 아니라 속도다.
M3 Ultra 맥 스튜디오가 나왔다. 512GB 면 8비트 양자화된 Llama 3.1 405B 모델까지 올라가겠다. 애플 사이트에서는 600B 까지 올라간다고 홍보 중이다.
하지만 메모리에 올라가는 것과 쓸 만한 속도가 나오는 것은 다른 문제다. 405B 토큰 생성은 빨라도 초당 5토큰 이하가 될 것 같다. 사람들의 후기를 기다려 본다.
참고 — Llama 3.1 70B Q4_K_M 기준 (40GB 이상 메모리 필요)
- M3 Max 40-Core GPU 64GB — 7.5 tokens/s
- M3 Ultra 80-Core GPU 96GB (880만원) — (예상) 약 15 tokens/s
- RTX 4090 24GB × 2 (600만원+) — 19 tokens/s
- RTX 5090 24GB × 2 (1,000만원+) — (예상) 약 32 tokens/s
- NVIDIA Digits ($3,000부터, 5월 출시 예정) — 128GB 메모리, FP4 에서 최대 1페타플롭 … 이건 꼭 사야 해
링크
