LOCAL LLM REPORT 2026.05.16 · UPDATE

GPT-4가 내 책상 위에서 깨어났다

RTX 4090 한 장, M5 Max 128GB 한 대로, 2026년 5월 오픈웨이트 LLM은 클라우드 프론티어의 70~85%를 따라잡았다. 프라이버시 · 반복 호출 ROI · 오프라인 — 셋 중 하나라도 해당될 때 의미가 있다.

  • 05AGENTS
  • 22MODELS
  • 03TIERS
  • 06MIN READ
SCROLL

01 · TL;DR

5분 안에 결론으로

보고서를 끝까지 읽지 않아도 이 5장을 챙기면 충분하다.

02 · WHY NOW

"로컬이 클라우드를 대체하는 시대가 아니다.

클라우드가 못 가는 영역

로컬이 채우는 시대다."

— 보고서 §7 결론 중

03 · MODELS

지금 주목할 22개 모델

추론 · 범용 · MoE · 한국어 4파전 · 코딩 · 멀티모달 · 소형 — 카테고리별 대표선수 (2026-05-16 업데이트)

04 · YOUR HARDWARE

당신의 하드웨어로 무엇이 가능한가

메모리 · 플랫폼 · 양자화 · 목적 — 네 축으로 권장 모델이 즉시 정렬된다.

RECOMMENDED MAIN

Qwen3-32B

thinking/non-thinking 토글

예상 tok/s
25
VRAM 사용

22 GB

컨텍스트
8K 32K 128K
Apache 2.0 Ollama / MLX Q4_K_M

보조 모델

05 · USE CASES

로컬 LLM이 진짜 빛나는 7가지 작업

각 시나리오마다 '로컬 우위인 이유'와 '여전히 클라우드인 이유' 양면을 적었다.

06 · DECIDE

당신은 로컬을 시작해야 하는가

11개 항목 중 자신에게 해당되는 것만 체크. 점수에 따라 권장이 즉시 갱신된다.

결과

대기 중

로컬 신호

0 / +15

클라우드 신호

0 / 10

좌측 항목 중 자신에게 해당되는 것을 체크하세요.

07 · GET STARTED

오늘부터 12개월까지

장비 0원에서 시작해도 좋다. 단, 본격 단계 이후의 ROI를 정직하게 보라.

  1. ENTRY
  2. CORE
  3. EXPERT

08 · LIMITATIONS

이 페이지가 광고가 아닌 이유

로컬 LLM이 절대 못 하는 것, 1년 후 좁혀질 것, 그리고 숨은 비용까지 정직하게.

영구 격차

    12mo

    1년 내 좁혀짐

      숨은 비용

        월 전기료 (일 8h 사용 기준)

        09 · THIS WEEK

        월요일 아침,
        3가지부터.

        보고서 5만 자를 읽어도 행동하지 않으면 0원. 이번 주 안에 할 수 있는 3개부터.

        0 / 3 완료