Ollama야 안녕? 난 도커라고 해 — Model Runner와 MCP 카탈로그

Docker Desktop 4.40(2025년 4월 1일 릴리스)부터 Model Runner 기능이 베타로 들어갔다. 로컬 환경에서 LLM 을 마치 컨테이너를 실행하듯 간단하게 돌릴 수 있게 된 것이다.

또한 도커는 Anthropic 이 제안한 MCP 생태계를 지원하기 위해 2025년 4월 23일 MCP Catalog 와 MCP Toolkit 을 공개했다. 이제 Docker Hub 에서 100개가 넘는 MCP 서버를 직접 검색하고, 실행하고, 관리하는 통합 워크플로가 생겼다.

Docker Model Runner — 로컬에서 LLM 실행하기

주요 특징

내장 추론 엔진. llama.cpp 기반 추론 엔진이 Docker Desktop 에 내장되어 OpenAI API 와 호환되는 인터페이스를 제공한다. 복잡한 설정 없이 API 호출로 모델을 쓸 수 있다.

표준 OCI Artifact 패키징. 모델은 표준 OCI 아티팩트 형식으로 패키징되어 배포된다. 기존 Docker Hub 나 사내 레지스트리를 쓰는 CI/CD 파이프라인과 같은 방식으로 모델을 관리하고 공유할 수 있다 는 뜻이다.

하드웨어 가속. 현재 Apple Silicon 에서 GPU 가속을 지원하고, 앞으로 Windows GPU 지원도 계획되어 있다.

설치와 실행

# 1. Docker Desktop 4.40 이상 설치

# 2. 모델 가져오기
docker pull mcp/llama2-7b

# 3. 로컬 API 서버 실행
docker run -p 8080:8080 mcp/llama2-7b

이제 curl http://localhost:8080/v1/chat/completions 처럼 OpenAI API 호환 형식으로 로컬 LLM API 서버에 요청을 보내 추론을 바로 테스트할 수 있다.

소개 영상

MCP Catalog & Toolkit — 도구를 이미지처럼

Docker Desktop 은 4.39 부터 Docker AI Agent 로 MCP 클라이언트와 서버 역할을 모두 지원해 왔고, 4.40 에서는 AI Tool Catalog UI 가 추가됐다. 이제 Docker Hub 에서 바로 실행 가능한 수백 개의 MCP 서버를 탐색하고 Redis 나 Postgres 처럼 쉽게 띄울 수 있다.

MCP Catalog 는 Docker Hub 의 mcp/ 네임스페이스를 중심으로 검증된 MCP 서버 목록을 제공한다. 현재 100개 이상을 지원하며 계속 늘어난다. (hub.docker.com/u/mcp)

MCP Toolkit 은 docker mcp 로 시작하는 새 CLI 명령어와 Docker Desktop 확장 기능을 제공한다. 서버 검색, 환경 변수와 인증 토큰 주입, 실행 상태 모니터링을 간편하게 할 수 있다. 특히 인증과 비밀 관리가 쉬워진다.

# Catalog 에서 도구 검색
docker mcp search github

# 도구 실행 및 환경 변수 주입
docker mcp run gh-tools --env GITHUB_TOKEN=$YOUR_GITHUB_TOKEN

MCP 클라이언트(예: Docker AI Agent)는 실행 중인 MCP 서버들을 자동으로 감지하고(tools/list), 필요하면 해당 도구를 호출한다(tools/call). 사용자는 “GitHub 이슈를 생성해 줘” 같은 자연어 프롬프트로 도구 사용을 지시한다.

MCP Catalog 소개 영상

보안과 거버넌스

MCP 서버가 컨테이너 안에서 격리되어 실행되므로, 호스트 시스템의 파일 전체에 무분별하게 접근하는 등의 보안 위험을 줄일 수 있다. Docker Scout 를 이용한 이미지 취약점 스캔, IAM 정책 연동으로 기업 수준의 보안·거버넌스 요구를 충족할 수 있다.

권장 워크플로우

모델 실험 — Model Runner 로 Llama 2, Gemma 3 같은 사전 학습 모델을 로컬에서 파인튜닝하거나 실험한다. 완료된 모델은 OCI 아티팩트로 태그해 관리한다
도구 설계 — docker init mcp-server 로 TypeScript 또는 Python 기반 MCP 서버 프로젝트 템플릿을 빠르게 만들고 필요한 기능을 구현한다
통합 테스트 — docker ai CLI 나 Claude 데스크톱 앱 같은 MCP 클라이언트로, 프롬프트 레벨에서 모델과 도구가 의도대로 상호작용하는지 엔드투엔드로 테스트한다
배포 — 모델은 registry/회사명/models:<태그> 로 사내 또는 공개 레지스트리에 푸시하고, 개발한 MCP 도구는 mcp/ 네임스페이스 아래 Docker Hub 에 푸시해 Catalog 등록을 고려한다

정리

Docker Model Runner 는 “모델을 컨테이너처럼” 다룰 수 있게 하고, MCP Catalog 와 Toolkit 은 “도구를 이미지처럼” 관리하고 실행할 수 있게 한다. 로컬 개발 환경에서 시작하는 에이전틱 기술 스택의 전체 수명 주기를 친숙한 도커 사용자 경험 안으로 통합하는 셈이다.