카파시가 LLM을 쓰는 법 — 정리

안드레이 카파시가 새로 올린 「내가 LLM 을 사용하는 방법」 영상을 정리한 글이다. 한글 자막을 넣은 영상도 함께 공유한다. 이번 연휴에는 최근에 나온 AI 트렌드와 LLM 도구들을 한번 살펴보는 건 어떨까.

• (한글자막) 안드레이 카파시의 내가 LLM을 사용하는 방법

1부. 기본 — 생태계와 모델 고르기

지금의 LLM 생태계

ChatGPT 는 2022년 OpenAI 가 처음 배포한 대형 언어 모델 인터페이스다. 출시 직후 큰 인기를 끌며 많은 사람이 AI 와 자연스럽게 대화하는 경험을 하게 됐다. 2025년 현재는 여러 기업이 비슷한 모델을 내며 경쟁하고 있다.

대표적인 챗봇은 ChatGPT(OpenAI), Gemini(구글), Claude(Anthropic), Grok(xAI), DeepSeek(중국 DeepSeek), LeChat(프랑스 Mistral)이다. 각 모델마다 강점과 차별점이 있다.

대화가 처리되는 방식

가장 기본적인 상호작용은 “질문을 입력하면 답변을 받는 것” 이다. 하지만 내부에서는 입력 텍스트가 작은 단위인 토큰으로 변환되어 처리된다. 사용자가 질문을 넣으면 토큰으로 바뀌고, 모델이 문장을 분석해 답변을 예측하며 토큰 시퀀스를 확장하고, 그 결과를 응답으로 돌려준다. 이 과정이 반복되며 대화가 이어진다.

무엇에 쓰나

일상적인 정보 검색. 가장 쉬운 활용이다. “아메리카노 한 잔에 들어 있는 카페인 양은?” 같은 질문에 약 63mg 이라는 값을 준다. 다만 100% 정확하지는 않으니 중요하거나 최신 정보가 필요하면 따로 검증해야 한다.

건강 및 생활 팁. 감기에 어떤 약이 효과적인지 물을 수 있다.

Q 콧물이 심할 때 DayQuil 이 효과가 있을까요? A DayQuil 에는 페닐레프린이 포함되어 있어 코막힘을 완화하는 데 도움이 될 수 있습니다.

기본적인 의약 정보는 쉽게 확인할 수 있지만, 중요한 건강 결정은 전문가와 상담해야 한다.

프로그래밍과 문제 해결. 코드 작성과 디버깅에 유용하다.

Q “Gradient check fails” 오류가 발생하는데 어떻게 해결할까요? A Gradient 계산 과정에서 매개변수 순서가 올바르게 정렬되었는지 확인하세요.

더 복잡한 문제에서는 일반 모델보다 추론(Thinking) 모델이 나은 답을 준다.

모델별 차이와 선택

제공업체마다 모델의 성능과 가격 정책이 다르다. 목적에 맞게 고르는 것이 중요하다.

OpenAI ChatGPT 요금제는 무료 사용자가 GPT-4 Mini(성능이 다소 낮음), Plus(월 $20)가 GPT-4o(제한 있음), Pro(월 $200)가 GPT-4o Pro(제한 없음)를 쓴다.

다른 모델은 이렇게 갈린다. Claude 는 대화 스타일이 자연스럽고 친절하다. Gemini 는 검색 기능과 연동이 잘 되어 있다. Grok 은 트위터 스타일의 직관적인 응답을 준다. DeepSeek 은 중국어 기반 모델로 특정 언어에서 강점이 있다.

일반적인 대화나 문서 작성에는 무료나 저가 모델로 충분하지만, 코드 작성이나 복잡한 분석에는 고급 모델이 유리하다.

잘 쓰는 팁

• 새 주제는 새 대화로 — 이전 대화가 쌓이면 응답이 혼란스러워진다
• 질문을 구체적으로 — “AI는 무엇인가요?” 보다 “AI의 기본 개념과 활용 사례를 설명해 주세요” 가 낫다
• 여러 모델을 비교하기 — 중요한 질문은 여러 모델에서 답을 받아 비교한다. 일종의 “LLM 컨설팅” 이다

2부. 생각하기, 검색, 심층 분석

‘생각하기’ 기능

최근 모델들은 단순 질의응답을 넘어 더 깊이 사고하도록 발전하고 있다. Grok 에는 ‘Think’ 모드가 있어 켜면 더 깊이 고민해 최적의 답을 만든다. ChatGPT 는 최신 버전에서 ‘Deep Research’ 모드로 장시간 연구가 가능하고, Claude 는 새 버전에서 ‘Thinking Mode’ 를 도입해 복잡한 문제 해결 능력을 높였다.

인터넷 검색

기본적으로 모델은 사전 학습 데이터로 답한다. 최신 정보가 필요하면 검색 기능을 쓴다. 사용자가 최신 정보를 요하는 질문을 하면, 모델이 검색이 필요한지 판단해 실행하고, 검색된 웹페이지 내용을 컨텍스트에 더한 뒤 출처가 포함된 답을 준다.

모델별로 다르다. ChatGPT 는 ‘Search the Web’ 으로 자동 검색이 되고, Grok 은 검색 여부를 사용자가 고른다. Claude 는 현재 인터넷 검색을 제공하지 않고, Gemini 는 일부 버전만 실시간 검색이 된다.

Deep Research

단순 검색을 넘어 논문 분석, 보고서 작성, 심층 데이터 탐색이 가능하도록 설계된 기능이다. 수십 분 동안 여러 데이터를 검색하고 종합하며, 논문·기사·연구 결과 같은 다양한 출처를 검토해 일반적인 답변보다 깊이 있는 분석을 준다.

예를 들어 ChatGPT Pro(월 $200)에서 “CAAKG(알파-케토글루타르산 칼슘)의 인간에 대한 효능과 작용 기전에 대해 연구해 주세요” 라고 요청하면 연구 논문과 전문가 의견을 종합해 보고서를 만든다.

문서와 책 분석

PDF 나 텍스트 파일을 올리고 “이 문서를 요약해 주세요” 라고 하면 내용을 분석해 요약을 준다. 필요하면 세부 질문으로 더 파고들 수 있다. 책을 읽을 때도 특정 챕터를 넣고 주요 내용을 요약받거나 어려운 부분의 설명을 요청할 수 있다.

코드 실행과 데이터 분석

Python 실행 환경과 통합하면 코드 실행까지 된다. 복잡한 계산, 데이터 분석 및 시각화, 알고리즘 테스트와 디버깅에 쓸 수 있다. 일부 모델(Grok, Claude 등)은 코드 실행이 없거나 제한적이라 ChatGPT(GPT-4o) 쪽이 유리하다.

데이터를 올리고 분석을 요청하면 정리, 그래프 생성, 추세 예측을 한다. “OpenAI 의 연도별 기업 가치를 분석하고 2030년까지 예상 가치를 예측해 주세요” 같은 요청에 Advanced Data Analysis(ADA) 기능으로 그래프를 그리고 추세선을 예측할 수 있다. 다만 완벽한 정답은 아니므로 검토가 필요하다.

3부. Artifacts, Cursor, 음성

Claude Artifacts — 즉석에서 만들어지는 앱

Artifacts 는 LLM 이 질문과 답변을 넘어, 사용자가 요청한 기능을 구현하는 앱을 직접 만들어 주는 기능이다. 위키백과에서 텍스트를 복사해 넣고 “이 내용을 바탕으로 20개의 플래시카드를 만들어 줘” 라고 하면, 플래시카드를 만들고 학습용 앱까지 개발한다.

이 앱은 React 기반으로 브라우저에서 바로 돈다. 기존 앱은 개발자가 만들어 배포해야 했지만, Artifacts 는 필요할 때 즉석에서 맞춤형 앱을 만들어 실행한다는 점 이 다르다.

• 활용: 학습용 플래시카드 앱, 계산기·타이머 같은 유틸리티, mermaid.js 를 활용한 개념도 자동 생성
• 제한: 브라우저 안에서만 실행되며 백엔드가 없다. 데이터베이스를 쓸 수 없어 고급 애플리케이션에는 한계가 있다

Cursor — 프로젝트 전체를 아는 개발 환경

프로그래머에게는 Cursor 가 특히 유용하다. Claude 3.7 Sonnet 을 API 로 쓰는 개발 환경으로, 브라우저에서 코드 조각을 복사·붙여넣기 하는 방식보다 훨씬 직관적이고 빠르다.

• 전체 프로젝트 문맥 유지 — 파일 구조를 이해하고 연관된 코드까지 자동으로 편집한다
• 자동 코드 생성 및 수정 — 간단한 명령으로 기능을 더한다 (예: “틱택토 게임에 승리 효과 추가”)
• Vibe Coding — 직접 코딩하는 대신 AI 에게 명령해 코드를 만들고 고치게 한다

React 기반 틱택토 게임을 만드는 예를 보자. “React 기반의 간단한 틱택토 앱을 만들어 줘” 라고 하면 프로젝트를 초기화하고 코드를 만든다. 이어 “승리 시 폭죽 효과 추가” 라고 하면 react-confetti 라이브러리를 써서 자동으로 적용하고, 음향 효과까지 넣어 완성한다.

음성 인터페이스

음성 처리는 두 갈래다.

기본 음성 입력(Speech-to-Text, Text-to-Speech) — 말하면 텍스트로 바꿔 처리하고, 응답을 음성으로 읽어 준다.

고급 음성 모드(Advanced Voice Mode) — 텍스트를 거치지 않고 직접 음성을 이해하고 음성으로만 대화한다. 특정 캐릭터나 감정을 반영한 대화가 가능하고(예: 요다 스타일), 실시간 인터랙션이 더 자연스럽다.

모바일처럼 입력 속도가 중요한 환경, 실시간 음성 번역, NotebookLM 같은 도구를 활용한 AI 오디오 팟캐스트 생성에 쓸 수 있다.

4부. 이미지, 영상, 개인화

이미지

LLM 은 이미지를 토큰화해 분석한다. 영양 성분표를 올리면 텍스트로 바꿔 성분을 분석해 주고, 혈액 검사 결과를 캡처해 올리면 데이터를 정리하고 해석해 준다. 개인 건강 데이터를 빠르게 보는 데 유용하지만 의사 상담은 반드시 병행해야 한다.

일상 제품 분석에도 쓴다. 치약 성분표를 넣으면 유해할 가능성이 있는 성분을 정리하고 필수 성분과 불필요한 성분을 구분해 준다. 화장품이나 건강 보조제도 마찬가지다.

밈(meme)도 해석한다. 친구가 보낸 밈의 의미를 모를 때 올려서 설명을 요청할 수 있다. “살인 시도(attempted murder)” 라는 표현이 들어간 까마귀 밈을 해석해 주는 식이다.

이미지 생성 쪽으로는 DALL·E 나 Ideogram AI 로 유튜브 썸네일, 블로그 이미지 같은 창작 콘텐츠를 만들 수 있다. 현재 ChatGPT 의 DALL·E 3 는 텍스트를 이미지로 바꾸는 별도의 AI 모델을 쓰며, 자동으로 생성된 프롬프트를 바탕으로 작동한다.

실시간 영상

모바일 앱으로 실시간 영상을 해석할 수 있다. 책 제목을 보여 주면 제목과 저자 정보를 주고, 실내 공기 질 측정기 데이터를 분석해 현재 공기 질을 평가한다. 카메라 화면을 실시간으로 분석하고 답하므로, 부모님이나 노년층에게 자연스러운 인터랙션을 제공할 수도 있다.

메모리와 맞춤 설정

ChatGPT 는 메모리 기능으로 대화를 학습해 개인 맞춤형 답변을 준다. “할리우드의 황금기는 언제인가요?” 같은 질문을 했을 때 사용자의 취향을 기억해 이후 추천을 개선하는 식이다. 사용자가 직접 기억을 수정하고 관리할 수도 있다.

맞춤 설정(Custom Instructions)으로 성격과 응답 스타일도 조정할 수 있다. “HR 스타일의 답변을 하지 말고 교육적인 답변을 해 줘” 같은 설정이 가능하고, 학습 중인 언어에서 특정 존댓말 스타일을 유지하게 할 수도 있다.

Custom GPT 를 쓰면 반복적으로 쓰는 명령어를 저장해 빠르게 실행할 수 있다. 한국어 학습용 GPT 를 만들어 문장을 넣으면 자동으로 단어를 추출하고 번역해 주는 식이다.

언어 학습

구글 번역 대신 ChatGPT 의 상세 번역을 쓰면 문장의 문법 구조까지 분석할 수 있다. 한국어 문장을 단어별로 분석하고 예문까지 준다.

영상 속 한국어 자막을 캡처해 넣으면 OCR → 번역 → 문법 분석까지 이어진다. 드라마 대사나 웹툰 내용을 분석하며 자연스럽게 언어를 배울 수 있다.

마무리

AI 는 단순한 질문-답변 시스템을 넘어, 사람의 생산성과 창의력을 끌어올리는 기술로 자리 잡고 있다. 이미지·음성·영상 분석까지 갖춘 AI 는 업무와 일상 여러 영역에서 필수 도구가 됐다.

하지만 AI 는 ‘도구’ 일 뿐이다. 최적의 결과를 얻으려면 우리가 어떻게 쓰는지가 중요하다. 올바른 질문을 던지고, AI 의 한계를 이해하고, 적절한 모델을 고르는 것이 핵심이다.