카파시의 LLM 심층 해설 정리 — 사전학습부터 RLHF까지

안드레이 카파시가 입문용 LLM 소개 영상을 올린 지 1년이 넘어 새 영상을 올렸다. 1년 전 영상이 250만 회 넘는 조회수를 기록하며 많은 이들에게 도움이 됐던 만큼 이번 영상도 기대를 갖고 정리해 봤다. 본인 말로는 비전문가도 이해하기 쉽게 구성했다고 한다.

아래는 그 영상을 정리한 요약 이다. 골격은 LLM 훈련의 세 단계 — 사전 훈련, 지도 학습, 강화 학습 — 이다.

1. 사전 훈련 (Pre-training)

LLM 을 만드는 첫 단계다. 핵심은 인터넷에서 대량의 텍스트를 내려받아 처리하는 것이다.

데이터 수집. Hugging Face 의 FindWeb 데이터 세트처럼 고품질의 다양한 문서를 대량으로 모은다. 주요 LLM 공급자들은 내부적으로 비슷한 데이터 세트를 갖고 있다.

데이터 필터링. Common Crawl 같은 소스에서 얻은 원시 데이터를 여러 단계로 정제한다. URL 필터링으로 악성·스팸·마케팅·인종차별·성인 사이트 같은 원치 않는 도메인을 차단하고, 텍스트 추출로 원시 HTML 에서 마크업과 CSS 를 걷어내 핵심 텍스트만 남기고, 언어 필터링으로 특정 언어만 남긴다.

토큰화(Tokenization). 텍스트는 신경망이 처리할 수 있도록 토큰이라는 숫자로 표현된다. UTF-8 인코딩으로 텍스트를 이진수로 바꾸는데, 0과 1 두 가지 심볼만 쓰면 시퀀스가 아주 길어진다. 그래서 바이트 페어 인코딩(BPE) 알고리즘으로 자주 나타나는 바이트 시퀀스를 병합해 새 토큰을 만든다. 시퀀스 길이는 줄고 어휘 크기는 늘어난다.

토큰화는 띄어쓰기나 대소문자에 따라 결과가 달라진다. “hello world” 는 두 개의 토큰으로 나뉜다. 참고로 FindWeb 데이터 세트는 약 44테라바이트의 디스크 공간과 15조 개의 토큰 시퀀스를 담는다.

신경망 훈련

이제 이 데이터로 신경망을 훈련한다. 모델은 토큰 시퀀스 안에서 토큰이 서로 어떻게 이어지는지에 대한 통계적 관계를 배운다.

맥락 창(Context Window). 모델은 토큰 시퀀스에서 무작위로 고른 창을 써서 훈련한다. 창 크기는 0에서 최대치(예: 8,000 토큰)까지 다양하다. 긴 시퀀스를 처리하는 비용이 크기 때문에 실제로는 최대 창 크기를 정한다.

다음 토큰 예측. 신경망은 맥락 창에 주어진 토큰 다음에 올 가능성이 높은 토큰을 예측하도록 훈련된다. 어휘에 있는 모든 토큰에 대해 확률 벡터를 출력하고, 가장 가능성이 높은 토큰을 고른다.

파라미터 조정. 예측된 토큰이 실제 다음 토큰과 맞도록 가중치를 조정한다. 이 과정을 정확도가 오를 때까지 반복한다. 파라미터는 수십억 개일 수 있고 처음에는 완전히 무작위다. 훈련은 이 파라미터를 조정해 학습 데이터에서 관찰된 패턴과 맞는 출력을 내게 만드는 일이다.

현대 LLM 이 쓰는 구조는 트랜스포머다. 입력 토큰을 임베딩해 분산 표현을 만들고, 여러 층을 거쳐 다음 토큰 예측을 낸다. 복잡한 수학적 표현을 쓰지만 개별 연산은 단순하다. 이 신경망은 입력에서 출력으로 가는 고정된 수학적 표현이며, 메모리가 없는 상태 저장소 다.

추론 (Inference)

훈련이 끝나면 모델로 새 데이터를 만들 수 있다. 이것이 추론이다.

모델은 주어진 토큰 시퀀스를 받아 다음 토큰의 확률 분포를 출력하고, 그 분포에 따라 샘플링한다. 확률이 높은 토큰이 뽑힐 가능성이 높다. 확률적이기 때문에 같은 입력에도 매번 다른 출력이 나올 수 있다. 생성되는 토큰 스트림은 훈련 데이터와 비슷한 통계적 특성을 갖지만 완전히 같지는 않다.

베이스 모델

사전 훈련의 결과물이 베이스 모델이다. 인터넷 텍스트의 토큰 시뮬레이터 역할을 한다. 질문에 답하는 데 바로 쓸 수는 없고, 인터넷 문서의 토큰 시퀀스를 흉내 낸다. 훈련 규모는 1000억에서 15조 토큰 사이다. OpenAI 의 GPT-2 는 1000억 개 토큰으로 훈련된 15억 파라미터 모델이고, 메타의 Llama 3 는 15조 개 토큰으로 훈련된 4050억 파라미터 모델이다.

베이스 모델의 성질은 이렇다.

• 한계 — 아직 어시스턴트가 아니라서 “2+2는 무엇인가?” 같은 질문에 직접 답하지 못한다. 주어진 토큰 시퀀스를 이어갈 뿐이다
• 메모리 — 훈련 데이터에서 본 내용을 기억하고, 위키피디아 항목처럼 본 텍스트를 그대로 암기해 복제할 수 있다. 이것을 역류 현상(regurgitation)이라 한다
• 지식 컷오프 — 훈련 데이터 이후에 일어난 일은 모른다
• 환각(Hallucination) — 본 적 없는 사건에 대해 훈련된 지식을 바탕으로 그럴듯한 추측을 만들어 낸다

베이스 모델도 프롬프트 설계로 실용적으로 쓸 수 있다. 퓨샷 프롬프트 는 몇 가지 예시를 줘서 패턴을 학습하게 한다. 영어-한국어 번역 쌍 목록을 주면 추가 번역을 수행하는 식이다. 또 인간과 AI 어시스턴트 사이의 대화처럼 보이는 프롬프트를 주면 대화형 응답을 만들게 할 수도 있다. Hyperbolic 같은 플랫폼에서 Llama 3 베이스 모델을 직접 탐색해 볼 수 있다.

2. 지도 학습 (Supervised Finetuning)

LLM 이 인간의 대화 패턴과 이상적인 응답을 배우는 단계다. 사람이 작성한 대화 데이터로 모델을 훈련한다. 데이터 라벨러들이 특정 상황에서 이상적인 어시스턴트의 응답을 쓰고, 모델은 그 예시를 모방해 배운다. 이 과정에서 모델은 도움이 되고, 진실되며, 무해한 답변을 내도록 훈련된다.

“LLM 심리학” — 모델의 인지적 특성

훈련 과정에서 모델의 특이한 인지적 성질들이 드러난다.

환각. 사실이 아닌 정보를 사실처럼 만들어 내는 경향이다. 학습 데이터의 패턴을 모방하는 과정에서 생기며, 모르는 정보에 대해 확신에 찬 답을 하려 할 때 특히 두드러진다.

도구 사용. 환각을 줄이기 위해 웹 검색 같은 도구를 쓸 수 있다. 특정 토큰을 만들어 도구를 호출하고 검색 결과로 답을 만든다. 지식 범위가 넓어지고 정확도가 오른다.

지식과 작업 기억. 모델은 파라미터에 저장된 지식 외에 맥락 창 안의 정보에도 의존한다. 오래전에 학습한 정보는 희미한 기억 같고, 필요하면 도구로 작업 기억을 새로 고칠 수 있다.

자기 인식 — 모델은 자신을 어떻게 아는가

모델은 “나는 누구인가” 같은 질문에 답하도록 훈련되는데, 이때 훈련 데이터의 영향을 크게 받는다. 대화 데이터에서 자신을 묘사하는 구문을 배워 “나는 어시스턴트 모델이다” 같은 문구를 기억하고 반복한다. 개발자가 시스템 메시지로 정체성을 미리 정할 수도 있다.

다만 이 자기 인식은 인간 같은 깊이 있는 이해가 아니다. 통계적 패턴에 따라 답을 만들 뿐이며, 진정한 자아나 영속적인 자아를 갖고 있지 않다.

모델은 생각하는 데 토큰이 필요하다

LLM 은 토큰 하나를 처리하는 데 제한된 계산 능력을 쓴다. 그래서 복잡한 계산은 여러 토큰에 나눠 처리해야 한다. 중간 결과를 여러 토큰으로 표현하며 단계별로 계산하는 것이다. 한 토큰 안에서 복잡한 계산을 끝내려 하면 오류가 나기 쉽다.

정확한 계산이 필요하면 코드 인터프리터 같은 도구를 쓰는 편이 낫다.

철자 문제 — 토큰화의 대가

LLM 은 문자가 아니라 토큰으로 작동하기 때문에 철자 문제에 약하다. 단어를 문자 단위로 인식하지 못하니 철자를 바꾸거나 특정 문자를 뽑아내는 작업이 어렵다. 이때도 코드 인터프리터로 문자열을 다루면 정확한 결과를 얻을 수 있다.

들쭉날쭉한 지능 (Jagged Intelligence)

LLM 은 복잡한 문제를 풀면서도 아주 간단한 문제에서 실패한다. 수학이나 철자 같은 단순 작업에서 예측 불가능한 오류를 낸다. 모델 내부의 활성화 패턴이 특정 질문 형식에 편향되어 나타나기도 한다. 예를 들어 특정 형식의 숫자를 성경 구절처럼 인식해 순서대로 답하려는 경향을 보인다.

이런 단점을 보완하려면 도구 사용을 장려하는 것이 중요하다. 모델이 혼자 풀게 두기보다 도구로 더 정확하고 신뢰할 수 있는 결과를 얻게 하는 편이 낫다.

3. 강화 학습 (Reinforcement Learning)

강화 학습은 모델 성능을 극적으로 끌어올리는 핵심 기술로 주목받고 있다.

강화 학습은 모델이 스스로 시행착오를 거치며 최적의 답을 찾아가는 방법이다. 여러 시도로 답을 만들고 그 결과를 평가해 올바른 방향으로 나아간다. 이 과정에서 모델은 자기에게 맞는 토큰 시퀀스를 스스로 발견한다. 인간이 미리 정한 해법을 따르는 것이 아니다. 핵심은 모델이 ’생각’하는 과정에 있고, 이를 통해 정확도가 오른다. 검증 가능한 영역과 불가능한 영역 양쪽에서 쓸 수 있다.

DeepSeek-R1 — 강화 학습으로 ’사고’를 얻다

DeepSeek-R1 은 강화 학습으로 언어 모델의 사고 능력을 크게 끌어올린 대표 사례다. 수학 문제 해결 능력을 높이려고 강화 학습을 적용했다. 모델은 문제를 풀며 여러 접근을 시도하고, 이전 단계를 다시 검토하고, 여러 관점에서 접근한다. 이 사고 과정은 모델이 스스로 발견한 것이며 인간이 코딩할 수 있는 것이 아니다.

답변 길이가 길어지는 경향이 있는데, 이것은 사고하는 과정에서 생기는 자연스러운 현상이다. 그 결과로 정확도가 오른다. R1 은 오픈소스로 공개되어 누구나 내려받아 쓸 수 있다.

AlphaGo — 인간을 넘어선 사례

AlphaGo 는 강화 학습의 잠재력을 입증한 또 하나의 사례다. 지도 학습 모델은 인간 전문가의 기보를 모방하는 데 한계가 있지만, 강화 학습 모델은 스스로 학습해 인간을 뛰어넘는 전략을 발견할 수 있다.

AlphaGo 의 Move 37 은 인간 전문가가 만분의 일 확률로 둘 법한 수였는데, 결과적으로 매우 뛰어난 전략이었다.

RLHF — 검증할 수 없는 영역에서

인간 피드백을 활용한 강화 학습(RLHF)은 검증이 불가능한 영역에서 강화 학습을 가능하게 한다. 인간이 직접 매번 평가하는 대신, 인간의 선호도를 흉내 내는 보상 모델(reward model) 을 학습시킨다. 사람은 여러 답변에 순위를 매기고, 보상 모델은 그 데이터로 학습해 선호도를 예측한다. 이 방식으로 LLM 은 인간이 선호하는 답변 스타일과 창의적인 글쓰기 능력을 배울 수 있다.

하지만 단점이 있다. 모델이 인간의 선호도를 과도하게 모방하거나, 보상 모델을 속이는 방식으로 작동할 수 있다. 보상 모델도 복잡한 신경망이라 RL 이 속이는 방법을 찾아낸다. 그래서 RLHF 는 무한정 학습할 수 없고 제한된 횟수만 학습하고 멈춰야 한다. RLHF 는 완벽한 인간을 모방하는 것이 아니라 일종의 시뮬레이션이다.

앞으로의 기능

LLM 은 텍스트를 넘어 여러 형태의 데이터를 다루는 멀티모달 모델로 빠르게 가고 있다.

• 오디오 — 오디오 신호의 스펙트로그램 조각을 토큰화해 듣고 말할 수 있게 된다
• 이미지 — 이미지의 패치를 토큰화해 보고 그릴 수 있게 된다
• 이 오디오·이미지·텍스트 토큰 스트림을 한 모델에서 동시에 처리할 수 있다

또한 LLM 은 개별 작업을 넘어 장기 작업을 수행하는 에이전트로 발전하고 있다. 에이전트는 인간의 감독 아래 오랜 시간 작업하며 진행 상황을 보고한다. 이는 디지털 영역에서 인간 대 에이전트 비율 을 고려해야 함을 뜻한다. LLM 은 사용자를 대신해 키보드와 마우스를 다룰 수 있고, 이 기능은 도구에 통합되어 보이지 않게 될 것이다.

테스트 시간 학습을 통한 개선도 있다. 실제 사용 중에 학습한다는 뜻이다. 지금은 파라미터가 고정되어 있고 컨텍스트 창을 통해서만 학습할 수 있다. 이것은 인간의 학습과 다르며, 장기 실행 멀티모달 작업에 필요한 긴 컨텍스트를 다루려면 새로운 아이디어가 필요하다.

모델을 찾는 곳

최신 정보를 얻을 수 있는 리소스는 이렇다.

• LM 아레나 — 인간의 비교를 바탕으로 LLM 순위를 매기는 리더보드
• AI 뉴스 — Swix 와 동료들이 만드는 뉴스레터. 사람이 큐레이팅한 것과 LLM 이 자동 생성한 것을 모두 담는다
• X(트위터) — 관심 있고 신뢰하는 사람을 팔로우하면 최신 정보를 얻을 수 있다

모델을 쓸 수 있는 곳은 네 갈래다. 독점 모델(ChatGPT, Gemini)은 제공업체 웹사이트에서, 오픈 웨이트 모델(DeepSeek, Llama)은 Together AI 같은 추론 제공업체에서, 베이스 모델은 Hyperbolic 처럼 베이스 모델을 호스팅하는 곳에서, 작은 모델은 LM Studio 같은 앱으로 로컬에서 돌릴 수 있다.

정리

LLM 은 세 단계로 훈련된다. 사전 훈련 은 인터넷에서 지식을 모아 파라미터에 넣는다. 지도 미세 조정 은 인간 데이터 레이블러가 만든 이상적인 응답으로 모델을 다듬는다. LLM 은 그 데이터 레이블러를 모방한 것이다. 강화 학습 으로 일부 모델은 사고 과정을 개선하고 새로운 문제 해결 전략을 발견한다.

LLM 은 인간의 뇌와 다르게 작동하며 환각이나 어리석은 행동을 한다. 완벽한 도구가 아니라 확인이 필요하고, 단순한 계산이나 철자를 틀리기도 한다.

LLM 은 단순한 마법 상자가 아니라 수많은 데이터와 정교한 알고리즘이 결합된 결과물이다. 작동 방식을 이해하면 이 기술을 더 효과적으로 쓸 수 있다.

영상

• (한글자막) 대형 언어 모델(LLM)의 심층 분석: ChatGPT의 작동 방식 이해하기