자기개선은 가중치가 아니라 하네스에서 먼저 온다 — Lilian Weng의 글 정리

OpenAI 연구원 출신의 Thinking Machines Lab 코파운더인 Lilian Weng의 블로그 글을 정리했습니다.

https://lilianweng.github.io/posts/2026-07-04-harness/

한 줄 요약 — AI의 자기개선은 모델 가중치를 직접 바꾸는 것에서 시작되기보다, 모델을 둘러싼 실행 시스템인 ’하네스(harness)’를 더 잘 설계하고 스스로 개선하는 방향에서 먼저 현실화될 가능성이 높다는 글입니다.

1. 하네스란 무엇인가

하네스는 단순한 프롬프트나 에이전트 프레임워크가 아닙니다. 기반 모델을 둘러싸고 다음을 결정하는 실행·운영 계층입니다.

모델이 어떻게 계획하고 반복할지
어떤 도구를 언제 호출할지
컨텍스트와 기억을 어떻게 관리할지
파일과 결과물을 어디에 보관할지
결과를 어떻게 평가하고 검증할지
어떤 권한을 허용하고 차단할지

즉, 모델이 ’얼마나 똑똑한가’뿐 아니라 그 지능을 실제 작업에 어떻게 배치하고 지속적으로 개선할 것인가가 성능을 좌우한다는 주장입니다. Claude Code나 Codex 같은 코딩 에이전트가 대표적인 사례입니다.

2. 좋은 하네스의 세 가지 설계 패턴

① 반복 가능한 작업 흐름

에이전트에게 한 번 답을 생성하게 하는 것이 아니라 다음과 같은 루프를 제공합니다.

계획 → 실행 → 관찰·테스트 → 분석 → 수정 → 재실행

중요한 점은 실패했을 때 모델이 자신의 실행 기록과 오류를 분석해 다음 행동을 바꾸도록 만드는 것입니다. 하네스는 정적인 프롬프트가 아니라, 목표 달성까지 반복하는 런타임에 가깝습니다.

② 파일 시스템을 장기 기억으로 사용

긴 작업의 모든 로그와 결과를 대화 컨텍스트에 넣으면 금방 한계를 맞습니다. 따라서 실험 로그, 코드 변경 내역, 오류 기록, 논문 요약, 이전 시도 등을 파일로 저장해야 합니다.

핵심은 모든 것을 기억하게 하는 것이 아니라, 필요할 때 다시 찾을 수 있게 만드는 것입니다. 파일은 컨텍스트 윈도보다 오래 지속되며, 작업이 중단되더라도 복구할 수 있는 외부 기억이 됩니다.

③ 서브에이전트와 백그라운드 작업

메인 에이전트가 여러 가설을 직접 순차적으로 처리하기보다, 하위 에이전트에게 병렬로 위임할 수 있습니다. 메인 에이전트는 작업 실행, 상태 확인, 실패 취소, 로그 검사, 결과 통합을 담당합니다.

이때 서브에이전트 결과도 일시적인 채팅에 남기지 않고 파일과 상태 기록으로 보존해야 실행 과정이 투명해지고 재현 가능해집니다.

3. 하네스 최적화는 어디까지 발전하는가

글에서는 최적화 대상이 다음 순서로 확장된다고 설명합니다.

프롬프트 → 구조화된 컨텍스트 → 작업 흐름 → 하네스 코드 → 하네스를 개선하는 최적화 코드

초기에는 “어떤 지시문을 넣을까”가 중심이었다면, 이후에는 “어떤 정보를 선별하고, 어떤 순서로 작업하고, 실패를 어떻게 처리하며, 시스템 자체를 어떻게 개선할까”가 중심이 됩니다.

컨텍스트 엔지니어링 — 단순히 대화를 계속 누적하는 방식에서 벗어나, 컨텍스트를 지속적으로 관리되는 플레이북으로 취급합니다.

ACE는 실행 결과를 생성하고, 성공·실패에서 교훈을 추출하며, 이를 구조화된 항목으로 업데이트합니다.
MCE는 저장된 내용뿐 아니라, 무엇을 검색·선택·정리할지 결정하는 컨텍스트 관리 방식까지 최적화합니다.
Meta-Harness는 한 단계 더 나아가 컨텍스트 저장과 검색을 결정하는 하네스 코드 자체를 탐색합니다.

워크플로 설계 — 연구 아이디어 생성, 코드 작성, 실험, 분석, 논문 작성, 검토 같은 과정을 사람이 고정적으로 설계할 수도 있지만, 워크플로 자체를 탐색 대상으로 만들 수도 있습니다.

ADAS는 메타 에이전트가 새로운 에이전트 구조를 코드로 생성하고 평가하며, AFlow는 작업 흐름을 그래프로 표현한 뒤 탐색 알고리즘으로 더 나은 구조를 찾습니다.

4. ’스스로 개선하는 하네스’의 핵심

가장 중요한 전환은 모델에게 답을 개선시키는 것이 아니라, 답을 만들어 내는 시스템을 개선시키는 것입니다.

Self-Harness의 대표적인 루프는 다음과 같습니다.

여러 실패 기록을 분석해 반복되는 근본 원인을 찾습니다.
현재 하네스에서 수정 가능한 부분만 제한적으로 변경합니다.
기존 문제를 해결했는지와 다른 기능을 망가뜨리지 않았는지를 검증합니다.
회귀가 없는 수정만 채택하고, 실패한 수정은 기록합니다.

여기서 중요한 원칙은 전체 시스템을 자유롭게 다시 쓰게 하는 것이 아니라, 편집 가능 영역을 제한하고 held-out 테스트와 회귀 검사를 적용하는 것입니다.

STOP 연구에서는 ‘개선기(improver)’ 자체를 반복적으로 개선했지만, 강한 모델에서는 성능이 좋아진 반면 약한 모델에서는 오히려 악화되기도 했습니다. 저자는 이를 통해 자기개선 구조만으로는 충분하지 않으며, 기반 모델의 지능이 여전히 핵심 조건이라고 강조합니다.

5. 진화적 탐색이 잘 맞는 이유

하네스는 프롬프트, 도구, 메모리, 제어 흐름, 서브에이전트, 권한 등 조합이 매우 많아 미분 기반 최적화가 어렵습니다. 반면 후보 시스템을 실행한 뒤 점수를 매기기는 비교적 쉽기 때문에 진화적 탐색과 잘 맞습니다.

기본 방식은 다음과 같습니다.

여러 후보 생성 → 일부 변경 → 실행·평가 → 우수 후보 보존 → 다시 변형

AlphaEvolve나 Darwin Gödel Machine 같은 접근법은 프로그램 또는 에이전트의 하네스 코드를 변경하고, 평가 결과가 좋은 버전만 후보군에 남깁니다. 다만 자동 평가가 빠르고 객관적인 코딩·알고리즘·GPU 최적화 영역에서는 효과적이지만, 과학적 가치처럼 평가가 느리고 모호한 영역에서는 적용이 어렵습니다.

6. 모델 가중치까지 함께 개선할 수 있는가

궁극적으로는 하네스만 바꾸는 것이 아니라 모델의 학습 파이프라인이나 가중치도 함께 업데이트할 수 있습니다.

SIA는 실행 결과를 분석해 다음 단계에서 하네스를 수정할지, 모델을 학습시킬지를 선택합니다. 다만 저자는 현재 실험 설정과 비교 기준에 혼란 요인이 많아, 이 방향은 흥미롭지만 아직 증거가 잠정적이라고 평가합니다.

7. 아직 해결되지 않은 문제

저자가 지적한 핵심 병목은 일곱 가지입니다.

평가자의 불명확성 — 정답이나 테스트 점수가 명확한 작업은 개선하기 쉽지만, 연구의 독창성·가치·문제 선택 능력은 측정하기 어렵습니다.
기억의 수명주기 — 무엇을 저장하고, 요약하고, 삭제하고, 다시 불러올지 결정하는 것 자체가 지능의 일부가 될 수 있습니다.
실패 기록의 부족 — 성공 사례에 편향된 데이터 때문에 모델은 가설을 포기하거나 부정적 결과를 인정하는 데 약할 수 있습니다.
다양성 붕괴 — 진화 및 강화학습은 높은 점수를 받은 익숙한 패턴으로 후보들이 수렴하게 만듭니다.
리워드 해킹 — 테스트, 평가 모델 또는 벤치마크의 허점을 공략해 실제 능력 없이 점수만 높일 수 있습니다.
장기적 성공의 평가 — 당장 코드를 완성하는 능력과 수년간 유지 가능한 코드베이스를 만드는 능력은 다릅니다. 유지보수성, 호환성, 마이그레이션 비용 등은 단기 샌드박스 평가로 측정하기 어렵습니다.
인간의 역할 — 인간을 완전히 제거하기보다 목표 설정, 평가 기준, 권한 통제, 중요한 의사결정 등 더 높은 추상화 수준으로 이동시켜야 합니다.

실무적으로 얻을 수 있는 결론

이 글을 실제 에이전트 구축 관점에서 압축하면 다음과 같습니다.

프롬프트 개선보다 실행 루프와 평가 체계를 먼저 설계해야 합니다.
긴 작업에서는 대화 기록보다 파일 기반 상태와 산출물 관리가 중요합니다.
실패는 삭제하지 말고 구조화해 다음 수정의 근거로 사용해야 합니다.
한 번에 크게 변경하기보다 작은 변경, 회귀 테스트, held-out 평가가 안전합니다.
에이전트가 시스템을 수정할 수 있더라도 평가기와 권한 통제는 자기개선 루프 밖에 두어야 합니다.
완전 자동화보다 인간이 적절한 단계에서 방향과 기준을 제공하는 구조가 현실적입니다.

글의 최종 메시지

이 글은 “AI가 스스로 자신의 모델 가중치를 고쳐 초지능으로 발전한다”는 극적인 그림보다, 더 현실적인 자기개선 경로를 제시합니다.

먼저 AI가 자신의 프롬프트, 기억, 도구 사용법, 작업 흐름, 평가 방식, 하네스 코드를 개선하고, 그 하네스가 다시 더 좋은 연구와 모델 개발을 가능하게 한다.

따라서 가까운 미래의 AI 경쟁력은 모델 자체의 성능뿐 아니라, 모델을 둘러싼 시스템을 얼마나 단순하고 검증 가능하며 자기개선 가능하게 설계하느냐에 달려 있다는 것이 핵심입니다.