Skill Creator의 진화 — 작은 도구 업데이트가 아니었다

“오늘날의 LLM은 똑똑합니다.”

Anthropic의 Skill Creator의 SKILL.md에 있는 문구다.

나는 최근 하네스 구성을 자동으로 해주는 Harness Skill을 깎아내면서, 스킬이 좀 더 고도화되면 좋을 텐데 하고 고민하던 차였다. 그러다 2주 전 Anthropic이 공개한 Skill Creator 업데이트 내용을 살펴보았다. (Skill Creator는 AI에게 새로운 능력을 가르치는 도구다.)

그 결과, Skill Creator의 진화는 작은 도구의 업데이트처럼 보이지만 사실은 AI 산업 전체가 향하는 방향의 축소판이라는 것을 알게 되었다.

v1에서 v2로의 변화를 관통하는 문장이 하나 있다면 이것이다.

“사람이 AI를 사용하는 도구”에서 “AI가 스스로를 개선하되, 사람이 방향을 결정하는 시스템”으로.

어떤 변화들이 있었는지 살펴본다.

1. 매뉴얼을 버리고 실험실을 차렸다

v1은 교과서였다. “스킬을 이렇게 쓰세요”라는 가이드라인이 잘 정리되어 있었고, 템플릿 생성기로 빈 껍데기를 만들어주고, 사람이 내용을 채우고, 검증하고, 패키징하는 순서를 따랐다.

v2는 실험실이 되었다. 스킬을 작성하는 것까지는 같지만, 그 다음이 완전히 다르다. AI가 자동으로 테스트를 만들고, 여러 버전을 병렬로 돌려보고, 결과를 채점하고, 통계를 내고, 시각화해서 사람에게 보여준다. 사람이 “이건 좋고, 저건 별로야”라고 피드백하면, AI가 그걸 반영해서 스킬을 고치고 다시 테스트한다. 이 루프를 사람이 만족할 때까지 반복한다.

2. Claude가 Claude를 가르친다

v2에서 가장 눈에 띄는 건 description 자동 최적화 기능이다. 스킬의 description이란 일종의 간판이다. 사용자가 무언가를 요청했을 때, Claude가 “이 스킬을 쓸까 말까”를 판단하는 기준이 된다. 간판이 애매하면 필요할 때 안 쓰고, 너무 넓으면 필요 없을 때도 쓴다.

v1에서는 사람이 이 간판을 직접 썼다. “잘 써보세요”라는 가이드와 함께.

v2에서는 이렇게 바뀌었다. 먼저 “이런 질문이 들어오면 이 스킬이 작동해야 한다”는 테스트 케이스 20개를 만든다. 그중 12개로 훈련하고 8개로 검증한다.

3. 혼자 똑똑한 AI보다 팀으로 움직이는 AI

v1에는 에이전트라는 개념 자체가 없었다. 하나의 Claude가 모든 걸 했다. v2에는 세 명의 전문가가 등장한다.

• 채점관(Grader) 은 테스트 결과를 보고 합격·불합격을 판정한다. 단순히 “맞다/틀리다”만 보는 게 아니라, “이 테스트 자체가 허술한 건 아닌지”까지 비평한다.
• 비교관(Comparator) 은 블라인드 테스트를 수행한다. 두 개의 결과물을 A와 B로만 표시하고, 어떤 스킬이 만든 건지 모르는 상태에서 품질을 비교한다.
• 분석관(Analyzer) 은 여러 차례의 벤치마크 결과에서 패턴을 찾는다.

AI도 하나의 만능 모델에서 역할이 분리된 전문가 에이전트의 협업으로 넘어가고 있다.

4. 사람의 자리가 바뀌고 있다

v1에서 사람의 역할은 이랬다. 가이드를 읽는다. 계획을 세운다. 스킬을 작성한다. 테스트한다. 고친다. 모든 단계의 주어가 “사람”이다.

v2에서는 이렇게 바뀌었다. AI가 작성한다. AI가 테스트를 돌린다. AI가 결과를 브라우저에 띄워준다. 사람이 결과를 보고 피드백한다. AI가 피드백을 반영해서 고친다. 사람이 개입하는 지점은 딱 하나, 판단이다.

이걸 업계에서는 “Human-in-the-Loop”에서 “Human-on-the-Loop”로의 전환이라고 부른다. 루프 안에서 매 단계마다 일하던 사람이, 루프 위에서 감독하는 위치로 올라간 것이다. AI가 먼저 달리고, 사람은 방향이 맞는지 확인하고, 필요하면 조정한다.

테스트 결과를 테이블이나 JSON으로 던지는 게 아니라, 브라우저에서 깔끔하게 시각화하고, 이전 버전과 나란히 비교할 수 있게 하고, 각 결과에 피드백을 쓸 수 있는 텍스트 박스를 달아놓았다. 사람이 가장 효율적으로 판단을 내릴 수 있도록 환경을 만들어주는 것이다.

5. “ALWAYS”라고 소리치지 말고, 이유를 설명하라

v1의 스킬 작성 가이드에는 이런 문장들이 있었다. “ALWAYS use imperative form.” “Keep under 500 lines.” 명확하고 단호한 규칙이다. AI에게 이렇게 하라, 저렇게 하지 마라고 지시하는 방식이다.

v2는 정반대의 철학을 제시한다. SKILL.md에 이런 문장이 있다.

“ALWAYS나 NEVER 같은 대문자로 쓴 지시를 자꾸 쓰고 있다면, 그건 경고 신호입니다. 가능하다면 그렇게 해야 하는 이유를 설명해서, 모델이 왜 그게 중요한지 이해하게 하세요. 그게 더 인간적이고, 강력하고, 효과적인 접근입니다.”

그리고 바로 뒤에 이 문장이 온다.

“오늘날의 LLM은 똑똑합니다. 좋은 맥락이 주어지면 기계적인 지시를 넘어서 정말로 일을 해냅니다.”

이건 단순한 작문 스타일의 변화가 아니다. Anthropic이 자사 모델에 대한 자신감을 드러내는 것이다. v1 시점에는 “구체적 규칙이 없으면 Claude가 헤맬 수 있다”고 봤다면, v2 시점에는 “이유를 이해하면 Claude가 스스로 최적의 방법을 찾는다”고 보는 것이다.

이 전환은 프롬프트 엔지니어링 전체에 대한 청사진이기도 하다. 지금은 “이 단어를 넣으면 잘 되더라”식의 기법이 공유되지만, 모델이 계속 똑똑해지면 그런 트릭은 의미가 없어진다. 대신 “무엇을 왜 원하는지”를 명확하게 전달하는 능력이 중요해진다. 그리고 궁극적으로는 프롬프트조차 필요 없어지고, 평가 기준만 정의하면 AI가 알아서 최적의 프롬프트를 찾는 시대가 온다. v2의 description 최적화 기능이 바로 그 미래의 프로토타입이다.