하네스 엔지니어링 — 15개 과제 A/B 테스트에서 60% 품질 향상
느낌이 아니라 데이터로 확인하고 싶었다. 3단계 난이도의 15개 소프트웨어 엔지니어링 과제로 A/B 테스트를 돌리자 평균 품질 점수가 49.5점에서 79.3점으로 올랐다.
시리즈
하네스 엔지니어링
이어서 읽도록 쓴 글이다. 오래된 것부터 놓았다.
5개 에이전트, 4시간, 613쪽
5개의 AI 에이전트가 4시간 만에 613페이지짜리 대학생용 핸즈온 가이드를 만들었다. 20챕터, 97만 글자, 실증 사례 225건이다.
Skill Creator의 진화 — 작은 도구 업데이트가 아니었다
하네스 구성을 자동화하는 스킬을 깎던 차에 Anthropic이 업데이트한 Skill Creator를 살펴봤다. v1에서 v2로의 변화는 작은 도구 업데이트처럼 보이지만 산업 전체가 향하는 방향의 축소판이었다.
100가지 실전 하네스 — 에이전트 489개, 스킬 315개
100가지 실전 하네스를 만들었다. 에이전트 489개, 스킬 315개가 100개 도메인에 걸쳐 있다.
Harness 플러그인 공개 — "하네스 구성해줘" 한마디면
Harness: Agent Team & Skill 플러그인을 공개한다. "하네스 구성해줘" 한마디면 도메인에 맞는 전문 에이전트 팀이 자동 생성된다.
하네스를 깎던 3월 — 공개 전까지의 기록
메타 하네스 스킬을 GitHub 에 공개하기까지 한 달 동안 매일 무엇을 깎았는지가 짧은 글로 남아 있다. 공식 Skill Creator 를 보고 초라해진 날과 이틀 만에 스타가 몰린 날이 같은 달 안에 있다.
하네스 엔지니어링에 대한 오해
하네스 엔지니어링에 대한 관심이 높아지면서 그 실체를 제각각 다르게 받아들이는 혼란이 생기고 있다. 자주 마주치는 세 가지 오해를 짚는다.
PM이 혼자 다 떠안으면 — 싱글 세션이 무너지는 이유
PM이 기획, 개발, QA, 문서화를 모두 혼자 떠안으면 어떻게 될까. Claude Code의 싱글 세션이 정확히 그 상태다.
하네스는 대화 기술이 아니라 환경 설정이다 — 직접 해보는 A/B
하네스는 "한 번의 대화를 잘 굴리는 기술"이 아니라 "작업 환경 자체를 미리 세팅해두는 기술"이다. 아무것도 추가 설치하지 않은 Claude Code로 직접 해볼 수 있는 비교 절차를 공유한다.
말을 감싼 것들
기원전 3500년, 한 유목민이 말의 목에 끈을 묶었다. 그날 달라진 것은 말이 아니라 말을 감싼 것이었다. LLM 앞에서 우리가 하는 일도 같다.
Harness는 Harness로 관리하고 있습니다
공개 전에 한 가지 실험을 먼저 했다. "Harness 자신으로, Harness의 런치 마케팅 전략을 설계해보자." 그때 에이전트 팀이 만들어낸 실전 마케팅 문서를 공개한다.