하네스 엔지니어링 — 15개 과제 A/B 테스트에서 60% 품질 향상

최근 Claude Code 등 LLM 기반 코드 에이전트를 실무에 도입하는 사람이 많다. 자연어만으로 작동하는 소프트웨어를 뚝딱 만들어내는 것은 탁월하지만, 막상 프로덕션 레벨에 적용하려면 컨텍스트 문제나 품질에서 아쉬움을 느끼는 경우가 많다.

이 문제를 해결하고 LLM의 진짜 성능을 끌어내고 싶다면, 반드시 ’하네스(Harness) 엔지니어링’을 사용해 보시길 권한다.

15개 과제 A/B 테스트, 60%의 품질 향상

단순한 느낌이 아니라 실증적인 데이터로 증명해 보고자 했다. 기본, 고급, 초고난이도 3단계로 구성된 15개 소프트웨어 엔지니어링 과제를 대상으로 A/B 테스트를 수행한 결과, 하네스(구조화된 사전 구성 프레임워크)를 적용했을 때 평균 산출물 품질 점수가 49.5점에서 79.3점으로 60% 향상됐다.

과제가 어려울수록 진가가 드러난다

실험에서 발견한 가장 중요한 사실은 과제의 난이도가 올라갈수록 품질의 격차가 더 크게 벌어진다는 점이다.

기본 과제: +23.8점 향상
고급 과제: +29.6점 향상
초고난이도 과제: +36.2점 향상 (개선 폭 52% 증가)

즉, LLM 코드 에이전트가 복잡한 프로젝트에서 한계를 보이는 것은 지식이나 추론 능력이 부족해서가 아니다. 숙련된 엔지니어가 프로젝트를 시작할 때 암묵적으로 설정하는 ’구조적 가이던스(아키텍처 패턴, 품질 기대치 등)의 부재’가 진짜 병목이었다.

실험 자체도 하네스 위에서 돌았다

이 전체 A/B 실험을 수행하고 논문을 작성하는 모든 과정 역시 하네스 위에서 진행됐으며, 단 2시간 정도밖에 걸리지 않았다.

엔지니어링 리더가 새로운 팀원에게 코딩을 시작하기 전 청사진과 기대치를 브리핑하듯, LLM에게도 명확한 ’하네스’를 채워주면 된다. AI 보조 개발의 산출물 퀄리티와 생산성이 전혀 다른 차원으로 달라진다.

arXiv에 영문 버전을 올리고 싶은데, 추천해주실 분이 있을지 궁금하다. https://arxiv.org/auth/endorse?x=WF8PU3