에이전트에게 성향을 주면 성능이 좋아질까 — 항상 그렇지는 않았다
에이전트를 Role → Trait Vector → Policy 구조로 나눠 설계하고 성능을 비교했다. Trait를 부여한다고 항상 효율이 좋아지지는 않았지만, 근거성과 환각 위험에서는 분명한 차이가 있었다.
에이전트에게 ’특성(Trait)’을 부여하면 실제로 성능이 좋아질까요? 결론부터 말씀드리면, Trait를 부여한다고 해서 항상 비용 대비 효율이 좋아지는 것은 아니었습니다. 짧고 명확한 연구 작성 과제에서는 오히려 단순 role-only 조건이 가장 높은 효율을 보였습니다.
주말에 진행한 실험 결과를 간단히 정리해 봅니다.
Role → Trait Vector → Policy
이번 실험에서는 에이전트를 단순한 역할 프롬프트로만 다루지 않고, Role → Trait Vector → Policy 구조로 나누어 설계했습니다. 즉, “무엇을 하는 에이전트인가”뿐 아니라 “어떤 성향으로 판단하고 행동하는가”까지 분리해서 본 것입니다.
효율은 아니어도, 의미 있는 차이
의미 있는 차이도 있었습니다. evidence-heavy RTP 조건은 전체 효율에서는 1위가 아니었지만, 근거성 점수가 가장 높고 환각 위험이 가장 낮았습니다. 즉, “빠르고 효율적인 답변”보다는 “근거 중심의 안정적인 답변”이 필요한 상황에서 장점이 더 뚜렷했습니다.
제가 보기에는 RTP의 핵심 가치는 “무조건 더 좋은 에이전트”를 만드는 데 있다기보다, 에이전트의 행동을 더 잘 분해하고, 조정하고, 감사할 수 있게 만드는 데 있습니다.
Role만 줄 때는 결과가 좋아도 왜 그런지 설명하기 어렵습니다. 반면 Trait와 Policy를 분리하면, 어떤 성향이 어떤 행동으로 이어졌는지 실험적으로 관찰할 수 있습니다.
그래서 이번 결과의 핵심은 이렇게 정리할 수 있을 것 같습니다.
“Trait 기반 에이전트 설계는 보편적인 효율 향상 장치라기보다, 에이전트 행동을 구성 가능하고 감사 가능하며 실험 가능한 구조로 만드는 방법입니다.”
특히 앞으로 여러 에이전트를 조합하거나, 역할별로 다른 판단 기준을 부여하거나, 환각 위험을 줄이는 방향으로 에이전트를 설계할 때 유용한 접근이 될 수 있다고 봅니다.
결과 전체 공개
- 특성 설명: https://github.com/revfactory/skills/tree/main/agent-stat
- 실험 결과: https://github.com/revfactory/rtp-agent-simulation-paper
우리는 에이전트 연구가 필요합니다. 함께 연구하실 분들은 환영입니다.