Operator — 화면을 보고 클릭하는 에이전트
OpenAI의 Operator는 API가 아니라 픽셀과 마우스로 웹을 쓴다. 사람이 브라우저를 다루는 방식을 그대로 따라가는 선택이 무엇을 바꾸는지 정리했다.
OpenAI 가 새 AI 에이전트 Operator 를 공개했다. 사용자가 웹 브라우저로 해야 할 일을 대신 해 주는 에이전트다.
여기서 중요한 것은 어떻게 하느냐다. Operator 는 API 나 프로그래밍 인터페이스를 거치지 않는다. 사람이 웹 브라우저를 쓰는 것처럼, 화면을 보고 키보드와 마우스를 제어해 명령을 수행한다. 미국 내 Pro 구독 사용자에게 먼저 나가고 점차 확대할 예정이다.
핵심 기능
웹 브라우저 사용. 클라우드 기반 웹 브라우저로 여러 사이트를 탐색하고 작업한다. API 기반과 달리 사용자가 화면을 보면서 진행 상황을 쉽게 파악할 수 있다.
인간과 유사한 인터페이스. 화면의 픽셀을 인식하고 마우스 클릭과 키보드 입력으로 작업한다.
텍스트 기반 사고 과정. 작업 수행 과정을 텍스트로 계획하고, 사용자는 그 계획을 목록으로 확인한다.
맞춤형 지시. 특정 웹사이트에서 선호하는 설정을 미리 지정할 수 있다. 예를 들어 Priceline 에서 항상 환불 가능한 요금과 무료 아침 식사를 고르게 설정할 수 있다.
작업 저장. 자주 쓰는 작업은 저장해 두었다가 다시 쓸 수 있다. 매번 같은 프롬프트를 입력하지 않아도 된다.
사용자 제어. 필요할 때 사용자에게 제어 권한을 넘겨, 로그인이나 구매 같은 민감한 작업은 사람이 직접 처리하게 한다. 사용자는 언제든 Operator 의 작업을 멈추고 직접 제어할 수 있다. 사용자가 직접 제어하는 동안 Operator 는 사용자의 행동을 볼 수 없어, 다시 제어권을 넘기기 전까지 개인 정보가 보호된다.
어떻게 도는가 — CUA
Operator 는 OpenAI 가 훈련한 새 모델 CUA(Computer Using Agent)를 기반으로 한다. CUA 는 GPT-4o 를 바탕으로, 인간이 컴퓨터를 쓰는 방식과 비슷하게 화면을 보고 마우스·키보드를 제어하도록 훈련됐다.
- 스크린샷 분석 — 화면의 스크린샷을 분석한다
- 행동 계획 — 분석 결과를 바탕으로 다음 행동을 계획한다
- 행동 수행 — 마우스 클릭과 키보드 입력으로 실행한다
- 결과 확인 — 다음 스크린샷을 분석해 앞선 행동의 결과를 확인한다
- 반복 — 이 과정을 되풀이해 작업을 끝낸다
활용 예시
- 온라인 쇼핑 — Instacart 같은 곳에서 쇼핑 목록을 인식해 자동으로 장바구니에 담는다
- 레스토랑 예약 — OpenTable 에서 특정 시간과 인원수에 맞춰 테이블을 잡는다
- 티켓 구매 — StubHub 에서 원하는 스포츠 경기 티켓을 산다
- 집 청소 서비스 예약 — Thumbtack 같은 플랫폼에서 예약한다
안전성
OpenAI 는 세 층의 안전 장치를 두었다.
- 사용자 오정렬 방지 — 유해한 작업을 요청하면 거부하고, ChatGPT 와 같은 완화 조치를 적용한다
- 에이전트 오정렬 방지 — 실수하거나 잘못된 정보를 줄 경우 사용자에게 확인을 요청해 바로잡는다
- 웹사이트 오정렬 방지 — 사기·유해 웹사이트 접속을 막기 위해 Prompt Injection Monitor 라는 별도 레이어를 두어 위험한 행동을 감지하고 중단시킨다
한계와 앞으로
Operator 는 아직 개발 초기여서 실수를 할 수 있고 완벽하지 않다. 현재 OSWorld 평가에서 38.1%, Web Arena 평가에서 58.1% 를 기록했다. 다른 공개된 결과보다는 높지만 여전히 인간의 성능에는 미치지 못한다.
OpenAI 는 곧 API 로 Operator 모델을 제공할 예정이고, 모바일 앱으로도 확장해 모바일 알림으로 진행 상황을 확인할 수 있게 할 계획이다.
앞으로 Operator 가 어떻게 발전해 나갈지 기대된다.