AI 보안, 모델을 넘어 행위자로

<<모델을 넘어 행위자로: AI 보안의 패러다임 전환과 국가의 귀환>>

제17차 보안TF회의. 오늘 회의를 통해 느낀 점. 몰트북, 오픈클로 사례에서 보듯 최근 한두 달 사이 에이전트 AI와 피지컬 AI의 확산이 가속화되면서, AI의 ‘행위자화(agentification)’는 질적 전환 국면에 들어섰다. 이 단계에서는 LLM 등 모델 중심의 취약점 관리나 기업 자율 규제에만 의존하는 기존 접근이 구조적 한계에 도달했음이 드러난다. AI가 단순한 생성 도구를 넘어 외부 API 호출, 인프라 제어, 물리 시스템 작동까지 수행하는 자율적 실행 주체로 진화할수록, 위험의 성격 또한 변하기 때문이다. 이는 더 이상 개별 기업의 제품 안전 문제에 머무르지 않고, 시스템 리스크(systemic risk)와 공공 안전(public safety)의 문제로 확장된다. 특히 고위험 환경에서 권한이 위임된 에이전트가 독자적 판단과 실행을 수행하는 구조에서는, 실패나 오작동이 네트워크 전반으로 증폭될 수 있다. 따라서 에이전틱 AI 단계의 보안은 시장 내부의 자율 통제만으로 충분하지 않다. 권한 통제(authorization control), 행위 감사(activity audit), 고위험 영역의 사전 관리와 같은 제도적 장치가 필수적이며, 이는 공적 개입의 정당성과 필요성을 동시에 제기한다. AI 환경이 고도화될수록 국가는 단순한 시장 보완자가 아니라, 시스템 리스크를 조정하는 전략적 조절국가(Strategic Regulatory State)로 재등장한다.

이러한 흐름은 AI 정치학과 AI 민주주의에 대한 사회과학적 논의를 더욱 긴요하게 만든다. AI가 자율적 행위자로 진화할수록, 국가는 생태계의 지원자나 생산자에 머무르지 않는다. 오히려 그 행위 권한의 설계자이자 조정자로서, 기술과 권력의 접점을 관리하는 핵심 주체로 다시 전면에 서게 된다.