결국 결정하는 자가 바뀌고 있다

오늘은 회의 등 일정만 6개인 빡센 날이다. 조금 전 세 번째 회의는 AI정책 난제에 대한 해법을 다루는 자문회의인데, 주어진 질문의 틀을 벗어나 인간의 상상력이 적극 개입되어야 하는 난제 하나를 제시했다.

지금까지 우리가 다룬 여섯 개의 AI 정책난제—데이터 확보, 글로벌 경쟁, 지속가능성, 인간성 보호, 블랙박스 안정성, AI 격차—가 모두 ‘현재형 난제’라면, 우리가 정말 두려워해야 할 ‘미래형 난제’는 무엇인가? 답은 의외로 가까이 있다. 이른바 “AI로의 권한 이양(Governance Delegation), 그리고 우리가 잃어버릴 것들”에 관한 것이다. 결국 결정하는 자가 바뀌고 있다는 뜻이다.

AI는 이미 도구가 아니다

일부 기업에서 AI는 인사를 평가하고, 행정조직에서는 예산을 배분하며, 사법 시스템에서는 범죄를 예측한다. 정책 책임자는 그 판단을 ‘승인’만 한다. 우리는 이것을 효율이라 부르고, 혁신이라 칭한다. 그러나 이 순간, 의사결정의 주체가 조용히 이동하고 있다. 인간에서 시스템으로.

문제는 기술의 오류가 아니다. 문제는 우리 사회의 모든 제도가 ‘결정하는 자는 인간’이라는 전제 위에 세워져 있다는 것이다. 의도, 책임, 처벌—이 삼각형의 한 꼭짓점이 무너지면 나머지도 의미를 잃는다. AI가 판단할 때, 누가 의도했는가? 누가 책임지는가? 누구를 물을 것인가?

통제의 환상, 그리고 민주주의의 침식

더 깊은 문제는 통제의 환상이다. AI가 국가안보를 판단하고, 재난대응을 결정하고, 정책의 우선순위를 제안할 때, 인간의 감독은 점점 형식이 된다. 결국 ‘AI가 AI를 통제’하는 자기참조 구조가 만들어진다.

그리고 민주주의는 조용히 침식된다. 데이터 기반 알고리즘은 ‘시민의 의사’보다 ‘최적의 효율’을 우선한다. 정책은 더 이상 가장 공감 가능한 결정이 아니라, 가장 계산 가능한 결정이 된다. 참여는 데이터 입력으로 대체되고, 숙의는 연산 과정 속으로 사라진다.

이것은 기술통제의 문제가 아니다. 이것은 “인간 중심의 거버넌스를 어디까지 유지할 수 있는가”라는 문명적 질문이다.

‘AI 권한 이양’은 경제적 효율성과 사회적 정당성의 충돌을 예고한다. 기술은 빠르고 정확하지만, 정당성은 느리고 복잡하다. 우리는 무엇을 선택할 것인가. 아니, 무엇을 포기할 것인가.

새로운 상상력이 필요하다

해법은 기존 제도의 보완이 아니다. 우리는 새로운 상상력이 필요하다.

첫째, AI가 판단해서는 안 되는 영역을 헌법에 명시해야 한다. 인간 존엄성, 생명, 사법 판단, 군사력 사용—이것들은 효율의 대상이 아니다.

둘째, AI와 인간의 공동결정 모델(Co-decision)을 실험해야 한다. AI가 제안하고, 시민이 숙의하는 구조. 정책은 알고리즘이 만들지만, 정당성은 인간이 부여하는 시스템.

셋째, AI 윤리감사위원회(AI Ethics Audit Board)가 필요하다. 알고리즘 결정의 과정과 결과를 평가하고, 정당성을 심판하는 제도적 기구.

넷째, 인간과 기계 사이의 새로운 사회계약(Social Contract 2.0)이 필요하다. 데이터를 제공하고 AI 결정을 수용하는 대가로, 인간은 무엇을 보장받는가. 이것을 명문화해야 한다.

우리는 인간의 미래를 설계하고 있다

오늘 회의에서 제안한 이 정책 난제는 AI 윤리나 블랙박스 문제의 연장선이 아니다. 이것은 AI와 인간이 함께 통치하는 시대의 헌법적 난제다. 효율과 정당성, 속도와 신중함, 계산과 공감—이 사이에서 우리는 무엇을 지킬 것인가.

회의를 마치고 나오면서 생각했다. 우리는 지금 기술의 미래가 아니라, 인간의 미래를 설계하고 있다고.