AI 안전은 선언이 아니라 책임이다

<<AI 안전은 선언이 아니라 책임이다>>

지난해말 앤트로픽(Anthropic)이 하나의 문서를 공개했다. 화려한 신제품 발표도, 성능 지표 경쟁도 아니었다. 대신 이 회사는 ‘프런티어 컴플라이언스 프레임워크(Frontier Compliance Framework, FCF)’라는 다소 건조한 이름의 문서를 내놓았다. 그러나 이 문서는 지금 글로벌 AI 산업이 어디로 가고 있는지를 가장 선명하게 보여주는 신호탄에 가깝다.

FCF는 단순한 안전 보고서가 아니다. 이는 캘리포니아의 SB-53(프런티어 AI 투명성법)과 EU의 AI Act(GPAI 실무 강령)에 대응하기 위해 작성된, 말 그대로 법적 컴플라이언스 산출물이다. 다시 말해 “우리는 안전을 중요하게 생각한다”는 선언이 아니라, “우리는 어떤 위험을 어떻게 관리하고 있으며, 그 책임을 어디까지 질 것인가”를 외부에 설명하는 문서다. 바로 이 지점에서 앤트로픽은 분명히 다른 길을 택하고 있는 것으로 보인다.

‘자발적 윤리’와 ‘의무적 책임’을 구분하다

앤트로픽은 이미 2023년부터 RSP(Responsible Scaling Policy)라는 내부 안전 정책을 운영해 왔다. 이른바 ‘재앙적 위험(catastrophic risk)’을 중심에 둔 이 정책은 업계에서도 비교적 강도 높은 안전 기준으로 평가받아 왔다. 그러나 FCF에서 앤트로픽은 중요한 선을 하나 긋는다. 즉 RSP는 ‘자발적(best practice) 내부 정책’이고, FCF는 ‘법적 의무를 이행하기 위한 책임 문서’라는 점을 명확히 구분한 것이다.

이는 단순한 문서 구분이 아니다. “윤리적 기업이 되겠다”는 약속과, “법과 사회 앞에서 설명 가능한 책임을 지겠다”는 선언은 전혀 다른 차원의 이야기이기 때문이다. 앤트로픽은 프런티어 AI 기업 가운데 처음으로 이 둘을 공식적으로 분리했다. 그 순간 AI 윤리 담론은 이상론의 영역을 벗어나 책임의 구조로 진입하게 된다.

AI 위험을 ‘논쟁’이 아니라 ‘관리 대상’으로 만들다

이 문서에 의하면 FCF가 정의하는 위험 범주는 크게 네 가지다. 사이버 공격, CBRN(화학·생물·방사능·핵) 위협, 유해한 조작, 그리고 사보타주 및 통제 상실. 이 목록은 이미 국제사회에서 반복적으로 논의돼 온 위험들이지만, 앤트로픽의 접근은 다르다.

이 문서에서 위험은 더 이상 추상적 우려가 아니다. 각 위험은 등급(tier)으로 나뉘고, 등급별로 허용 가능성, 추가 완화 조치, 배포 제한 또는 중단 기준이 명시된다. 이는 곧 “이 수준에 도달하면 무엇을 해야 하는가”를 사전에 공개했다는 의미다. 다시 말해, ‘멈춰야 할 지점’을 문서로 고정한 것이다. AI 기업들이 가장 회피해 온 질문, 즉 “누가, 언제, 어떤 기준으로 멈추는가”에 대해 앤트로픽은 불완전하더라도 답을 내놓은 것이다.

기술 문제가 아니라 ‘조직 책임’의 문제로

FCF의 후반부는 기술 설명보다 조직 구조에 집중한다. 모델 웨이트 보호, 접근 통제, 사고 식별과 보고 체계, 내부 고발 채널, 외부 전문가 의견 수렴, 법적 책임 주체의 명시, 프레임워크 업데이트와 공개 절차까지. 이는 AI 안전을 더 이상 엔지니어링 문제로만 다루지 않겠다는 선언에 가깝다.

AI 사고는 이제 “예상치 못한 기술적 실패”가 아니라, ‘관리 실패와 책임 회피의 문제’로 재정의된다. 그 책임은 개발자 개인이 아니라, 기업의 거버넌스와 의사결정 구조로 귀속된다. 이 점에서 FCF는 AI를 윤리적 실험 대상이 아니라 ‘고위험 사회 인프라’로 다루기 시작했음을 보여준다.

경쟁의 시대, 자발적 안전은 충분하지 않다

앤트로픽이 FCF를 통해 던진 가장 정치적인 메시지는 따로 있다. 바로 자발적 안전은 언제든 철회될 수 있다는 전제다. AI 경쟁이 격화되고, 성능·속도·시장 점유율 압박이 커질수록, 기업의 선의에 기대는 안전 약속은 흔들릴 수 있다는 것이다. FCF는 바로 이 지점을 봉인한다. 이미 해오던 투명성 관행을 법적 의무로 고정하고, 허위 공시나 은폐, 내부 고발자 탄압을 법 위반의 영역으로 끌어들이는 것이다. 즉 AI 기업의 사회적 책임이 단순한 선의(goodwill)가 아니라 ‘주의의무(duty of care)’가 되는 순간이다.

‘더 느리지만 다른 길’을 선택한 기업

오늘날 글로벌 AI 산업은 대체로 성능과 확장을 중심으로 움직인다. 안전과 윤리는 종종 부가적 요소로 취급된다. 그런데 그러한 흐름 속에서 앤트로픽은 일관되게 다른 언어를 사용해 왔다. “책임 있는 확장”, “재앙적 위험”, “통제 상실”, 그리고 이제는 “컴플라이언스”. FCF는 앤트포릭의 철학을 가장 노골적으로 드러낸 문서라고 하겠다. 윤리를 말하되, 선언에 머무르지 않고 문서로 남긴다. 안전을 강조하되, 자발성에 기대지 않고 법과 책임의 언어로 번역하는 것이다. 이는 더 빠른 기업, 더 공격적인 기업과는 다른 선택이라 하겠다. 그러나 AI가 사회의 핵심 인프라로 편입될수록, 결국 남는 질문은 하나다. “누가 책임지는가. 그리고 그 책임은 어디에 기록돼 있는가?”. 앤트로픽의 FCF는 그 질문에 대한 하나의 분명한 답변이다. AI 안전의 시대는 끝났다. 이제는 AI 책임의 시대다.

*출처: https://trust.anthropic.com/resources?s=eorilovp4wxk38nxbi7k3