기술은 보았지만 인간은 보지 못했다

<<AI 위험 담론의 맹점: 기술은 보았지만 인간은 보지 못했다>>

인공지능(AI)의 위험을 둘러싼 논의는 이제 익숙하다. 편향, 차별, 환각, 안전성 문제는 거의 모든 AI 윤리 담론의 단골 소재다. 그러나 정작 현실 세계에서 가장 빈번하게 발생하는 AI 피해는 무엇일까? 최근 발표된 한 연구는 이 질문에 대해 불편하지만 중요한 답을 내놓는다. 현실에서 가장 흔한 AI 피해는 ‘사기와 조작’이며, 이는 개발자와 연구자 모두가 체계적으로 간과해 온 영역이라는 것이다. 스위스 로잔대와 옥스퍼드대, 노키아 벨랩스 연구진이 발표한 이 논문은, 지금까지 AI 위험 논의가 어디에 집중되어 있었고 무엇을 놓치고 있었는지를 데이터로 드러내고 있다.

46만 개 모델 카드가 말해준 것

연구진은 Hugging Face에 공개된 약 46만 개의 AI 모델 카드를 분석했다. 모델 카드는 AI 개발자가 자신의 모델을 설명하면서, 편향이나 한계, 위험 요소를 기술하도록 설계된 문서를 말한다. 이 가운데 위험 관련 내용을 실제로 담고 있는 모델 카드는 극히 일부였고, 그 안에서 연구진은 약 3,000건의 고유한 위험 진술을 추출해 소위 ‘AI 모델 위험 카탈로그(AI Model Risk Catalog)’를 구축했다.

이 카탈로그는 다시 두 개의 대표적 데이터셋과 비교 분석되었다. 하나는 연구자들이 이론적으로 정리한 MIT AI Risk Repository이고, 다른 하나는 언론 보도를 기반으로 실제 피해 사례를 수집한 AI Incident Database다. 즉, 이 연구는 ‘개발자 인식–연구자 담론–현실 피해’라는 세 층위를 정면으로 비교한 드문 시도라고 하겠다.

개발자·연구자·현실 사이의 엇갈린 시선

분석 결과는 명확했다. AI 개발자들은 대체로 편향, 독성, 성능 저하, 환각 등 기술 내부의 문제에 주로 집중하고 있었다. 이는 그들의 일상적 개발·테스트 경험을 반영한 결과다. 반면에 AI 연구자들은 거버넌스 실패, 인간 자율성 침해, 사회·경제적 영향과 같은 구조적이고 장기적인 위험을 강조했다.

문제는 이 두 시선 모두 현실에서 가장 자주 발생하는 피해 유형과는 어긋나 있었다는 점이다. 실제 AI 사고 데이터베이스를 보면, 가장 큰 비중을 차지하는 것은 사기, 딥페이크, 허위정보, 표적 조작과 같은 악성 사용과 사회공학적 공격이다. 다시 말해, 피해는 모델 그 자체보다 AI를 매개로 한 인간 간 상호작용에서 폭발적으로 발생하고 있었던 것이다. 그런데 이 영역은 개발자도, 연구자도 모두 충분히 다루지 않았다. 연구진은 이를 두고 “전문가 집단의 공통된 맹점(blind spot)”이라고 지적한다.

왜 가장 흔한 피해를 놓쳤을까

논문은 그 이유를 AI 위험을 바라보는 기존 프레임에서 찾는다. 지금까지의 AI 안전 논의는 주로 “모델이 무엇을 잘못할 수 있는가”에 초점을 맞춰 왔다는 것이다. 그러나 사기와 조작은 모델의 오류라기보다, 의도적인 인간 행위와 신뢰의 오용에서 발생하는 것이다. 이런 위험은 기술적 테스트만으로는 포착하기 어렵고, 사회적 맥락과 사용 시나리오를 함께 고려해야 드러난다.

연구진은 특히 모델 카드의 위험 서술 방식에도 문제를 제기한다. 많은 위험 설명이 추상적이고 반복적이며, “어떤 상황에서, 누가, 어떤 방식으로 피해를 입는지”가 명확하지 않다는 것이다. 그 결과 위험 보고는 실제 설계나 정책 결정에 활용되기보다, 일종의 면책 문구에 그치는 경우가 많다.

AI 안전 논의의 중심을 바꿔야 할 때

이 연구가 던지는 메시지는 분명하다. AI 안전과 보안의 중심을 ‘모델 내부의 결함’에서 ‘인간 상호작용과 악용 시나리오’로 이동시켜야 한다는 것이다. 사기, 조작, 딥페이크, 사회공학 공격은 부차적인 문제가 아니라, 이미 가장 현실적인 AI 위험이기 때문이다.

정책적으로도 이같은 연구는 중요한 함의를 갖는다. AI 위험 보고는 선언적 문장이 아니라, 구조화된 보안 산출물(structured security artifact)이 되어야 한다. 어떤 맥락에서, 어떤 행위자가, 누구에게, 어떤 피해를 줄 수 있는지를 명시하는 방식이 필요하다는 것이다. 또한 AI는 더 이상 윤리 논의의 대상에 머무를 것이 아니라, 침해 가능한 소프트웨어(compromisable software)이자 보안 객체(security object)로 다뤄져야 한다는 점도 분명해진다. 즉 이제 AI 문제는 이제 도덕이나 철학의 영역만이 아니라 보안과 안전의 영역으로 넘어왔다는 것이다.

기술 문제가 아니라 사회 문제

무엇보다 이 논문은 한 가지 불편한 진실을 드러낸다. AI 위험은 전문가 내부의 합의만으로는 포착되지 않는다는 점이다. 실제 피해는 기술의 경계를 넘어 사회, 심리, 제도의 영역에서 발생한다. 따라서 AI 안전 거버넌스에는 개발자와 연구자뿐 아니라, 시민사회, 언론, 피해자, 규제기관이 함께 참여해야 한다. AI가 일상 깊숙이 스며든 지금, 위험 역시 더 이상 추상적인 미래의 문제가 아니다. 이 연구는 우리에게 묻는다. 우리는 AI의 어떤 위험을 보고 있고, 어떤 위험을 애써 보지 않으려 하고 있는가.

*출처: Pooja S. B. Rao et al.(2025), “The AI Model Risk Catalog: What Developers and Researchers Miss About Real-World AI Harms,”. https://arxiv.org/pdf/2508.16672