AI기본법 하위법령, 보안 사각지대를 메워야
과기정통부 AI기본법 하위법령 설명회에 보안TF로 참석한 뒤 보안 관점의 의견을 정리한 글. 안전성 의무 대상 현실화, 사고 보고 의무화와 정보공유, 구체적 보안 통제 명문화와 상호인정 확대를 제안했다.
오늘도 이른 아침 회의였다. 과학기술정보통신부의 AI기본법 하위법령 설명회가 있다기에, 보안TF 소속으로서 꼭 전하고 싶은 의견이 있어 참석했다. 하지만 시간 제약 탓에 충분한 논의는 하지 못했다. 아쉬운 마음에 보안의 관점에서 여기 몇 가지 의견을 덧붙여본다.
먼저 ’필요최소한의 규제’와 ’유연한 운용’이라는 하위법령의 제정 방향에는 전적으로 공감한다. 하지만 보안 TF 관점에서 보면, 현재의 시행령과 고시안은 현실의 AI 보안 위협을 다루기엔 명백한 한계가 있다. 나의 핵심 문제 제기는 이것이다. 지금의 AI기본법 상의 AI 안전성 기준으로는 AI 모델·서비스·인프라 전반의 보안 수준을 실질적으로 높이기 어렵다는 것이다.
첫째, 안전성 확보 의무 대상을 현실화하자
현행안은 안전성 확보 의무 대상을 10²⁶ FLOPs 이상의 초고성능 AI로만 한정하고 있다. 이는 너무 좁은 범위다. 연산량(FLOPs) 단일 기준만으로는 AI의 실제 위험도를 판단하기 어렵다. 더구나 10대 핵심 영역에 포함되지 않는 중소규모 물류 AI, 스마트팩토리 AI, 크고 작은 제조특화 AI 등 대다수 AI가 규제 밖에 놓인다. 그만큼 AI 보안 사각지대가 광범위해진다는 얘기다.
최근 데이터 오염, 프롬프트 주입, 모델 유출 등 이미 발생하고 있는 보안 위협을 제도적으로 다룰 여지도 없어진다. AI 안전성 기준에 연산량 외에 ‘AI의 실제 능력’, ‘배치 맥락’, ‘잠재적 영향 범위’ 등 다층 기준을 종합적으로 고려할 수는 없을까? 그리고 모든 AI 사업자에게 적용되는 최소 통제 기준, 즉 ‘AI 보안 기본의무’ 조항을 신설할 수는 없을까?
둘째, 보안사고 보고를 의무화하고 정보공유체계를 구축하자
현행 고성능 AI의 중대한 사고발생에 대한 ‘7일 이내 사고 제출’ 규정은 실시간 보안 대응에 턱없이 부족하다. 최근 잇따른 해킹사고가 보여주듯, 신속한 신고와 대응의 중요성은 날로 커지고 있다. 그런데 7일이 신속한 사고대응 주기로 과연 적절할까? 이는 초기 대응 골든타임을 놓치는 기간이다.
또한 프롬프트 주입, 데이터 중독, 모델 탈취 등 산업 전반의 AI 보안사고를 신속히 공유하고 공동 대응하는 체계가 사실상 없다. 망법 등 타법 개정사안이라 그런 것일까? 하지만 EU의 GPAI 실무규범은 이미 수명주기 기반 안전·보안 프레임워크, 사고보고, 레드팀 테스트, 사이버보안 등을 포함한 통합 체계 운영을 내세우고 있다. AI보안에 관한 한 우리와의 규범 격차가 보인다. 그리고 사이버복원력 관점에서 보안 연구자와 기업 간 협력을 통한 사전 예방 체계 구축도 필요한데, 그런 의미에서 ‘선의의 취약점 공개(VDP)’ 제도 도입도 적극 검토해볼 만하지 않을까?
셋째, 구체적 보안 통제를 명문화하고 상호인정을 확대하자
현행 고영향 AI 사업자 책무(위험관리, 설명 등)가 지나치게 추상적이다. 기업 입장에서는 예측가능성이 낮고 중복 규제 부담이 클 수밖에 없다. 솔직히 ‘위험관리 방안 수립’ 같은 모호하고 포괄적인 규정만으로는 구체적 준수 사항을 알기 어렵다. 게다가 ISMS, 전자금융법, 클라우드 보안 인증 등 기존 규제와 AI기본법상 의무를 이중으로 감사받을 가능성이 높다. 현재 ’사업자 책무’에만 한정된 타 법령 이행 간주 조항으로는 규제 부담 완화가 불충분할 수 있다.
따라서 ’최소 보안 통제 체크리스트’를 고시에 명시해 기업이 실제로 무엇을 준비해야 하는지 명확히 제시했으면 한다. 또한 (최근 해킹사고로 인해) 보다 강화될(?) ISMS, ISMS-P 등 타 법령 준수 시, ‘안전성 확보 의무’(법 제32조)까지 면제(상호인정)를 확대하여 중복 규제 부담을 해소하는 방안도 검토했으면 한다.
그 현실이 생각보다 빨리 온다면
하위법령에는 AI위험을 기술적으로 예측가능한 범위로만 한정한다고 명시하고 있다. 그러나 AI위험과 AI보안위협의 복잡성과 통제불가능성을 고려하면 쉽지 않을 것 같다. 물론 과기정통부의 입장도 이해한다. AI 보안사고의 위험이 아직 충분히 현실화되지 않았기에, ’예측’만으로 입법에 반영하기 어렵다는 현실론 말이다.
하지만 질문을 바꿔보자. 그 현실이 생각보다 빨리 온다면? 엄청난 파괴적 피해가 우리를 덮친다면? 그때는 어떻게 할 것인가?
보안은 사후 대응이 아닌 사전 예방이 핵심이다. AI 시대의 보안 사각지대를 지금 메우지 않으면, 우리는 값비싼 대가를 치를 수밖에 없다. AI기본법 하위법령이 단순한 원칙 선언을 넘어, 실효성 있는 보안 체계의 기반이 되길 기대한다.
원문 보기
<<AI기본법 하위법령, AI 시대의 보안 사각지대를 메워야 한다>>
오늘도 이른 아침 회의였다. 과학기술정보통신부의 AI기본법 하위법령 설명회가 있다기에, 보안TF 소속으로서 꼭 전하고 싶은 의견이 있어 참석했다. 하지만 시간 제약 탓에 충분한 논의는 하지 못했다. 아쉬운 마음에 보안의 관점에서 여기 몇가지 의견을 덧붙여본다.
먼저 ’필요최소한의 규제’와 ’유연한 운용’이라는 하위법령의 제정 방향에는 전적으로 공감한다. 하지만 보안 TF 관점에서 보면, 현재의 시행령과 고시안은 현실의 AI 보안 위협을 다루기엔 명백한 한계가 있다. 나의 핵심 문제 제기는 이것이다. 지금의 AI기본법 상의 AI 안전성 기준으로는 AI 모델·서비스·인프라 전반의 보안 수준을 실질적으로 높이기 어렵다는 것이다.
첫째, AI 안전성 확보 의무 대상을 현실화하자.
현행안은 안전성 확보 의무 대상을 10²⁶ FLOPs 이상의 초고성능 AI로만 한정하고 있다. 이는 너무 좁은 범위다. 연산량(FLOPs) 단일 기준만으로는 AI의 실제 위험도를 판단하기 어렵다. 더구나 10대 핵심 영역에 포함되지 않는 중소규모 물류 AI, 스마트팩토리 AI, 크고 작은 제조특화 AI 등 대다수 AI가 규제 밖에 놓인다. 그만큼 AI 보안 사각지대가 광범위해진다는 얘기다. 최근 데이터 오염, 프롬프트 주입, 모델 유출 등 이미 발생하고 있는 보안 위협을 제도적으로 다룰 여지도 없어진다. AI 안전성 기준에 연산량 외에 ‘AI의 실제 능력’, ‘배치 맥락’, ‘잠재적 영향 범위’ 등 다층 기준을 종합적으로 고려할 수는 없을까? 그리고 모든 AI 사업자에게 적용되는 최소 통제 기준, 즉 ‘AI 보안 기본의무’ 조항을 신설할 수는 없을까?
둘째, AI 보안사고 보고를 의무화하고 정보공유체계를 구축하자.
현행 고성능 AI의 중대한 사고발생에 대한 ‘7일 이내 사고 제출’ 규정은 실시간 보안 대응에 턱없이 부족하다. 최근 잇따른 해킹사고가 보여주듯, 신속한 신고와 대응의 중요성은 날로 커지고 있다. 그런데 7일이 신속한 사고대응 주기로 과연 적절할까? 이는 초기 대응 골든타임을 놓치는 기간이다.
또한 프롬프트 주입, 데이터 중독, 모델 탈취 등 산업 전반의 AI 보안사고를 신속히 공유하고 공동 대응하는 체계가 사실상 없다. 망법 등 타법 개정사안이라 그런 것일까? 하지만 EU의 GPAI 실무규범은 이미 수명주기 기반 안전·보안 프레임워크, 사고보고, 레드팀 테스트, 사이버보안 등을 포함한 통합 체계 운영을 내세우고 있다. AI보안에 관한 한 우리와의 규범 격차가 보인다. 그리고 사이버복원력 관점에서 보안 연구자와 기업 간 협력을 통한 사전 예방 체계 구축도 필요한데, 그런 의미에서 ‘선의의 취약점 공개(VDP)’ 제도 도입도 적극 검토해볼 만하지 않을까?
셋째, 구체적 보안 통제를 명문화하고 상호인정을 확대하자.
현행 고영향 AI 사업자 책무(위험관리, 설명 등)가 지나치게 추상적이다. 기업 입장에서는 예측가능성이 낮고 중복 규제 부담이 클 수밖에 없다. 솔직히 ‘위험관리 방안 수립’ 같은 모호하고 포괄적인 규정만으로는 구체적 준수 사항을 알기 어렵다. 게다가 ISMS, 전자금융법, 클라우드 보안 인증 등 기존 규제와 AI기본법상 의무를 이중으로 감사받을 가능성이 높다. 현재 ’사업자 책무’에만 한정된 타 법령 이행 간주 조항으로는 규제 부담 완화가 불충분할 수 있다.
따라서 ’최소 보안 통제 체크리스트’를 고시에 명시해 기업이 실제로 무엇을 준비해야 하는지 명확히 제시했으면 한다. 또한 (최근 해킹사고로 인해) 보다 강화될(?) ISMS, ISMS-P 등 타 법령 준수 시, ‘안전성 확보 의무’(법 제32조)까지 면제(상호인정)를 확대하여 중복 규제 부담을 해소하는 방안도 검토했으면 한다.
하위법령에는 AI위험을 기술적으로 예측가능한 범위로만 한정한다고 명시하고 있다. 그러나 AI위험과 AI보안위협의 복잡성과 통제불가능성을 고려하면 쉽지 않을 것 같다. 물론 과기정통부의 입장도 이해한다. AI 보안사고의 위험이 아직 충분히 현실화되지 않았기에, ’예측’만으로 입법에 반영하기 어렵다는 현실론 말이다. 하지만 질문을 바꿔보자. 그 현실이 생각보다 빨리 온다면? 엄청난 파괴적 피해가 우리를 덮친다면? 그때는 어떻게 할 것인가?
보안은 사후 대응이 아닌 사전 예방이 핵심이다. AI 시대의 보안 사각지대를 지금 메우지 않으면, 우리는 값비싼 대가를 치를 수밖에 없다. AI기본법 하위법령이 단순한 원칙 선언을 넘어, 실효성 있는 보안 체계의 기반이 되길 기대한다.
Source
이 글은 페이스북 게시물을 옮겨 재편집한 것이다. 위 「원문 보기」에 수집 당시의 전문이 그대로 있다.
페이스북 원문 게시물post id 24951411251137327