AI가 사이버공격의 ‘운영체제’가 된다

<<AI가 사이버공격의 ‘운영체제’가 된다>>

전 세계 보안업계가 주목하는 트렌드마이크로의 연례 보고서 「The AI-fication of Cyberthreats: Security Predictions for 2026」가 드디어 공개됐다. 보고서는 한마디로 “AI가 단순히 공격을 돕는 도구를 넘어, 사이버공격 전체를 운영하는 엔진이 될 것”이라고 규정한다. 이같은 메시지는 우리가 알고 있던 기존 위협 패러다임을 근본적으로 뒤흔드는 전망이다.

1. AI가 사이버 위협을 ‘산업화’한다

보고서가 제시하는 2026년 사이버 위협환경의 핵심 키워드는 단연 ‘AI 기반의 산업화(industrialization)’다. 공격자들은 더 이상 고도의 기술력을 갖춘 소수 전문가가 아니다. “올바른 AI 도구를 사용할 줄 아는 사람”이면 누구나 대규모 자동화 공격을 감행할 수 있다. 특히 다음과 같은 지각변동이 확인된다.

첫째, 수동형 해킹이 자동화·자율화된 공격으로 대체된다.

둘째, AI가 공격자의 정찰 → 침투 → 권한상승 → 데이터탈취 → 협박까지 전 단계를 “운영(operate)”하게 된다.

셋째, 공급망·클라우드·AI 개발환경이 동시에 새로운 공격면으로 확장된다.

넷째, 공격자 간 협업(AI 기반 액세스 공유, Premier-Pass-as-a-Service)이 조직화된다.

그 결과, 사이버공격은 더 이상 개별 악성코드나 취약점 문제가 아니라 AI 기반의 대규모 운영작전(operation-scale)으로 진화한다.

2. AI 에이전트의 시대: 잘못된 판단 한 번이 물류·정산·생산라인까지 멈출 수 있다

보고서가 가장 강하게 경고하는 지점은 바로 Agentic AI(자율형 AI 에이전트)이다. AI 에이전트는 단순히 답변을 생성하는 수준이 아니라 여러 도구를 호출하고(API), 워크플로를 스스로 계획하며, 실제 시스템(재고, 결제, 고객 응대, 코드 배포)에 명령을 내리는 행위 주체가 된다. 문제는 여기에 한 번만 공격이 개입해도, 또는 한 번의 할루시네이션이 발생해도 그 영향이 자동화된 A2A(Agent-to-Agent) 체인을 타고 실세계로 확산된다는 점이다. 예를 들어, AI 재고관리 에이전트가 “재고 부족”을 잘못 판단했다면 → 물류·조달·회계 시스템이 연쇄적으로 실제 발주를 집행할 수 있다. 공격자가 MCP 서버나 프롬프트 인젝션으로 에이전트를 조종하면 → 조직 내의 여러 AI 에이전트를 통해 안전한 내부망을 우회 침투하는 효과가 나타난다. 트렌드마이크로는 이를 2026년 가장 큰 구조적 위험으로 규정하며, 방어 체계도 AI 에이전트 단위로 재편해야 한다고 강조한다.

3. 공급망, 클라우드, GPU까지… 모든 곳이 AI의 공격면이 된다

이 보고서는 AI가 확산된 디지털 환경에서 기업의 모든 구성요소가 공격 표면(attack surface)으로 전환되고 있다는 점을 날카롭게 지적하는데 특히 크게 세분야에 집중한다고 전망한다.

첫째, 가장 먼저 위험이 집중되는 영역은 소프트웨어와 AI 모델 공급망이다. 오픈소스 패키지 저장소인 NPM·PyPI는 악성 업데이트가 자연스럽게 섞여 들어가기 쉬운 구조를 갖고 있으며, AI 모델 저장소(Hugging Face 등) 또한 공격자가 악성 모델을 업로드해 기업의 개발·운영 파이프라인에 침투할 수 있는 새로운 통로가 되고 있다. 특히 보고서는 LLM이 가끔 만들어내는 ‘존재하지 않는 패키지명’을 공격자가 실제로 등록해 악용하는 ‘슬롭스쿼팅(Slopsquatting)’ 기법이 본격화될 것으로 예측한다. 이는 AI 개발 환경 자체가 공격에 활용되는 새로운 유형의 공급망 위협이다.

둘째, 클라우드와 멀티클라우드 인프라이다. API가 과도하게 열려 있거나 S3·Blob 스토리지가 잘못 설정돼 있는 경우, 그리고 세션 토큰이 탈취되는 상황은 기존에도 문제가 되었지만, AI 기반 자동화 공격은 이러한 취약점을 훨씬 빠르고 정교하게 찾아낸다. 여기에 더해 클라우드 GPU 자원의 탈취, NVBleed·LeftoverLocals 같은 GPU 메모리 간 데이터 유출 취약점은 이전에는 고려 대상이 아니었던 새로운 위협으로 부상하고 있다. SaaS 서비스 간 인증 연결이 복잡하게 얽힌 환경에서는, 한 지점이 뚫릴 경우 APT가 손쉽게 ‘옆 이동(lateral movement)’을 수행해 여러 클라우드로 확산될 수 있다.

셋째, 자동화된 랜섬웨어다. 랜섬웨어는 이미 AI를 통해 취약점 탐색, 침투, 내부망 정찰, 데이터 분석, 협박 메시지 작성까지 전 과정을 자동화할 수 있는 단계에 진입하고 있다. 특히 기업 내부의 정책 문서, 매뉴얼, 회계 자료, 고객 커뮤니케이션 로그 등 지식베이스를 분석해, 어떤 정보를 공개할 경우 평판·규제·주가에 가장 타격을 줄 수 있는지를 자동으로 찾아내는 맞춤형 협박까지 가능해지고 있다. 이는 과거의 무차별적 금전 갈취와는 달리, 훨씬 정교하며 기업 운영을 직접 겨냥하는 공격 방식이다.

이처럼 세 영역의 변화는 단순한 기술적 위협의 증가를 의미하지 않는다. 보고서가 강조하듯, 이는 기업과 조직의 전체 운영 생태계가 구조적으로 공격에 노출되는 새로운 시대가 도래했음을 의미한다. AI는 기존의 사이버 공격 방식을 강화하는 수준을 넘어, 공격의 규모와 속도, 파급력을 근본적으로 바꿔놓고 있다.

4. 한국에 주는 함의: AI보안 정책의 ‘대전환’이 불가피하다

1. “예측적·회복적 보안(anticipatory & resilient security)”으로의 전환

AI 시대의 사이버공격은 너무 빠르고 자동화돼 있기 때문에, 우리가 “이상한 행동을 탐지해서 막는 방식”으로는 이미 늦는 경우가 많다. 공격이 감지될 때쯤이면 내부 데이터가 이미 유출되었거나, 시스템 일부가 조작된 뒤일 수 있다. 한국의 보안 체계는 여전히 탐지·차단 중심인데, AI 기반 위협은 탐지 시점엔 이미 피해가 발생한 뒤다. AI 공격 시대에는 ‘나중에 잡는 보안’이 아니라 ‘미리 대비하고 빨리 회복하는 보안’이 핵심이다. 따라서 AI보안 정책은 노출 관리(Exposure Management)와 사전 위험진단·Red Teaming 중심으로 전환되어야 한다.

• 노출 관리(Exposure Management): 해커가 노릴 수 있는 허점—취약한 계정, 설정 오류, 외부에 드러난 시스템 같은 것들—을 공격자가 발견하기 전에 먼저 찾아서 없애는 방식이다. 즉, “우리 조직이 어디가 뚫릴 수 있는지”를 상시적으로 점검하고 줄이는 활동을 말한다.

• 사전 위험진단·레드팀 훈련(Red Teaming): 실제 공격자처럼 행동하는 전문팀(또는 AI 기반 자동화 도구)이 기업·기관 시스템을 미리 공격해보면서 취약점과 대응 한계를 발견하는 훈련이다. 이렇게 해야 진짜 공격이 왔을 때 대응 속도와 복원력이 크게 높아진다.

2. “AI 에이전트 보안(AI Agent Security)” 국가 표준화 필요

AI 에이전트는 이제 단순히 정보를 찾아주거나 글을 만들어주는 도구가 아니라, 업무를 직접 수행하고 시스템을 조작하는 ‘하나의 행위주체(Actor)’로 기능하고 있다. 예를 들어, 자동으로 결재를 올리거나, 재고를 주문하고, 고객에게 답변을 보내는 식이다. 이렇게 되면 AI 에이전트가 어떤 권한을 갖고 어떤 행동을 하는지 사람처럼 관리해야 한다. 그래서 정부는 앞으로 다음과 같은 기준을 국가 표준으로 마련할 필요가 있다. AI 에이전트가 사람처럼 업무를 직접 수행하는 시대가 왔기 때문에, 앞으로는 에이전트를 투명하게 식별하고, 권한을 제한하고, 행동을 기록하고, 중요한 일은 사람이 최종 통제하는 구조가 필요하다는 것이다.

• Agent Identity(ID) 발급 및 권한 최소화 정책: 에이전트에게 고유한 ID를 부여하고 권한은 최소한으로 설정하는 것이다. 사람에게 사번과 직무 권한이 있듯, AI 에이전트에도 고유 ID와 역할 제한을 두어야 한다는 것이다. 그래야 에이전트가 실수하거나 악성 공격에 조작되더라도 피해를 제한할 수 있다.

• Agent Action Logging·Delegation Logging 의무화: 에이전트가 무슨 행동을 했는지 기록을 남기는 것이다. 어떤 파일을 열었는지, 어떤 시스템을 실행했는지, 누구 대신 어떤 일을 처리했는지 등을 로그로 남기도록 의무화해야 한다. 그래야 사고가 났을 때 추적이 가능하고, 내부 통제도 이루어진다.

• 고위험 작업에 대한 Human-in-the-loop 승인제: 중요하고 위험한 작업은 사람이 반드시 마지막 확인을 하도록 하는 제도. 예를 들어 대규모 송금, 민감 데이터 삭제, 정책 변경과 같은 고위험 작업은 AI가 자동으로 처리하지 못하도록 하고, 사람이 ‘최종 승인’을 누르도록 해야 한다.

• 정부·금융권 서비스에 대한 Agent Security 인증제 도입: 정부와 금융권처럼 중요한 분야는 에이전트 보안 인증제를 도입하자는 것. 공공기관·금융기관에서 사용할 AI 에이전트는 “안전하게 설계되었는지, 조작당할 가능성은 없는지”를 국가가 평가하고 인증하도록 하는 제도이다.

3. AI 공급망 보안 규제의 법제화

AI 기술이 빠르게 퍼지면서, 이제는 AI 모델이 어디서 만들어졌고, 어떤 데이터와 코드가 섞여 들어갔는지를 국가 차원에서 더 엄격하게 확인해야 하는 시대가 되었다. 과거 소프트웨어 공급망을 관리하던 방식만으로는 부족하며, AI만의 새로운 공급망 보안 규칙을 법으로 정해야 한다. 그런 점에서 정부는 공공조달·금융감독·전자정부 사업에서 AI 모델 및 에이전트 공급망 보안을 별도 관리해야 한다. AI가 국가·공공·금융 시스템에 본격 도입되는 만큼, AI 모델부터 플러그인·데이터·코드까지 ‘어디서 왔고 안전한지’를 정부가 법으로 관리해야 한다는 것이다. 이와 관련한 정책 과제로는 다음과 같은 것들이 있는데, 이들은 향후 AI정부 및 공공 클라우드 전환의 필수적 기반이 될 것이다.

• AI SBOM / AI-BOM 제출 의무화

• 모델 서명(Model Signing) 및 무결성 검증 법제화

• 악성 모델 탐지 시스템의 국가 차원 구축

• 오픈소스 패키지·AI 플러그인 마켓플레이스 안전성 인증

4. 클라우드·GPU 격리 기준 강화

AI 모델을 돌리기 위해 기업과 연구기관은 대규모 GPU 서버와 클라우드 서비스를 빠르게 도입하고 있다. 문제는, 이 인프라가 여러 사용자와 기업이 함께 쓰는 ‘공유 자원’ 형태가 많다는 점이다. 이렇게 여러 이용자가 한 하드웨어나 한 클라우드를 같이 쓰는 환경에서는, 한 곳의 작은 취약점이 다른 기업의 데이터까지 새어나가는 통로가 될 수 있다. AI 인프라가 커질수록 공유된 클라우드·GPU 환경이 새로운 공격 통로가 되므로, 국가 차원에서 GPU 격리, 클라우드 교차 위험 평가, AI 기반 탐지 체계를 강화해야 한다는 것이다.

• GPU 메모리 격리 규정(국가 GPU 보안 Baseline): 여러 이용자가 같은 GPU 서버를 쓰더라도, 메모리 안에서 서로의 데이터가 절대 섞이지 않도록 보안 기준을 만들어 적용해야 함. 최근 GPU 메모리에서 정보가 새나오는 실제 취약점들이 발견되면서(예: NVBleed, LeftoverLocals), 국가 차원에서 기준을 만드는 일이 시급해짐.

• 멀티 클라우드 위험평가 항목 신설: 기업들이 AWS·Azure·GCP 등을 동시에 사용하다 보니, 한 서비스의 계정이나 설정이 뚫리면 다른 클라우드로 공격이 옮겨붙는 일이 생길 수 있음. 그래서 클라우드를 여러 개 쓰는 기관이 반드시 교차 위험(cross-cloud risk)을 점검하도록 평가 항목을 신설하자 것.

• AI 기반 클라우드 공격 탐지체계(N2SF–CSAP 연계): 기존의 보안 시스템만으로는 AI 기반 자동화 공격을 잡아내기 어렵기 때문에, AI가 AI 공격을 탐지·차단하는 체계를 구축해야 함. 이를 위해 정부 보안 기준(N2SF)과 클라우드 인증체계(CSAP)를 서로 연계해, 공공기관·금융기관 등이 사용하는 클라우드에서 AI 공격을 자동 탐지하는 구조를 만들자는 것.

5. AI 기반 사회공학 공격 대응을 위한 ‘신뢰 프레임워크’ 도입

AI 기술이 발달하면서 얼굴·음성·대화 내용을 그대로 흉내 내는 사회공학 공격이 폭발적으로 늘어나고 있다. 실제 사람의 목소리처럼 들리는 딥페이크 전화, 회사 임원을 사칭한 이메일(BEC), 정교한 말투로 접근하는 AI 챗봇 금융사기 등이 이미 현실에서 빈번하게 발생하고 있다. 이 때문에 앞으로는 사용자가 직접 “진짜인지 가짜인지”를 판단하도록 맡겨서는 절대 대응이 불가능하다. 공격자가 너무 정교하기 때문이다. 그래서 보고서는 “신뢰를 시스템이 자동으로 검증해 주는 구조”가 필요하다고 강조한다. 예컨대 딥페이크 음성·영상, AI 기반 기업사칭(BEC), AI 챗봇 기반 금융사기 등을 방어하기 위해 한국형 Sender Authenticity Protocol(이메일·메시지·전화가 “정말 그 사람이 보낸 것인지” 시스템이 자동으로 확인해주는 기술), 금융권에서의 음성·영상 실재성 검증(Proof-of-Human: 금융권 상담, 송금 요청, 고액 거래 등 중요한 상황에서 목소리·영상이 “진짜 사람인지”, “AI로 조작된 것이 아닌지”를 확인하기 위한 절차) 도입이 필요하다. 즉 사람의 판단에 의존하지 않고, 시스템 차원에서 발신자·대화자·목소리·영상의 ‘진짜 여부’를 확인해주는 안전장치가 필요한 시대가 온 것이다.

5. 결론: “AI 보안은 기존 보안의 확장이 아니라, 완전히 새로운 패러다임이다”

이 보고서는 마지막에 다음과 같이 강조한다.

“미래의 보안수준은 탐지 능력이 아니라 ‘회복력(resilience)’으로 평가될 것이다.”

AI가 사이버공격의 운영체제가 되는 시대, 한국의 보안정책 또한 AI 개발·운영·에이전트·공급망·인프라 전부를 포괄하는 새로운 AI보안 프레임워크(K-AISec)로 확장되어야 한다. 이 보고서의 메시지는 단순한 경고가 아니다. 한국이 소버린 AI, AI 기본사회, APEC AI Hub를 추진하는 지금, AI 보안을 국가전략의 최상위 계층으로 재정의해야 한다는 명확한 메시지다.

*출처: https://documents.trendmicro.com/assets/research-reports/the-ai-fication-of-cyberthreats-trend-micro-security-predictions-for-2026.pdf