닉 퓨리의 안대 뒤 — 인페인팅으로 보는 생성 AI의 불확실성 처리

컴퓨터 비전에서 이미지의 가려진 부분을 복원하는 **인페인팅(inpainting)**은, AI가 세상을 “보는 방식”이 어떻게 바뀌어 왔는지를 가장 직관적으로 보여 주는 분야다. 특히 영화 캐릭터 닉 퓨리의 안대를 지우는 실험은 단순한 이미지 편집을 넘어, 정답이 하나로 정해지지 않는 불확실성을 AI가 어떻게 다루는지 드러내는 흥미로운 리트머스 시험지가 된다.

안대 뒤의 눈은 ’정답’이 없다

안대에 가려진 눈이 실제로 어떤 모습인지는 설정상 명확히 “관측”할 수 없는 정보다. 흉터가 있을 수도, 의안일 수도, 혹은 단순히 감춰진 정상 눈일 수도 있다.

이렇게 관측된 결과(안대를 한 얼굴)는 있지만 원인(안대 뒤의 실제 상태)은 알 수 없는 상황은 공학적으로 **역문제(inverse problem)**의 성격을 띠며, 동시에 정보가 손실되어 해가 유일하지 않은 부정정(ill-posed) 문제에 가깝다. 즉 AI는 “정답을 찾아내는” 것이 아니라 가능한 해의 공간에서 그럴듯한 답을 구성해야 한다.

이 관점에서 보면 인페인팅 기술의 발전은 곧 AI가 불확실성을 다루는 방식의 진화다.

1단계 — 전통적 인페인팅: 텍스처를 이어 붙이기

초기의 인페인팅은 이미지의 “의미”를 이해한다기보다 주변 픽셀의 패턴을 자연스럽게 연장하는 데 초점을 맞췄다.

원리 — 텍스처 전파와 패치 기반 복원이다. 주변 영역의 색·질감·구조를 안대 영역으로 확산처럼 퍼뜨리거나, 근처의 비슷한 조각(패치)을 찾아 복사해 붙인다.

결과 — 이 방식은 ’눈’이라는 해부학적 구조를 모른다. 그래서 안대 주변의 피부 톤과 질감을 그대로 끌어와 덮어 버려, 결과적으로 눈이 없는 얼굴처럼 보이거나 어색한 매끈함이 생기기 쉽다.

한계 — 불확실성을 “해결”하기보다 주변 정보의 반복으로 회피한다. 의미론적으로 그럴듯한 답을 만들기 어렵다.

2단계 — 딥러닝 기반 복원: 얼굴 사전지식으로 채우기

딥러닝이 들어오면서 AI는 대규모 얼굴 데이터로부터 ’눈이 보통 어떻게 생겼는지’를 학습하게 된다. 구조를 그럴듯하게 만드는 힘이 생긴 것이다.

원리 A — 회귀적 복원(평균화 경향). 초기 딥러닝 복원은 예측 이미지와 정답 이미지의 픽셀 차이를 줄이는 방향으로 학습되는 경우가 많았다(MSE 계열 손실). 이때 여러 가능한 정답이 있으면, 모델은 통계적으로 손실을 줄이려고 가능한 해들의 **‘평균’**에 가까운 결과로 수렴하기 쉬워 디테일이 뭉개지거나 “안전한” 결과가 나올 수 있다.

원리 B — 확률적 생성(분포에서 샘플링). 이후 생성 모델, 특히 확산 기반 접근이 등장하면서 인페인팅은 “복원”을 넘어 조건부 확률분포에서 그럴듯한 후보를 뽑는 샘플링 문제로 바뀐다. 같은 입력이라도 시드나 가이드 조건에 따라 여러 개의 서로 다른 그럴듯한 결과가 나올 수 있다.

결과 — 평균화 경향이 강하면 무난한 “정상 눈”이지만 다소 밋밋하거나 흐릿하다. 확률적 생성이 강하면 정상 눈, 충혈, 백내장 같은 가능성 중 하나를 구체적으로 선택한 결과가 나온다.

3단계 — 맥락 지향적 생성: 서사까지 포함해 구성하기

최신 대규모 생성 모델은 픽셀이나 형태를 맞추는 수준을 넘어, 이미지가 암시하는 문맥(캐릭터, 상황, 장면의 의미)을 함께 고려한다. 여기서 인페인팅은 더 이상 “가려진 픽셀 복원”이 아니라 장면의 개연성에 맞춘 재구성에 가까워진다.

원리 — 멀티모달 문맥 추론과 조건부 생성이다. 텍스트와 이미지를 함께 이해하고, “누구의 얼굴인지 / 어떤 장면인지 / 어떤 미학 스타일인지” 같은 고차원 단서를 활용해 가려진 부분을 맥락적으로 가장 설득력 있게 생성한다.

결과 — 모델은 ‘닉 퓨리’, ‘전투’, ‘안대’ 같은 문맥을 단서로 삼아 흉터가 있을 법하다, 손상된 눈일 가능성이 있다, 의안이나 백탁도 캐릭터성에 부합한다 같은 가설을 세우고, 그 가설에 맞는 디테일을 적극적으로 만들어 낸다.

여기서 ’환각’은 무엇인가

이 단계에서의 환각은 단순 오류라기보다 정답이 존재하지 않는 공백을 채우는 생성 기능으로 작동할 수 있다. 다만 이것은 창작이나 편집에서는 강점이지만, 사실 복원(증거·기록·의료 등)이 목표인 상황에서는 오히려 위험해진다. 그래서 중요한 것은 “환각이냐 아니냐”가 아니라 목적에 맞게 통제되고 있는가다.

다음 단계 — 픽셀을 넘어 월드 모델과 에이전트로

인페인팅의 다음은 “더 선명하게 채우기”가 아니라 왜 그렇게 채워야 하는지를 이해하는 방향으로 간다.

픽셀에서 월드 모델로 — 전통적 인페인팅이 픽셀 상관관계를 학습했다면, 차세대 AI는 더 추상적인 표현 공간에서 “눈을 다쳤다 → 안대를 착용했을 가능성”처럼 인과적·서사적 개연성을 다루는 모델을 지향한다.

협업하는 에이전트로 — 불확실성이 큰 상황에서 최고의 해답은 모델이 혼자 정하는 것이 아니라 사용자의 의도를 묻고 조율하는 것일 수 있다. “흉터가 있는 버전”, “정상 눈으로 복원한 버전”, “의안으로 캐릭터성을 강화한 버전”처럼 목적별 후보를 제안하고 사용자가 고르고 고치는 흐름이 자연스럽다.

인페인팅은 ’복원’이 아니라 ’불확실성의 운영’이다

닉 퓨리의 안대 뒤는 원래부터 정답이 하나로 정해져 있지 않다. 그래서 인페인팅의 성능을 가르는 핵심은 “정답을 맞췄는가”가 아니라 이 세 가지에 달려 있다.

• 어떤 가정(prior)을 쓰는지
• 불확실성을 평균으로 처리하는지, 분포에서 샘플링하는지
• 문맥과 목적에 맞게 결과를 통제하고 설명할 수 있는지