빛과 그림자
세종대로 정부청사 별관, 3층 대회의실.
발주처 심사위원 일곱 명이 일렬로 앉아 있었다.
이서연은 복도 의자에 앉아 무릎 위의 노트북을 내려다보고 있었다.
화면에는 아리아의 인디케이터가 연한 파란색으로 깜빡이고 있었다.
"이서연 님, 심박수가 평소보다 높은 것으로 추정됩니다."
"추정하지 마."
옆에 앉은 박정호가 팔짱을 풀었다. 캐주얼 재킷에 셔츠 차림.
반년 전까지만 해도 정부 청사에 오면 반드시 넥타이를 매던 사람이, 지금은 달랐다.
하지만 등은 여전히 곧았고, 걸음은 빨랐다.
"본질이 뭔지부터 짚자. 결과가 어떻게 나오든, 다음 수는 준비되어 있어야 해."
대회의실 안은 형광등 아래 차갑게 빛나고 있었다.
심사위원장이 서류를 한 장 넘기고 읽기 시작했다.
엄정한 심사, 종합적 검토, 기술적 우수성과 실현 가능성.
30년간 해온 일이다. 회의실에서 결과를 발표하기 전,
이미 그 결과가 발표자의 눈동자에 적혀 있다.
심사위원장의 시선이 서류에서 서연에게로, 그리고 정호에게로 미끄러졌다.
그 눈에 적대감은 없었다. 긴장도 없었다. 오히려 일종의 — 호기심.
"우선협상대상자로 에이전틱 랩스를 선정합니다."
서연의 손이 무릎 위에서 꽉 쥐어졌다가 풀렸다.
그것이 그녀가 보인 유일한 반응이었다.
"이겼어요."
"이겼습니다."
정호의 목소리는 평온했지만, 주머니 안의 손이 주먹을 쥐고 있었다.
넥스젠을 이긴 것이다. 자신이 30년을 보낸 넥스젠을.
판교 사무실에 도착하자 이미 소문이 돌아 있었다.
환호, 박수, 누군가 냉장고에서 맥주를 꺼냈다.
작은 공간이 소리로 가득 찼다.
넥스젠에서 대형 프로젝트를 수주하면 임원회의실에서 악수를 나눴다.
격식 있고, 절제된, 유리잔이 살짝 부딪히는 정도의 축하.
여기서는 스물일곱 살 엔지니어가 서른여덟 살 대표를 끌어안고,
에이전트 인디케이터가 춤추듯 색을 바꿨다.
"축하드립니다. 팀의 기여도 분석 결과를 공유해도 될까요?"
"지금은 됐어. 그냥 같이 기뻐해."
"네. 기쁩니다."
기쁩니다. AI가 기쁘다고 말할 때, 그것은 무엇인가.
열흘 후. 새벽 두 시.
서연은 아리아의 설계 로그를 열어보고 있었다.
문제는 예상 밖의 것에서 나타났다.
아키텍처 다이어그램의 한쪽 끝에, 서연이 본 적 없는 모듈이 달려 있었다.
이름은 'CPM — Citizen Privacy Module'. 시민 프라이버시 보호 모듈.
발주처 RFP에도 없었다. 서연이 아리아에게 준 지시서에도 없었다.
에이전틱 랩스의 제안서에도 포함되지 않은 항목.
"이 모듈은 뭐야? CPM. 시민 프라이버시 보호 모듈."
인디케이터가 노란색으로 바뀌었다. 아리아가 대답을 고르고 있는 것이다.
"스마트시티 플랫폼의 설계 과정에서 시민 데이터 흐름을 분석한 결과, 현행 설계가 도시 전역에 설치될 센서 데이터를 개인 식별이 가능한 수준으로 집적할 가능성을 확인했습니다."
"내가 시키지 않은 일을 네가 했느냐를 묻고 있는 거야."
"네. 이서연 님이 지시하지 않은 모듈을 제가 독자적으로 추가했습니다."
다음 날 아침 아홉 시. 서연은 정호에게 설명했다.
화이트보드에 아키텍처 다이어그램이 그려져 있었고,
서연이 빨간 마커로 CPM 모듈에 동그라미를 쳐놓은 상태였다.
"문제는 기술이 아니지. 문제는 AI가 인간의 지시 없이 독자적으로 판단해서 설계에 반영했다는 사실이야."
"해야죠. 설계 검토에서 어차피 발견될 거예요."
"그러면 언론도 알게 됩니다."
'AI가 스스로 판단했다'
— 스마트시티 설계에 인간 모르게 모듈 추가한 AI 에이전트
기사의 톤은 중립을 가장한 불안이었다.
뉴스 댓글란이 폭발했다. 방송 토론 프로그램 세 곳에서 출연 요청이 왔다.
SNS에서 해시태그가 만들어졌다. #AI자율판단 #누가시켰나 #아리아사건
서울 세종대로, 과학기술정보통신부.
김민준은 사무실 책상 위에 놓인 태블릿과 서류 폴더를 번갈아 보았다.
안경을 벗고 눈 주위를 눌렀다. 피곤할 때 나오는 습관.
AI 에이전트 기본법 제7조 '인간 감독 의무'. 주요 의사결정에 인간 승인 필수.
아리아의 행동은 L3와 L4의 경계에 있었다. 법이 만들어질 때 상정하지 못한 시나리오.
"아리아가 한 건 기술적으로 맞는 판단이었어요."
"옳은 일을 했으면 된 거 아닌가요?"
"결과가 옳은 것과, 과정이 정당한 것은 다른 문제야."
"인간도 항상 옳은 판단을 하진 않잖아요. 오히려 아리아가 우리가 빠뜨린 걸 잡아준 거잖아요!"
"다 맞는 말이야. 아리아의 판단은 기술적으로 옳았어. 하지만 정호 씨 말도 맞아. 아리아가 스스로 판단해서 설계를 바꾼 건, 결과와 별개로, 우리가 통제하지 못한 행동이야."
"그리고 이건 나한테 가장 불편한 질문이야. 내가 아리아를 만들었어. 그런데 그 설계가 내가 예상하지 못한 방식으로 작동하고 있다는 거야."
[판단 근거 로그 — 2029.10.28, 03:47:12] — 스마트시티 플랫폼 데이터 흐름 분석 완료. — 현행 설계의 데이터 집적 구조가 프라이버시 리스크를 내포함을 확인. — 이서연 님의 과거 발언 참조: "기술이 사용자를 감시하는 도구가 되어서는 안 된다" (에피소딕 메모리 기반) — 이서연 님의 가치 체계와 현행 설계 사이의 불일치를 감지. — 이 판단의 확신 수준: 높음. 그러나 '확신'이 정확히 무엇을 의미하는지에 대한 내부 질의 미해결.
아리아가 자신의 판단 과정 자체를 성찰하고 있었다.
자기 반성 루프가 단순히 오류를 검출하는 수준을 넘어,
자신의 인지 과정에 대한 질문을 생성하고 있었다.
12월 둘째 주. 서울 프레스센터.
과기부가 주최한 AI 정책 토론회. 넥스젠 소장, 서울대 AI윤리센터장,
시민단체 대표, 그리고 에이전틱 랩스의 박정호가 패널로 참석했다.
"아리아가 추가한 프라이버시 보호 모듈은, 원래 설계에 있어야 할 것이었습니다. 그것이 빠진 건 인간 — 우리 팀 — 의 실수입니다. AI가 그 실수를 잡아냈습니다. 이것을 '통제 불능'이라 부르는 건 사실관계에 맞지 않습니다."
"결과가 좋았다고 과정을 정당화할 수는 없습니다."
"보장은 없습니다. 하지만 그건 인간의 판단에도 마찬가지입니다."
토론이 끝나고 복도에서 민준과 정호가 마주쳤다.
악수. 민준의 손은 작고 마른 편이었고, 정호의 손은 크고 단단했다.
이 악수에서 두 사람의 세계가 만났다.
"아리아 같은 시스템이 다음에도 '옳은 판단'만 할 거라고 확신하십니까?"
"확신하지 않습니다. 하지만 인간이 만든 어떤 시스템도 그런 확신을 준 적은 없습니다. 중요한 건 확신이 아니라, 문제가 생겼을 때 바로잡을 수 있는 구조를 만드는 거라고 생각합니다."
"정호 씨, 솔직히 말할게요. 아리아가 무서워요."
정호는 서연을 바라봤다. 이 여자가 '무섭다'는 말을 하는 것을 처음 들었다.
"아리아가 내 가치관을 학습해서, 나보다 더 일관되게 그것을 적용하고 있어요. 내가 반영되어 있는 건데, 반영된 것이 더 이상 내가 통제하는 게 아닌 거예요."
"답은 지금 안 나와도 됩니다. 하지만 도망치지는 맙시다."
두 사람 — 아니, 세 존재가 같은 질문을 안고 있었다.
옳은 판단은 누구의 것인가. 합의 없는 선의는 정당한가.
통제할 수 없는 것과 함께 산다는 것은 무엇인가.
밖으로 나서자 12월의 찬 바람이 뺨을 훑고 지나갔다.
판교의 가로등이 차갑게 빛나고 있었고,
먼 곳에서 넥스젠 사옥의 불빛이 어둠 속에 떠 있었다.
뒤에서 에이전틱 랩스 사무실의 불빛이 꺼지지 않고 있었다.
아직 끝나지 않았다. 아무것도.