할루시네이션은 버그가 아니라 구조적 속성이다

OpenAI의 논문 「Why Language Models Hallucinate」는 언어모델이 거짓을 만들어내는 이유를 명확히 보여준다. 데이터가 부족하거나 기술이 덜 여물어서가 아니라, ‘확률적 언어모델’이라는 존재 방식 자체에서 기인한다는 것이다.

모르면 추측하는 것이 통계적으로 최적이다

언어모델은 유한한 데이터로 무한한 질문 공간에 대응해야 한다. 모르는 질문을 만나면 “그럴듯한 추측”을 내놓는 것이 통계적으로 최적 행동이 된다.

더 큰 문제는 평가 방식에 있다. 현재 AI 벤치마크 대부분이 ‘이진 채점(binary grading)’ 기반이라, “모르면 모른다”고 말하는 모델보다 “틀려도 답하는 모델”이 더 높은 점수를 받도록 설계되어 있다. 이 구조적 보상체계가 오늘날의 할루시네이션을 실질적으로 강화한다.

교육: 정답 중심 평가가 “모른다”를 막는다

이같은 연구자들의 분석결과는 교육에서 중요한 방향 전환을 요구한다. 정답 중심 평가체계는 AI에게 그랬듯 인간 학생에게서도 “모른다고 말할 동기”를 제거하며, 추론·가설·검증 중심 학습을 방해할 수 있다는 것이다.

거꾸로 보면 AI의 오류 또는 할루시네이션은 오히려 ‘가설 생성과 창의적 사고를 촉발하는 자원’이 될 수 있다. 교육은 이를 활용해 질문 능력·불확실성 인식·검증 역량을 기르는 방향으로 나아가야 한다는 것이다.

산업: 자동화 엔진이 아니라 확률적 조언자

산업 또한 AI를 “완전한 자동화 엔진”으로 간주하는 환상을 버리고, ‘확률적 조언자·탐색 파트너’로 재정의할 필요가 있다. 정확성이 필수인 의료·법률 등에서는 인간 검증 구조(HITL)를 더욱 강화하고, 반대로 기획·창의(콘텐츠 창작) 분야에서는 AI의 엉뚱한 발상을 혁신의 재료로 활용할 수 있다는 것이다.

정책: 정답률이 아니라 시스템적 안전성으로

AI 정책도 이제 정확도 제고나 오류 제거라는 환상에서 벗어날 필요가 있다. 할루시네이션이 구조적으로 불가피하다면, 규제는 AI가 틀릴 때 피해를 최소화하는 장치, 그리고 불확실성 표현(IDK·근거 제시 등)을 허용하는 평가 기준을 마련하는 데 초점을 맞춰야 한다.

국가 AI 평가체계와 공공 조달 기준 역시 이진 채점 중심에서 벗어나야 한다. “정답률”이 아니라 투명성·불확실성 관리·책임 구조를 포함하는 시스템적 안전성으로 이동해야 한다.

결국 핵심은 이렇다. AI는 완전무결한 지능이 아니라, 불확실성을 동반한 확률적 파트너이며, 사회는 이 특성과 함께 작동하도록 교육·산업·정책의 작동 원리를 다시 설계해야 한다는 점이다.

출처: https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf