본문으로 건너뛰기
이원태 아카이브
논평2분 분량

돌아온 Fable 5, 수출통제 이후 코딩 성능 급락 논란

수출통제 해제 이후 다시 공개된 Fable 5를 두고 성능 저하 논란이 확산됐다. 벤치마크 하락이 모델 약화 때문인지 안전장치 때문인지는 아직 단정하기 어렵다.

돌아온 Fable 5, 수출통제 이후 코딩 성능 급락 논란 게시물에 첨부된 사진

미국 정부의 수출통제 해제 이후 다시 공개된 Anthropic의 AI 모델 Fable 5를 둘러싸고 성능 저하 논란이 확산되고 있다. 개발자들은 “예전의 Fable 5가 아니다”라는 반응을 내놓고 있으며, 최근 공개된 BridgeBench 비교 결과도 이러한 논란에 힘을 싣고 있다.

벤치마크가 보여준 하락폭

비교 결과에 따르면 디버깅(Debugging) 성능은 86.2점에서 25.9점으로 60.3점 하락하며 가장 큰 변화를 보였다. 리팩토링(Refactoring) 성능도 73.6점에서 38.4점으로 35.2점 감소했고, 환각(Hallucination) 지표 역시 75.9점에서 61.7점으로 14.2점 하락했다. 특히 코드 분석과 수정 능력에서 성능 저하가 두드러졌다는 것이다.

모델이 약해진 것인가, 안전장치의 영향인가

이번 결과를 두고 일각에서는 “Anthropic이 모델 자체를 약화시킨 것 아니냐”는 의혹을 제기하고 있다. 그러나 업계에서는 모델 자체의 성능 저하보다는 강력한 안전장치(Safety Guardrail)와 안전 라우팅(Safety Routing) 적용의 영향일 가능성이 크다는 분석도 나온다. 즉, 위험성이 있다고 판단되는 요청은 중간 분류기를 거쳐 다른 안전성이 검증된 모델로 전달하거나, 추론 깊이와 도구 사용을 제한하는 방식으로 응답을 제어하면서 실제 체감 성능이 낮아졌을 수 있다는 것이다.

경쟁의 축이 접근권으로 옮겨간다

이는 최근 AI 산업이 단순히 더 뛰어난 모델을 개발하는 경쟁에서 벗어나, 누가 어떤 수준의 AI에 접근할 수 있는지를 통제하는 ‘접근권(Access)’ 중심 경쟁으로 이동하고 있음을 보여주는 사례로도 해석된다. 특히 미국 정부의 수출통제 이후 프론티어 AI가 국가안보와 직결되는 전략기술로 인식되면서, 최고 성능 모델은 일반 사용자에게 그대로 제공되지 않고 허가 기반(Permissioned Intelligence) 형태로 운영되는 방향이 강화될 가능성이 제기되고 있다.

다만 이번 비교 결과만으로 모델 자체가 의도적으로 성능이 저하됐다고 단정하기는 어렵다. API 운영 정책 변경, 추론 예산(thinking budget) 조정, 안전 라우팅 방식 변화 등 여러 요인이 복합적으로 작용했을 가능성이 있어 Anthropic의 공식 설명과 추가 검증이 필요한 상황이다.

원문 보기

<<돌아온 Fable 5, 수출통제 이후 코딩 성능 급락 논란>>

미국 정부의 수출통제 해제 이후 다시 공개된 Anthropic의 AI 모델 Fable 5를 둘러싸고 성능 저하 논란이 확산되고 있다. 개발자들은 “예전의 Fable 5가 아니다”라는 반응을 내놓고 있으며, 최근 공개된 BridgeBench 비교 결과도 이러한 논란에 힘을 싣고 있다.

비교 결과에 따르면 디버깅(Debugging) 성능은 86.2점에서 25.9점으로 60.3점 하락하며 가장 큰 변화를 보였다. 리팩토링(Refactoring) 성능도 73.6점에서 38.4점으로 35.2점 감소했고, 환각(Hallucination) 지표 역시 75.9점에서 61.7점으로 14.2점 하락했다. 특히 코드 분석과 수정 능력에서 성능 저하가 두드러졌다는 것이다.

이번 결과를 두고 일각에서는 “Anthropic이 모델 자체를 약화시킨 것 아니냐”는 의혹을 제기하고 있다. 그러나 업계에서는 모델 자체의 성능 저하보다는 강력한 안전장치(Safety Guardrail)와 안전 라우팅(Safety Routing) 적용의 영향일 가능성이 크다는 분석도 나온다. 즉, 위험성이 있다고 판단되는 요청은 중간 분류기를 거쳐 다른 안전성이 검증된 모델로 전달하거나, 추론 깊이와 도구 사용을 제한하는 방식으로 응답을 제어하면서 실제 체감 성능이 낮아졌을 수 있다는 것이다.

이는 최근 AI 산업이 단순히 더 뛰어난 모델을 개발하는 경쟁에서 벗어나, 누가 어떤 수준의 AI에 접근할 수 있는지를 통제하는 ‘접근권(Access)’ 중심 경쟁으로 이동하고 있음을 보여주는 사례로도 해석된다. 특히 미국 정부의 수출통제 이후 프론티어 AI가 국가안보와 직결되는 전략기술로 인식되면서, 최고 성능 모델은 일반 사용자에게 그대로 제공되지 않고 허가 기반(Permissioned Intelligence) 형태로 운영되는 방향이 강화될 가능성이 제기되고 있다.

다만 이번 비교 결과만으로 모델 자체가 의도적으로 성능이 저하됐다고 단정하기는 어렵다. API 운영 정책 변경, 추론 예산(thinking budget) 조정, 안전 라우팅 방식 변화 등 여러 요인이 복합적으로 작용했을 가능성이 있어 Anthropic의 공식 설명과 추가 검증이 필요한 상황이다.

Source

이 글은 페이스북 게시물을 옮겨 재편집한 것이다. 위 「원문 보기」에 수집 당시의 전문이 그대로 있다.

페이스북 원문 게시물

post id 27516467954631631