요즘 어딜 가나 AI 에이전트라는 단어가 들려온다. 코딩을 대신하고 이메일을 분류하며 심지어 금융 거래까지 실행하는 이 기술은 이미 우리 곁에 깊숙이 들어와 있다. 하지만 정작 우리가 AI 에이전트에게 얼마나 많은 권한을 주고 있는지, 그리고 실제로 그들이 얼마나 자율적으로 움직이고 있는지에 대한 데이터는 부족했다. 최근 앤트로픽(Anthropic)이 발표한 실전에서 AI 에이전트 자율성 측정하기라는 연구는 그래서 더 의미가 깊다. 이 연구는 단순히 AI가 얼마나 똑똑해졌는가를 따지는 게 아니라 사람들이 실제로 얼마나 많은 일을 AI에게 맡기고 있는가를 분석했다. 결과는 꽤나 흥미로웠다. AI의 능력은 이미 충분한데 문제는 우리의 신뢰였다.

AI 에이전트를 개발하다 보면 테스트 환경에서는 완벽하게 작동하던 녀석이 실제 배포만 하면 엉뚱한 짓을 하는 경우를 자주 보게 된다. 지침도 잘 따르고 도구 호출도 깔끔하게 하던 모델이 갑자기 이상한 출력을 내놓으면 당황스럽기 그지없다. 모델이 갑자기 멍청해진 것도 아니고 프롬프트가 바뀐 것도 아닌데 왜 이런 일이 벌어질까? 대부분의 경우 그 이유는 실제 사용자들이 입력하는 데이터가 우리가 예상한 것보다 훨씬 지저분하고 모호하기 때문이다. 단순히 지시 사항을 나열하는 것만으로는 실제 환경의 복잡한 변수들을 모두 통제하기 어렵다는 뜻이다.