클로드 코드를 쓰기 시작하면서 개발 생산성이 정말 많이 올라갔다고 느꼈던 적이 있었다. 월 200달러라는 적지 않은 금액을 결제하면서도 그만한 가치가 있다고 믿었기 때문이다. 그런데 최근 들어 클로드 코드, 특히 Opus 4.6 모델을 쓰다 보면 뭔가 나사가 하나 빠진 것 같은 기분이 들 때가 많았다. 예전 같으면 한 번에 해결했을 문제를 자꾸 되묻거나, 말도 안 되는 실수를 반복하는 식이다. 나만 그렇게 느끼는 줄 알았는데, 최근 공개된 분석 자료를 보니 이건 단순한 기분 탓이 아니었다. 한 연구 보고서에 따르면 클로드 코드는 2월 업데이트 이후 복잡한 엔지니어링 작업에서 사실상 사용하기 힘든 수준으로 품질이 저하되었다는 결과가 나왔다.

요즘 어딜 가나 AI 에이전트라는 단어가 들려온다. 코딩을 대신하고 이메일을 분류하며 심지어 금융 거래까지 실행하는 이 기술은 이미 우리 곁에 깊숙이 들어와 있다. 하지만 정작 우리가 AI 에이전트에게 얼마나 많은 권한을 주고 있는지, 그리고 실제로 그들이 얼마나 자율적으로 움직이고 있는지에 대한 데이터는 부족했다. 최근 앤트로픽(Anthropic)이 발표한 실전에서 AI 에이전트 자율성 측정하기라는 연구는 그래서 더 의미가 깊다. 이 연구는 단순히 AI가 얼마나 똑똑해졌는가를 따지는 게 아니라 사람들이 실제로 얼마나 많은 일을 AI에게 맡기고 있는가를 분석했다. 결과는 꽤나 흥미로웠다. AI의 능력은 이미 충분한데 문제는 우리의 신뢰였다.

이틀 전 Anthropic에서 흥미로운 보고서 하나를 내놨다. 자기들이 만든 Claude가 노동 시장에 어떤 영향을 주고 있는지 직접 조사한 내용이다. 제목은 'Labor Market Impacts of AI’인데, 기존의 추상적인 예측들과는 결이 조금 다르다. 실제로 사람들이 Claude를 어떻게 쓰고 있는지 데이터를 결합해서 분석했기 때문이다. 이 보고서를 보면 겉으로 드러난 숫자보다 그 이면에 숨겨진 신호들이 훨씬 더 무겁게 다가온다. 많은 이들이 인공지능이 인간의 일자리를 당장 빼앗을 것처럼 말하지만, 실제 데이터는 조금 더 복잡하고 교묘한 이야기를 하고 있다.