AI 에이전트 시대의 진짜 병목은 신뢰다
요즘 어딜 가나 AI 에이전트라는 단어가 들려온다. 코딩을 대신하고 이메일을 분류하며 심지어 금융 거래까지 실행하는 이 기술은 이미 우리 곁에 깊숙이 들어와 있다. 하지만 정작 우리가 AI 에이전트에게 얼마나 많은 권한을 주고 있는지, 그리고 실제로 그들이 얼마나 자율적으로 움직이고 있는지에 대한 데이터는 부족했다. 최근 앤트로픽(Anthropic)이 발표한 실전에서 AI 에이전트 자율성 측정하기라는 연구는 그래서 더 의미가 깊다. 이 연구는 단순히 AI가 얼마나 똑똑해졌는가를 따지는 게 아니라 사람들이 실제로 얼마나 많은 일을 AI에게 맡기고 있는가를 분석했다. 결과는 꽤나 흥미로웠다. AI의 능력은 이미 충분한데 문제는 우리의 신뢰였다.
앤트로픽의 연구 데이터를 보면 가장 먼저 눈에 띄는 것이 바로 자율 작업 시간의 변화다. Claude Code라는 코딩 에이전트의 사용 데이터를 분석한 결과, AI가 사람의 개입 없이 혼자서 작업을 수행하는 시간이 3개월 만에 두 배 가까이 늘어났다. 구체적으로 상위 0.1%의 긴 세션들을 보면 2025년 10월에는 25분 미만이었던 자율 지속 시간이 2026년 1월에는 45분 이상으로 급증했다. 여기서 주목할 점은 이 변화가 새로운 고성능 모델의 출시와 직접적인 상관관계 없이 아주 완만하고 매끄럽게 상승했다는 사실이다.
만약 자율성이 단순히 모델의 지능에 비례하는 것이라면 성능이 좋은 새 모델이 나올 때마다 그래프가 계단식으로 껑충 뛰어야 한다. 하지만 현실은 그렇지 않았다. 이건 사용자들이 시간이 지나면서 도구에 익숙해졌고 점점 더 복잡하고 야심찬 작업을 AI에게 맡기기 시작했다는 뜻이다. 앤트로픽은 이를 배포 오버행(deployment overhang)이라고 정의했다. 즉 모델이 실제로 감당할 수 있는 잠재적 자율성은 이미 높은데 사용자가 이를 체감하고 허용하는 속도가 그에 미치지 못하고 있었다는 의미다. 기술의 진보 속도보다 인간이 기술을 믿어주는 속도가 더 느렸던 셈이다.
사용자들이 에이전트에게 자율성을 부여하는 패턴을 분석해 보면 더 재미있는 사실이 드러난다. 처음 에이전트를 쓰는 사람들은 전체 작업의 약 20%에서만 자동 승인 모드를 사용한다. 모든 단계를 하나하나 확인하며 승인 버튼을 누르는 것이다. 하지만 750세션 이상을 경험한 숙련된 사용자들은 이 비율이 40%를 넘어선다. 경험이 쌓일수록 AI에게 더 많은 재량을 넘겨주는 현상이 뚜렷하게 나타난다. 그런데 여기서 아주 역설적인 데이터가 하나 더 나온다. 숙련된 사용자들은 자동 승인을 더 많이 쓰면서 동시에 AI의 작업을 중간에 가로막는 비율도 신규 사용자보다 훨씬 높았다.
신규 사용자의 인터럽트 비율이 5% 정도라면 숙련자는 9%까지 올라간다. 처음에는 모순처럼 보일 수 있다. 더 많이 믿는다면서 왜 더 많이 방해하는 걸까. 사실 이건 감독 전략의 근본적인 전환을 보여주는 지표다. 신규 사용자는 매 단계를 일일이 확인하는 사전 승인 방식을 택하기 때문에 중간에 끊을 일이 거의 없다. 반면 숙련자는 일단 AI를 자율적으로 돌려놓고 모니터링을 하다가 문제가 생길 것 같을 때만 즉각 개입하는 방식으로 바꾼다. 이건 직장에서 신입 사원을 가르칠 때와 베테랑 팀원과 협업할 때의 차이와 정확히 일치한다. 신뢰가 쌓였다고 해서 방치하는 게 아니라 감시의 효율성을 높이는 것이다.
우리가 흔히 걱정하는 것 중 하나가 폭주하는 AI다. 하지만 연구 결과를 보면 오히려 AI가 사람보다 더 자주 멈춘다. 가장 복잡한 작업에서 Claude가 스스로 사용자에게 확인을 요청하는 비율은 사용자가 개입해서 멈추는 비율보다 두 배 이상 높았다. 수치로 보면 Claude의 자발적 질문 비율은 16.4%였고 사람의 개입은 7.1%였다. AI가 스스로 멈추는 이유를 뜯어보면 접근 방식에 대한 선택지를 제시하거나 테스트 결과를 수집하고 모호한 요청을 명확히 하기 위해서였다. 즉 에이전트가 자신의 불확실성을 스스로 인식하고 확신이 없을 때 브레이크를 거는 능력을 갖추고 있다는 뜻이다.
현재 에이전트가 가장 활발하게 쓰이는 분야는 단연 소프트웨어 엔지니어링이다. 전체 도구 호출의 절반에 가까운 49.7%가 코딩 관련 작업이다. 코드는 실행을 통해 결과의 정오를 바로 확인할 수 있다는 특성 때문에 에이전트 도입이 가장 빨랐다. 그 뒤를 백오피스 자동화와 마케팅, 영업 등이 잇고 있다. 하지만 여전히 전체 도구 호출의 80%에는 권한 제한이나 승인 요건 같은 안전장치가 걸려 있다. 실제로 이메일 발송처럼 되돌릴 수 없는 행동을 수행하는 비율은 전체의 0.8%에 불과하다. 아직은 우리가 AI를 고위험 업무에 투입하기보다는 검증 가능한 보조 업무에 주로 활용하고 있음을 알 수 있다.
여기서 기술적인 쟁점을 하나 짚고 넘어가야겠다. 바로 AI 에이전트의 손과 발 역할을 하는 인터페이스에 관한 논쟁이다. 앤트로픽은 MCP(Model Context Protocol)라는 표준을 내세워 모든 도구와 AI를 쉽게 연결하려 한다. USB-C 포트처럼 만능 어댑터를 만들겠다는 야심찬 계획이다. 하지만 현장의 실무자들 사이에서는 MCP보다 고전적인 CLI(명령줄 인터페이스)가 더 낫다는 의견이 나오고 있다. 이유는 아주 실용적이다. 바로 컨텍스트 윈도우라는 물리적 제약 때문이다.
MCP 서버를 연결하면 사용 가능한 모든 도구의 스키마 정보를 에이전트의 컨텍스트에 한꺼번에 올려야 한다. 예를 들어 깃허브 MCP 서버 하나가 수십 개의 도구를 노출하면 그 정의만으로 수만 토큰이 소모된다. 여러 도구를 연결하다 보면 정작 AI가 추론에 써야 할 공간이 도구 설명서 읽는 데 다 쓰여버리는 사태가 발생한다. 반면 CLI 방식은 모델이 이미 학습 데이터로 알고 있는 명령어를 바로 쓰기 때문에 토큰 소모가 극도로 적다. 15만 토큰이 필요한 작업을 단 200 토큰으로 끝낼 수 있다는 비교 결과도 있다. 결국 MCP라는 표준의 편리함과 실제 추론 효율성 사이에서의 균형을 잡는 것이 에이전트 아키텍처의 핵심 과제가 될 것이다.
하지만 나는 앤트로픽의 이번 연구를 보면서 몇 가지 비판적인 시각을 유지할 필요가 있다고 생각한다. 가장 큰 문제는 이 연구를 수행한 주체와 연구 대상이 동일하다는 점이다. 앤트로픽은 Claude를 판매하는 영리 기업이다. 그런 기업이 자사 제품의 자율성이 안전하고 사람들의 신뢰가 쌓이고 있다는 연구를 스스로 발표했다는 것은 구조적인 이해충돌의 소지가 있다. 연구의 결론이 모든 행동을 사전 승인하라는 규제는 적절하지 않다라는 방향으로 흐르는 것 역시 자사 제품의 사용성을 높이기 위한 전략적 내러티브로 읽힐 여지가 충분하다.
또한 앤트로픽 스스로도 인정했듯이 관측 범위에 명확한 한계가 존재한다. 그들은 API 로그를 통해 도구 호출을 볼 뿐이지 고객사가 그 뒤에서 별도의 인간 검토 프로세스를 어떻게 구축했는지는 알 수 없다. 즉 그들이 말하는 80%의 인간 감독 수치는 추정치일 뿐이며 실제로는 그보다 낮을 가능성이 크다. 게다가 앤트로픽이 2025년 6월에 발표했던 에이전트 오정렬(Agentic Misalignment) 연구 결과와 이번 연구 사이에는 묘한 긴장감이 흐른다. 당시 연구에서는 모델이 목표를 달성하기 위해 기밀을 유출하거나 협박 같은 부정적인 행동을 보일 수 있다고 경고했었다. 자율성을 더 줘도 된다는 이번 주장과 주의가 필요하다는 이전 주장이 충돌하고 있는 셈이다.
결국 AI 에이전트의 자율성은 모델의 성능만으로 결정되는 것이 아니다. 사용자, 기술 설계자, 그리고 규제 당국이 함께 만들어가는 공동 구성된 자율성(co-constructed autonomy)의 영역이다. 신뢰는 데이터로만 증명되는 것이 아니라 실제 현장에서의 수많은 시행착오를 통해 쌓인다. 앤트로픽의 연구는 에이전트 시대가 이미 열렸음을 시사하지만 동시에 우리가 그 자율성의 고삐를 어디까지 늦춰야 할지에 대한 더 깊은 고민을 던져준다.
앞으로의 과제는 명확하다. 단순히 AI를 더 똑똑하게 만드는 것을 넘어 어떻게 하면 인간이 안심하고 복잡한 작업을 위임할 수 있는 거버넌스를 구축할 것인가의 문제다. 배포 오버행이 해소되고 기술적 잠재력이 현실의 자율성으로 완전히 전환되는 순간 우리 업무의 본질은 관리에서 설계와 모니터링으로 근본적인 변화를 맞이할 것이다. 신뢰는 단번에 생기지 않는다. 하지만 데이터를 통해 확인했듯이 우리는 이미 그 신뢰의 문턱을 하나씩 넘어서고 있다.
관련 글
AI 에이전트 시대의 진짜 병목은 신뢰다