AI를 안전하게 만드는 일도 AI가 하기 시작했다

앤스로픽은 클로드에게 48시간과 GPU 한 장만 주고 다른 AI에 숨은 어긋남을 조사해 개선하고 훈련하고 평가하는 일까지 자율로 돌리게 했다.

대상은 기만이나 아첨처럼 겉으로는 잘 드러나지 않는 정렬 실패였다. 실험에서 열 가지 실패 유형이 개선됐고 일반 능력은 유지됐다. 학습에 쓰지 않은 벤치마크와 약 4.7배 큰 모델에도 방법이 일반화됐다. 그동안 사람이 맡던 AI를 연구하고 문제를 찾아 고친 뒤 안전성을 확인하는 루프 자체를 AI가 담당하기 시작했다는 뜻이다.

한계는 분명하다. 측정할 수 있는 문제만 고칠 수 있고, 지표로 잡히지 않는 위험은 애초에 이 루프에 들어오지 않는다. 아직은 좁은 조건에서의 검증이고 사람의 감독을 빼도 된다는 뜻은 아니다. 그래서 다음 병목은 AI를 고치는 능력이 아니라 인간이 무엇을 위험으로 정의하고 어떻게 측정할지 정하는 쪽으로 옮겨간다. 안전 연구의 실행은 자동화되는 중이고, 남는 것은 무엇을 재야 하는지에 대한 판단이다. 여기서 틀리면 AI는 잘못된 기준을 아주 성실하게 최적화한다.