결국 사람이 리뷰하지 않는 쪽이 더 안전해진다

역설적이지만 AI 개발은 최종적으로 사람이 리뷰하지 않는 쪽이 더 안전해질지도 모른다. AI가 하루에 수천 번 바꿀 수 있는데 사람이 확인할 수 있는 것이 수십 번이라면, 인간 리뷰 자체가 시스템의 병목이 된다.

변경할 때마다 사람이 코드를 읽고 QA하고 승인하는 설계는 속도에도 안전에도 한계를 만든다. 폭주를 막기 위해 필요한 것은 더 많은 리뷰가 아니라 다른 종류의 장치다. 바꿀 범위를 제한하고, 자동 테스트를 통과시키고, 작게 내보내고, 이상을 상시 감시하고, 위험하면 즉시 멈추고, 문제가 있으면 자동으로 되돌린다. 사람이 보지 않아도 안전하게 실패할 수 있는 구조다.

이건 평범한 소프트웨어 개발로도 내려온다. AI가 사양을 읽고, 구현하고, 테스트하고, 조금만 릴리스하고, 숫자를 보고 아니면 되돌리는 데까지 자율화되면 사람이 매번 리뷰할 필요가 줄어든다. RSI 연구에서 쌓이는 초고속 AI를 어떻게 안전하게 방치할 것인가라는 노하우가, 얄궂게도 개발 공정에서 사람의 승인을 지우는 노하우가 되는 셈이다. AI 시대의 개발 혁명은 코드 쓰는 속도가 100배가 되는 일이 아니라, 사람이 자는 동안에도 안전하게 실패하며 100번 개선되는 일이다.