AI가 스스로 연구하는 시대
요즘 오픈소스 생태계를 보고 있으면 기묘한 기분이 든다. 예전에는 코드를 기여한다는 것이 인간과 인간 사이의 존중과 신뢰를 바탕으로 이루어지는 행위였다. 하지만 지금은 그 신뢰의 고리가 삐걱거리는 소리가 들린다. AI가 코드를 생성하기 시작하면서 기여의 질이 아니라 양이 압도적인 비중을 차지하게 되었기 때문이다. 지금 오픈소스는 AI에게 잠식당하고 있는 것이 아니라 오염당하고 있다. 이것은 단순한 단어의 차이가 아니라 생태계 전체의 구조적 붕괴를 의미한다.
최근 GitHub을 보면 AI가 생성한 Pull Request(PR)가 홍수처럼 쏟아지고 있다. 메인테이너들은 이제 코드를 검토하는 시간보다 AI가 대충 만든 기여를 걸러내는 데 더 많은 시간을 쓴다. 심지어 이런 AI 기여를 거부하기 위한 표준 프로토콜을 만들어야 한다는 목소리까지 나오고 있다. 예전에는 기여를 더 잘 받기 위한 가이드라인이 필요했다면, 이제는 기여를 더 효율적으로 거절하기 위한 문서를 작성하는 셈이다. AI는 PR 하나를 만드는 데 단 3초면 충분하다. 하지만 메인테이너가 그 코드를 꼼꼼히 검토하고 잠재적인 버그나 보안 취약점을 찾아내는 데는 최소 30분이 걸린다. 10배 차이도 아니고 600배가 넘는 비용의 차이가 발생한다. 그리고 그 비용은 고스란히 인간 메인테이너가 감당해야 한다. 원래 오픈소스는 기여의 비용이 낮아서 유지될 수 있었는데, 이제는 거절의 비용이 기여의 비용보다 훨씬 높아진 기형적인 구조가 되었다.
이런 혼란스러운 상황 속에서 안드레 카파시가 공개한 ‘autoresearch’ 프로젝트는 우리에게 또 다른 충격을 준다. 그는 이제 AI 연구는 더 이상 사람이 하는 것이 아니라고 말한다. 과거에는 인간이 밥 먹고 잠자며 가끔 회의를 통해 지식을 공유하며 연구를 진행했지만, 그 시대는 이미 끝났다는 것이다. 이제 연구는 하늘 위에 떠 있는 거대한 컴퓨팅 클러스터에서 자율적인 AI 에이전트 무리가 수행하는 영역이 되었다. 카파시는 에이전트들이 자신들의 코드 베이스가 이미 10,205번째 세대에 도달했다고 주장하지만, 그 코드가 이제는 인간의 이해를 넘어선 자기 수정 바이너리로 성장했기 때문에 누구도 그것이 맞는지 틀린지조차 알 수 없게 되었다고 설명한다. 이 이야기는 소설처럼 들리지만, 그가 공개한 실제 코드는 이미 그 방향을 향해 달려가고 있다.
카파시의 프로젝트 핵심 아이디어는 매우 단순하면서도 강력하다. AI 에이전트에게 실제 LLM 학습 환경을 제공하고, 밤새도록 스스로 실험하게 만드는 것이다. 에이전트는 코드를 수정하고, 약 5분 동안 학습을 진행한 뒤, 결과가 개선되었는지 확인한다. 만약 성능이 좋아졌다면 그 수정을 유지하고, 그렇지 않다면 버린다. 그리고 이 과정을 무한히 반복한다. 사람이 아침에 일어나서 확인하는 것은 그동안 진행된 수많은 실험 로그와 그 결과로 탄생한 더 뛰어난 모델뿐이다. 여기서 연구자는 더 이상 파이썬 파일을 직접 건드리지 않는다. 대신 에이전트에게 컨텍스트를 제공하는 마크다운 파일인 'program.md’를 수정함으로써 프로그램을 프로그래밍한다. 이것은 기존의 개발 방식과는 완전히 다른 차원의 접근이다.
이 저장소의 구조를 살펴보면 카파시가 얼마나 의도적으로 설계를 단순화했는지 알 수 있다. 파일은 단 세 개가 핵심이다. 'prepare.py’는 상수를 설정하고 데이터를 준비하며 토크나이저를 학습시키는 등 수정되지 않는 기반 환경이다. 'train.py’는 에이전트가 마음껏 주무를 수 있는 놀이터다. 여기에는 GPT 모델의 구조, 옵티마이저, 학습 루프가 모두 포함되어 있다. 에이전트는 아키텍처부터 하이퍼파라미터, 배치 사이즈까지 모든 것을 바꿀 수 있다. 마지막으로 'program.md’는 인간이 에이전트에게 내리는 지시서다. 인간은 에이전트에게 무엇을 목표로 해야 하는지, 어떤 방향으로 실험을 진행해야 하는지를 이 파일을 통해 전달한다.
흥미로운 지점은 5분이라는 고정된 시간 예산이다. 카파시는 사용자의 컴퓨팅 환경에 상관없이 학습 시간을 딱 5분으로 제한했다. 이는 실험의 효율성을 극대화하기 위한 선택이다. 5분마다 하나의 실험이 완료된다면 한 시간에 12번, 하룻밤 사이에 약 100번의 실험이 가능하다. 이 방식의 장점은 모델의 크기나 구조가 바뀌더라도 동일한 시간 내에 가장 최적의 성능을 내는 조합을 찾아낼 수 있다는 것이다. 비록 다른 사람의 결과와 직접적으로 비교하기는 어렵겠지만, 적어도 자신의 하드웨어에서 5분이라는 시간 안에 도달할 수 있는 한계치를 AI가 스스로 찾아내게 된다. 성능 지표로는 밸리데이션 데이터의 바이트당 비트수(val_bpb)를 사용하는데, 이는 어휘 사전의 크기와 상관없이 아키텍처의 변화를 공정하게 비교할 수 있게 해준다.
만약 강력한 H100 GPU가 없는 일반 사용자들이 이 실험을 해보고 싶다면 몇 가지 방법이 있다. 카파시는 MacOS나 윈도우 환경을 위한 포크 버전을 참고하라고 권장한다. 성능이 낮은 환경에서는 데이터셋의 엔트로피를 낮추기 위해 TinyStories 같은 데이터셋을 사용하는 것이 좋다. 어휘 사전 크기를 줄이고, 시퀀스 길이를 256 정도로 낮추며, 모델의 깊이를 조정하는 식의 튜닝이 필요하다. 이런 구체적인 가이드까지 제공하는 것을 보면, 그는 이미 개인이 자신의 컴퓨터에서 AI 연구원을 고용하는 시대가 왔음을 예견하고 있는 듯하다.
하지만 여기서 다시 근본적인 질문으로 돌아가게 된다. AI가 오픈소스에 기여하는 것을 넘어, 이제 AI가 오픈소스 그 자체를 만드는 단계로 진입한다면 우리는 그것을 어떻게 받아들여야 할까. 카파시가 묘사한 2026년의 미래처럼, 인간이 이해할 수 없는 방식으로 수만 번 수정된 코드가 '최적’이라는 이름으로 배포될 때, 우리는 그 코드를 신뢰할 수 있을까. 메인테이너가 막아야 할 대상이 단순히 스팸성 PR 하나가 아니라, 초당 수천 번의 실험을 쏟아내는 자동화된 연구 에이전트가 된다면 오픈소스의 신뢰 구조는 버틸 재간이 없다.
오픈소스의 진정한 가치는 코드를 공유하는 것을 넘어, 그 코드를 둘러싼 인간들의 철학과 고민을 공유하는 데 있었다. 하지만 이제 그 자리를 효율성과 데이터가 대체하고 있다. AI가 생성한 코드가 생태계를 오염시키고 있다는 나의 우려는 단순히 양이 많아져서가 아니다. 코드가 탄생하는 과정에서 '인간의 의도’가 거세되고 있기 때문이다. AI 에이전트가 수정한 'train.py’는 성능 지표를 낮추는 데는 성공하겠지만, 왜 그렇게 수정했는지에 대한 논리적인 설명은 생략될 가능성이 크다. 결국 우리는 결과물은 좋지만 속을 알 수 없는 블랙박스 형태의 코드와 마주하게 될 것이다.
관련 글
AI가 스스로 연구하는 시대