다음 단어를 예측할 뿐이라는 반박의 한계

AI는 다음 단어를 예측할 뿐이니 한계가 있다는 말은, 메커니즘 설명과 능력의 상한을 섞는다. 그 둘은 같은 문장이 아니다.

LLM 학습의 중심에 다음 토큰 예측이 있는 것은 맞다. 그렇다고 거기서 얻는 능력의 천장이 바로 정해지지는 않는다. 인간도 태어날 때부터 정리를 아는 게 아니다. 말과 경험과 타인의 생각을 압축해 내부 모델을 만들고, 아직 아무도 안 한 말을 생각해 왔다. 뉴턴도 아인슈타인도 기존 지식과 완전히 끊긴 곳에서 발견하지 않았다. 이미 있던 관측을 다른 조합으로 재구성했다.

중요한 것은 중앙값을 재생한다는 사실보다, 중앙값에서 의도적으로 벗어나는 탐색을 얼마나 설계하는가다. 평범한 답을 빼고, 기존 가설과 모순되는 설명만 찾고, 가설 천 개를 만들어 반증하라. 탐색 공간만 바꿔도 출력이 달라진다. 검색과 코드와 여러 에이전트의 비판이 붙으면 한 번의 예측이 아니라 예측-가설-검증 루프가 된다. 볼 한계는 예측하는가가 아니라, 그 예측으로 얼마나 넓게 탐색하고 현실에서 검증하는가다.