코드는 재는데 글은 아무도 재지 않았다

LLM 벤치마크는 대부분 코딩과 수학에 몰려 있다. 정답이 명확해 채점이 쉽기 때문이다. 그런데 내가 실제로 모델에 가장 많이 시키는 일 중 하나는 글쓰기다. 채점이 어렵다는 이유로 아무도 재지 않는 영역이, 정작 사용량이 가장 많은 영역인 셈이다. 그래서 한국어 글이 얼마나 사람처럼 자연스러운지 측정하는 벤치마크를 직접 만들었다.

결과는 예상과 상당히 달랐다. 코딩 순위와 글쓰기 순위가 일치하지 않았고, 비싼 모델이 자동으로 좋은 글을 쓰는 것도 아니었다. 어떤 저가 모델은 문장은 매끄러운데 특유의 번역체 리듬이 계속 새어 나왔다. 반대로 상위 모델 중 하나는 압도적으로 자연스러운 한국어를 냈다. 코딩 벤치마크만 보고 글쓰기 모델을 고르던 관행이 왜 어긋났는지 알 수 있었다.

측정의 어려움은 여전히 남는다. 자연스러움을 어떻게 정량화하느냐는 문제가 쉽지 않다. 다만 완벽한 척도를 기다리는 것보다, 내 용도에 맞는 거친 척도를 지금 갖는 편이 낫다. 내가 쓰는 문체, 내가 다루는 주제, 내가 싫어하는 상투구가 기준에 들어가야 결과가 쓸 만해진다.

공개 벤치마크는 학습 데이터에 섞여 오염되기 쉽다는 문제도 있다. 직접 만든 테스트는 적어도 그 위험이 낮다. 모델이 훈련 중에 본 적 없을 과제를 던져야 실력의 차이가 드러난다.

결론은 단순하다. 남이 재주지 않는 항목이 내 업무의 핵심이라면, 그 항목은 내가 재야 한다.