LLM 벤치마크는 대부분 코딩과 수학에 몰려 있다. 정답이 명확해 채점이 쉽기 때문이다. 그런데 내가 실제로 모델에 가장 많이 시키는 일 중 하나는 글쓰기다. 채점이 어렵다는 이유로 아무도 재지 않는 영역이, 정작 사용량이 가장 많은 영역인 셈이다. 그래서 한국어 글이 얼마나 사람처럼 자연스러운지 측정하는 벤치마크를 직접 만들었다.

OpenRouter에 소속도 이름도 공개되지 않은 스텔스 모델 하나가 올라왔다. Ox Alpha. 며칠 붙여 써본 결론은 단순하다. 응답이 빠르고, 결과물의 수준이 기대 이상이다. 지금은 무료로 열려 있어서 가격 비교 자체가 불가능한데도, 나는 이번 주 작업 대부분을 이 모델에 맡겼다.

요즘 공개 벤치마크는 식상하고 오염된 느낌이 든다. 점수는 매일 오르는데, 내가 시키는 일에서는 그 순위가 자주 깨진다. 그래서 나는 남이 만든 표 대신, 내가 볼 수 있는 테스트를 하나 만들었다.

모델 평가 글을 보면 잘 알려진 벤치마크 순위만 나열하고 끝나는 경우가 많다. 그 수치에 휘둘리면 실제 내 작업에서는 실망하기 쉽다. 그래서 나는 최근 나만의 테스트를 만들기 시작했다. "테스트 코드"가 아니라, 그래픽 응답의 세밀함을 확인하는 SVG 기반 문제들이다. 다리미질하는 새, 설거지하는 너구리 같은 이미지를 모델이 얼마나 정확히 재현하는지 보는 식이다.