벤치마크가 오염됐다면 직접 재면 된다

요즘 공개 벤치마크는 식상하고 오염된 느낌이 든다. 점수는 매일 오르는데, 내가 시키는 일에서는 그 순위가 자주 깨진다. 그래서 나는 남이 만든 표 대신, 내가 볼 수 있는 테스트를 하나 만들었다.

내가 쓰는 건 SVG와 AST를 보는 작은 시험이다. 모델에게 같은 그림을 그리게 하고, 결과물을 눈으로 비교한다. 표본은 작고, 이 테스트만으로 모델을 평가할 수는 없다. 그래도 다른 사람의 말에 휘둘리지는 않는다. 광고성 리더보드보다, 내가 내일 다시 시킬 작업에서의 결과가 의사결정에 더 가깝다. 순위표는 판매용이고, 내 테스트는 내일 쓸 도구를 고르는 용도이다.

팀에도 같은 논리가 적용된다. 공식 벤치 1등을 사는 대신, 우리 코드베이스에서 한 시간짜리 미니 벤치를 돌리는 편이 싸다. 완벽한 평가가 목적이 아니다. 휘둘리지 않을 기준 하나를 갖는 것이 목적이다. 측정하지 않으면, 결국 가장 큰 목소리의 점수를 사게 된다. 내가 만든 시험이 허술해도, 남의 시험에 내 일을 맡기는 것보다는 낫다.