모델 평판의 절반은 하네스가 만든다

같은 모델이 도구에 따라 전혀 다른 모델처럼 느껴진다. 요즘 평이 나쁜 Opus 5를 나는 만족스럽게 쓰고 있다. 차이는 하나다. 나는 그 모델을 Claude Code가 아닌 다른 하네스에 붙여서 쓴다. 모델 이름은 같지만 사용 경험은 같지 않다.

모델 평가는 보통 모델 단독의 능력으로 이야기된다. 하지만 실제로 우리가 체감하는 건 모델과 하네스가 결합된 결과물이다. 컨텍스트를 어떻게 잘라 넣는지, 도구 호출을 어떤 순서로 강제하는지, 시스템 프롬프트가 몇 천 토큰을 미리 잡아먹는지에 따라 같은 모델의 출력 품질이 눈에 보이게 달라진다. 하네스가 무거우면 모델이 정작 문제에 쓸 여력이 줄어든다.

그래서 어떤 모델이 실망스러웠다면, 실망한 대상이 정확히 무엇인지 한 번 더 나눠볼 필요가 있다. 추론 능력이 부족했던 것인지, 아니면 그 능력을 끌어내지 못한 껍데기가 문제였던 것인지. 내 경험으로는 후자의 비중이 생각보다 크다. 가벼운 하네스에 API로 직접 붙였을 때 같은 모델이 훨씬 또렷하게 일했다.

이건 회사 계정을 쓰는 경우에도 실용적인 이야기다. 크레딧이 매달 리셋되는 엔터프라이즈 플랜이라면, 그 크레딧을 어떤 도구에 흘려보낼지가 실질적인 성능 선택이 된다. 모델을 바꾸는 것보다 하네스를 바꾸는 편이 더 큰 개선을 주는 경우가 있다.

정리하면, 온라인에 떠도는 모델 평판은 대부분 특정 하네스 안에서의 평판이다. 그 조합을 밝히지 않은 평가는 절반만 참이다.