비싼 GPU로 거의 공짜인 지능을 돌리는 아이러니

개인이 DGX Spark 두 대를 사서 DeepSeek V4 Flash를 직접 서빙하겠다는 이야기를 보면, 기술적으로는 이해되고 경제적으로는 이상하다. 거의 공짜에 가까운 지능을 돌리려고 비싼 하드웨어를 사는 꼴이기 때문이다.

Flash급 모델의 가치는 똑똑함 하나보다 싼 가격, 빠른 응답, 실패했을 때 다시 물어봐도 부담이 없다는 점에 있다. 그 모델을 집이나 사무실에 GPU를 들여 돌리면 전기, 소음, 고장, 드라이버, 주말 점유율까지 같이 산다. 클라우드 API로 쓰면 그 운영을 안 해도 된다. 내가 Flash를 충분하다고 느끼는 이유는 성능이 최고여서가 아니라, 반복 작업의 단가가 낮아서다. 그 단가를 올리면서까지 하드웨어를 소유할 이유는 거의 없다.

물론 직접 서빙이 맞는 경우도 있다. 데이터를 밖으로 못 보내는 환경, 지연을 밀리초 단위로 조여야 하는 제품, 모델을 고쳐서 쓰는 연구. 그런 제약이 없는데 "내 장비로 모델을 돌린다"는 이미지만 따라가면, 지능은 싸게 사고 인프라는 비싸게 사는 역전이 된다.

나는 인퍼런스 서빙 일 자체에는 관심이 있다. 다만 개인 스택에서는 반대 방향으로 간다. 비싼 상자를 소유하는 대신, 이미 싼 지능을 필요한 만큼만 부른다. 하드웨어를 사고 싶다면 그 이유가 “거의 공짜인 모델을 돌리기 위해서”여서는 안 된다.