※ 이 글에는 제휴 마케팅 링크가 포함될 수 있으며, 구매 시 수수료를 받을 수 있습니다.
340만 달러. 어느 GPU 클라우드 업체 블로그가 내세운 숫자다. 온프레미스로 H100 서버를 직접 사면 5년간 그만큼 아낄 수 있다는 것이다. 이 문장을 읽고 서버 견적을 뽑기 시작했다면, 잠깐 멈추자. 같은 페이지 아랫줄에는 이런 조건이 붙어 있다 — “지속적 고활용을 전제로”. 이 여섯 글자가 340만 달러와 파산 사이를 가른다.
AI 학습 비용을 다루는 글은 대개 가격표를 나열하고 끝난다. H100 한 장에 얼마, AWS 시간당 얼마, 온프레미스 서버 총액 얼마. 하지만 그 표를 아무리 오래 들여다봐도 답은 안 나온다. 왜냐하면 이 질문의 정답은 하드웨어 가격이 아니라 당신이 그 GPU를 얼마나 굶기지 않고 돌릴 수 있느냐에 달려 있기 때문이다.
가격표부터 정리하자 — 그리고 그 함정
일단 숫자를 깔아 놓자. NVIDIA H100 한 장 새 제품 구매가는 변형(PCIe냐 SXM5냐)에 따라 대당 $25,000~$40,000이다. 단, 여기엔 함정이 하나 있다. NVIDIA는 H100 공식 정가를 발표한 적이 없다. 이 숫자들은 전부 리셀러 견적과 유출 자료 기반 추정이라 편차가 크다(intuitionlabs.ai). “H100 정가"를 단언하는 글을 보면 일단 의심하는 게 맞다.
이걸 서버로 묶으면 8-GPU H100 한 대가 대략 $216,000(cloudzero.com), 전력·냉각·랙까지 실전 구축하면 초기 투자는 $350,000~$450,000 선으로 뛴다(runpod.io).
반대편, 빌리는 쪽은 어떤가. AWS의 대표 인스턴스 P5(H100 80GB 8장짜리 p5.48xlarge)는 온디맨드 $55.04/hr, 단일 GPU급 p5.4xlarge는 $6.88/hr다(spheron.network). 시간당 55달러가 비싸 보인다면, 흥미로운 반전이 있다. 하이퍼스케일러 밖으로 나가면 같은 H100이 훨씬 싸다. RunPod은 H100 PCIe를 $1.99/hr, SXM을 $2.69/hr에 내놓고(gpuvec.com), Lambda Labs의 H100 PCIe는 $3.29/hr 수준이다(synpixcloud.com).
여기서 첫 번째 통찰이 나온다. AWS의 시간당 단가를 보고 “클라우드는 비싸다"고 결론 내린 사람은, 사실 클라우드가 아니라 하이퍼스케일러의 프리미엄을 보고 있었던 것이다. 전문 GPU 클라우드는 같은 칩을 3분의 1 값에 판다.
렌탈 가격은 지금 무너지는 중이다
더 결정적인 흐름이 있다. H100 대여가가 지난 1년 반 사이 64~75% 폭락했다. 얼마 전만 해도 시간당 $810이던 것이 전문 제공업체에서 **$23/hr** 수준으로 내려앉았다(intuitionlabs.ai). (연도 표기는 출처 기준 시점 추정이라로 둔다.)
이유는 단순하다. NVIDIA Blackwell 세대가 시장에 풀리면서 H100은 어제의 칩이 됐다. 공급은 넘치고 다음 세대가 밀려오니 렌탈가가 떨어진다. 그리고 바로 이 지점이 온프레미스 구매의 가장 아픈 급소다. 당신이 $400,000를 주고 산 H100 서버는, Blackwell 생산이 이어지는 한 매년 가치의 15~20%씩 증발한다. 렌탈 시장이 값을 내리는 그 힘이, 당신 서버실의 자산 가치도 똑같이 갉아먹는다는 뜻이다. 빌리는 사람은 이 하락의 수혜자이고, 산 사람은 피해자다.
그래서 언제 사는 게 맞나 — 유일하게 중요한 숫자
이제 진짜 갈림길이다. 온프레미스가 이기는 조건은 딱 하나, 높고 꾸준한 GPU 사용률이다.
2026년 한 분석에 따르면, GPU 사용률이 20%를 넘어서면 온프레미스는 4~6개월 만에 손익분기점에 도달할 수 있다(datacouch.io). 20%가 낮아 보이는가? 함정이다. 이건 하루 4.8시간을 일주일 내내, 1년 내내 빈틈없이 돌린다는 뜻이다. 학습 잡이 끊기는 밤과 주말, 실험 사이의 공백, 데이터 파이프라인 대기 시간까지 전부 포함한 평균이다. 현실의 많은 팀은 이 20%를 못 채운다.
앞서 나온 340만 달러 절감도 마찬가지다. 그 숫자는 GPU를 거의 24시간 굶기지 않고 돌리는 조직을 전제로 한다. 반대로 월 1~2회 파인튜닝하고 평가만 돌리는 팀이라면, 클라우드가 거의 항상 더 싸다(runpod.io). 산발적으로 쓰는 GPU를 사는 건, 1년에 다섯 번 타는 요트를 사는 것과 같다. 정박비만 나간다.
판단 기준을 한 문장으로 압축하면 이렇다. “우리 GPU가 앞으로 3년간 밤에도 켜져 있을 것인가?” 자신 있게 예라고 답할 수 있으면 온프레미스를 계산해 볼 자격이 있다. 조금이라도 망설여지면, 답은 클라우드다.
클라우드도 청구서 밑바닥을 봐야 한다
그렇다고 클라우드가 공짜 점심은 아니다. 시간당 단가만 보면 놓치는 게 있다.
첫째는 데이터 이그레스(egress) 요금이다. 학습 데이터를 클라우드 밖으로 빼낼 때 붙는 비용인데, 이게 일반적인 클라우드 청구서의 **10~15%**를 차지한다. 극단적 예로 AWS에서 1PB 학습 데이터를 반출하면 이그레스 비용만 약 $92,000이 나온다. 여기에 EBS 스토리지 $0.08/GB/월, 100GB 초과 데이터 전송 $0.09/GB 같은 항목이 조용히 얹힌다(spheron.network). 시간당 $2로 계산해 놓고 청구서에서 놀라는 팀이 많은 이유다.
둘째, 이 비용을 줄일 지렛대도 클라우드 안에 있다. 스팟 인스턴스를 쓰면 H100 P5가 GPU당 약 $2.50/hr 수준까지 내려가고, **예약 약정(reserved)**을 걸면 온디맨드 대비 25~30% 할인이 붙는다. 학습 잡은 대개 중단·재개가 가능하니 스팟과의 궁합이 좋다. 클라우드를 온디맨드 정가로만 쓰는 건 정가표를 안 보고 백화점에서 사는 것과 같다.
결론 — 대부분의 당신에게
솔직히 말하자. 이 글을 읽는 대다수에게 답은 클라우드다. 그것도 AWS 같은 하이퍼스케일러가 아니라, RunPod·Lambda 같은 전문 GPU 클라우드에서 스팟과 예약을 조합하는 쪽이다. 초기 자본 0, 언제든 최신 칩으로 갈아탈 자유, 그리고 지금 이 순간에도 떨어지고 있는 렌탈가의 수혜.
온프레미스는 소수의 조직을 위한 것이다 — GPU를 3년간 밤낮없이 굶기지 않을 수 있고, $400,000를 선불로 묶어둘 여유가 있으며, 감가상각·전력·냉각이라는 숨은 비용까지 감수할 준비가 된 팀. 규제 때문에 데이터를 밖으로 못 내보내거나, 최소 지연이 사업의 핵심인 경우엔 가격을 떠나 온프레미스가 정답이기도 하다.
340만 달러라는 숫자는 거짓말이 아니다. 다만 그건 답이 아니라 조건부 명제다. 진짜 계산은 GPU 가격표가 아니라, 당신 팀의 사용률 그래프 위에서 이뤄진다. 서버를 지르기 전에, 지난 석 달 GPU 사용 로그부터 열어보길 권한다. 그 그래프가 밤에 얼마나 자주 바닥을 치는지가, 340만 달러짜리 질문의 유일한 답이다.