이 글에 제휴 링크는 없습니다. 본문의 모든 외부 링크는 출처 확인용 원문 링크이며, 필자는 ZML을 포함한 어떤 회사와도 금전적 이해관계가 없습니다.
확인 시점: 이 글의 지원 모델 목록·가격·기능 제약은 2026년 9월 1일에 확인한 것입니다. 알파 단계 제품이라 몇 주 만에 바뀔 수 있으니, 도입을 검토한다면 아래 링크의 원문을 다시 열어보시길 권합니다.
클라우드 콘솔에 H100은 “재고 없음"이 떠 있고, 같은 화면 두 칸 아래 MI300X는 지금 당장 잡을 수 있다. 커서는 그 위에서 멈춘다. 누를 수가 없다. 우리 추론 서버가 CUDA 위에서만 돌기 때문이다.
이게 지난 3년간 “칩을 바꾼다"는 말의 실제 의미였다. 카드를 바꾸는 게 아니라 코드를 바꾸는 것. 커널을 다시 짜고, 드라이버 버전을 맞추고, 새벽 세 시에 빌드 로그가 초록으로 끝나기를 기다리는 것. 그래서 대부분의 팀은 견적서 앞에서 아무 말도 못 한다. 협상 카드가 한 장도 없는 쪽은 부르는 값을 낸다.
파리의 스타트업 ZML이 7월 8일, 그 문장을 지우겠다며 추론 서버 하나를 공짜로 풀었다. 이름은 LLMD. NVIDIA CUDA·AMD ROCm·Google TPU·Intel·Apple Metal — 다섯 종류의 백엔드에서 같은 서버가 돈다고 한다(TechCrunch, 창업자 발표). 그런데 회사는 그걸로 언제 돈을 벌지 아직 정하지 않았다고 말한다. 창업자 스티브 모랭(Steeve Morin, 스냅이 인수한 Zenly의 전 엔지니어링 VP)의 표현을 그대로 옮기면 *“먼저 측정하고, 가장 효과적인 곳에서 수익을 내겠다”*는 것이다.
2천만 달러를 투자받은 회사(20VC 주도, Kima Ventures·LocalGlobe 참여)가 첫 제품의 가격표를 비워둔 채 내놓는 건, 팔 물건을 못 정해서가 아니다. 지금 팔아야 할 게 제품이 아니라 습관이기 때문이다. 락인은 기술이 아니라 근육 기억으로 유지된다. 엔지니어가 견적을 볼 때 NVIDIA 칸만 쳐다보는 습관, GPU를 고를 때 성능표가 아니라 우리 코드가 도는 곳부터 확인하는 습관. LLMD가 무료인 이유는 자선이 아니라, 그 습관 하나를 깨는 것이 이 회사가 가진 유일한 사업 계획이라서다. 습관이 깨진 뒤에 뭘 팔지는 나중에 정해도 늦지 않다.
그러니 이 제품을 “빠른 추론 서버"로 읽으면 절반을 놓친다. LLMD가 파는 건 토큰당 속도가 아니라 견적서 앞에서의 자세다. 옆 랙에서 놀고 있는 MI300X를 실제로 누를 수 있게 되는 순간, 같은 벤더와의 대화가 달라진다.
값은 물론 공짜가 아니다. 대금은 다른 통장에서 빠진다. LLMD는 오픈소스가 아니고, 회사가 직접 “알파"라고 못 박은 기술 프리뷰다. 즉 락인을 깨는 실험의 비용을 — 크래시와 회귀와 어느 날 바뀌는 API의 형태로 — 우리 프로덕션이 대신 낸다. 무료 제품에서 진짜 값을 치르는 곳은 언제나 청구서가 아니라 온콜 알림이다.
지금 확인되는 사양은 이렇다. 모델은 Llama·Gemma·Qwen·Mistral 계열, 기능은 연속 배칭(continuous batching)·프리픽스 캐싱·텐서 병렬 샤딩·툴 콜링·Prometheus 메트릭. 엔진 자체는 Zig와 MLIR, Bazel 위에 올려 만들었다(ZML 공식, github.com/zml/zml). 프로덕션 서버가 갖춰야 할 목록으로는 빠진 게 별로 없어 보인다 — 목록만 보면 그렇다.
이 글은 세 가지에 답한다. ① 어떻게 켜는가(설치 명령과 최소 예제), ② 얼마를 아끼는가(실제 시간당 단가로 계산), ③ 지금 갈아탈 이유가 있는가(vLLM·SGLang·TensorRT-LLM·Ollama와의 비교).
1. 일단 켜보기 — docker 한 줄
가장 빠른 경로는 컨테이너다. 이미지는 Docker Hub의 zmlai/llmd에 올라와 있고, NVIDIA 장비 기준으로는 여느 추론 서버와 같은 모양 — GPU를 컨테이너에 물리고, 모델 이름을 넘기고, 포트 하나를 여는 — 으로 뜬다. 실행 플래그는 알파 단계에서 자주 바뀌므로 명령줄은 반드시 공식 문서의 현재 판을 따른다. 남의 블로그에 박제된 명령줄을 복사하는 순간, 우리가 쓰는 건 오늘의 LLMD가 아니라 누군가의 7월이다.