※ 이 글에는 제휴 마케팅 링크가 포함될 수 있으며, 구매 시 수수료를 받을 수 있습니다.
같은 문제를 풀면서 한 모델은 67,020토큰을 뱉었고, 다른 모델은 15,954토큰으로 끝냈다. 정답률은 오히려 적게 쓴 쪽이 높았다.
이게 Grok 4.5를 둘러싼 소동의 전부다. 벤치마크 1위도 아니고, 컨텍스트가 제일 큰 것도 아니고, 심지어 사실 정확도는 뒷걸음질쳤다. 그런데도 사람들이 이 모델 얘기를 멈추지 않는 이유는 하나다 — 같은 일을 4분의 1의 말수로 해낸다는 것.
그리고 이 글의 다른 주인공, GPT-4o에 대해 먼저 솔직해질 필요가 있다. 이 비교는 공정한 매치가 아니다.
시작부터 인정하고 가자: 링이 다르다
GPT-4o는 2024년 5월 13일 OpenAI Spring Updates에서 발표된 멀티모달 플래그십이었다. 당시엔 충격이었다. 텍스트·이미지·오디오를 한 모델이 네이티브로 받아넘기고, 사람과 대화하듯 끊김 없이 음성으로 응답하는 데모는 업계 기준선을 통째로 옮겼다.
그게 2년 전이다.
지금 OpenAI 공식 모델 문서를 열면 GPT-4o의 스펙은 이렇다. 컨텍스트 128K, 출력 최대 16K, 지식 컷오프 2023년 10월, 입력은 텍스트·이미지, 출력은 텍스트. 그리고 2026년 7월 현재 OpenAI API 가격 페이지에는 GPT-4o가 더 이상 게재되지 않는다. GPT-5.6 계열이 주력으로 올라와 있다.
가격표에서 이름이 빠진 모델. 이건 사실상 레거시 취급이라고 봐야 한다.
그러니 “Grok 4.5가 GPT-4o보다 낫냐"는 질문은 답이 뻔하다. 진짜 물어야 할 건 이거다. 2년 만에 무엇이 바뀌었고, 그 변화가 우리에게 뭘 요구하는가.
Grok 4.5는 ‘똑똑한 모델’이 아니라 ‘싸게 일하는 모델’이다
벤치마크를 순서대로 보면 이상한 그림이 나온다.
Terminal Bench 2.1에서 Grok 4.5는 83.3%를 기록했다. GPT-5.5가 83.4%, Fable 5가 84.3%. 사실상 동률이고, 1위와는 1점 차다. Coding Agent Index도 76점으로 GPT-5.5와 동률.
그런데 같은 출처의 DeepSWE 1.1에서는 53%. GPT-5.5는 67%, Fable 5는 70%다. 14~17점 차이는 오차가 아니라 계급 차이다.
그리고 Snorkel AI가 돌린 SWE Marathon — 실제 직무에 가까운 장기 과제 벤치마크 — 에서는 해결률 29.0%로 Opus 4.8(26.0%), Fable(24.0%)을 앞섰다.
한 모델이 어떤 시험에선 1등을 하고 어떤 시험에선 꼴찌 근처에 있다. 이건 모델이 불안정하다는 뜻이 아니라, 벤치마크마다 측정하는 게 다르다는 뜻이다. 그리고 Grok 4.5가 잘하는 쪽에는 공통점이 있다. 터미널을 쥐고, 여러 턴에 걸쳐, 실제 리포지토리에서 뭔가를 고치는 일. 즉 에이전트 작업이다.
반대로 못하는 쪽은 순수한 추론 밀도를 재는 시험이다. Artificial Analysis Intelligence Index는 54점 — 동급 가격대 추론 모델 평균은 넘지만 프론티어는 아니다.
여기서 핵심 수치가 등장한다. SWE Bench Pro 과제당 평균 출력 15,954토큰. Opus 4.8은 67,020토큰. 약 4.2배 차이다.
지갑으로 환산하면 이야기가 달라진다
숫자를 붙여보자.
Grok 4.5 API는 입력 100만 토큰당 $2, 출력 $6다. 캐시된 입력은 $0.50로 75% 할인된다.
출력 단가만 봐도 Grok이 40% 싸다. 그런데 진짜 격차는 단가가 아니라 소비량에서 벌어진다. 출력 토큰을 4분의 1만 쓰는 모델은, 단가가 같아도 청구서가 4분의 1이다. 단가까지 싸면 곱셈으로 벌어진다.
에이전트를 하루 수백 번 돌리는 팀이라면 이 차이는 월말 카드값의 자릿수를 바꾼다. 반대로 하루에 대화 몇 십 번 하는 사람에게는 소수점 뒤의 얘기다. 토큰 효율은 규모가 있는 사람에게만 무기다. 이 구분을 안 하고 “Grok이 싸다"고 말하는 글은 절반만 맞다.
컨텍스트도 짚고 가야 한다. Grok 4.5는 500,000토큰이다. 넉넉하다. 그런데 전작 Grok 4.3은 100만 토큰이었다. 절반으로 줄었다. GPT-5.6의 약 1.05M보다 작다. 게다가 200K를 초과하는 요청은 요금이 2배 가산된다. “500K 지원"이라는 말과 “500K를 편하게 쓸 수 있다"는 말 사이에는 청구서만큼의 거리가 있다.
GPT-4o의 128K와 비교하면야 여전히 4배지만, 컨텍스트가 뒷걸음질친 프론티어 모델은 흔치 않다. 효율을 위해 뭔가를 잘라냈다는 신호로 읽힌다.
대가는 이미 청구되고 있다 — 환각률 54%
여기가 이 글에서 가장 중요한 문단이다.
Grok 4.5의 AA-Omniscience 환각률은 약 54%다. 이전 세대는 25%였다. 두 배 이상 올랐다.
절반이 넘는 확률로 사실을 지어낸다는 뜻이 아니라 — 이 벤치마크는 모델이 모르는 걸 모른다고 말하는지를 잔인하게 캐묻는 시험이다 — 그럼에도 불구하고 퇴보는 퇴보다. 게다가 구체적 증상이 보고되고 있다. 존재하지 않는 함수를 호출하고, 이미 폐기된 API를 쓰고, 세상에 없는 NPM 패키지를 import하는 코드를 생성한다.
이게 왜 뼈아프냐면, Grok 4.5가 가장 잘한다는 영역이 바로 코딩 에이전트이기 때문이다. 자율적으로 파일을 고치고 명령어를 실행하는 에이전트가, 그럴듯한 가짜 패키지 이름을 자신 있게 적어 넣는다. 짧게 쓰는 대신 확신에 차서 틀린다.
여기에 몇 가지가 더 얹힌다.
- 공식 모델 카드가 없다. 런치 페이지에는 순수 추론 벤치마크 점수가 아예 빠져 있다. 잘 나온 숫자만 보여주는 발표는, 안 보여준 숫자가 어땠는지 말해준다.
- EU에서 못 쓴다. EU AI Act의 시스템 리스크 조항에 따라 유럽연합에서 차단돼 있다. 유럽 사용자·고객이 있다면 이건 성능 논쟁 이전의 문제다.
- 네이티브 이미지 생성이 없다. 멀티모달 입력에 텍스트 출력이다. 창작 글쓰기나 톤 매칭에서는 Claude·GPT-4o보다 덜 정교하다는 평가가 있다.
마지막 항목은 GPT-4o가 아직 살아 있는 이유이기도 하다. 레거시로 밀려났어도, 옴니모달 처리와 실시간 음성 대화, Structured Outputs, 그리고 2년간 쌓인 생태계·툴 호환성은 여전히 실물이다. “구형"과 “쓸모없음"은 다른 말이다.
그래서 어떻게 고를 것인가
정리하면 선택 기준은 성능표가 아니라 당신이 하는 일의 모양이다.
에이전트를 대량으로 돌리고, 출력물이 곧 비용이고, 결과를 어차피 테스트가 검증해주는 파이프라인이라면 — Grok 4.5는 지금 시장에서 가성비가 가장 날카로운 축에 든다. 짧게 말하고 빨리 끝내는 성질이 그대로 마진이 된다.
사실 정확도가 결과물의 품질 그 자체인 일 — 리서치, 문서 작성, 고객 응대 — 이라면 환각률 54%는 그냥 넘길 숫자가 아니다. 검색 기반(RAG)을 붙이거나 사람 검토 단계를 반드시 끼워야 한다. 그건 공짜가 아니고, 아낀 토큰값을 도로 까먹을 수도 있다.
그리고 GPT-4o를 아직 쓰고 있다면, 지금은 성능 비교를 할 때가 아니라 마이그레이션 계획을 세울 때다. 지식 컷오프 2023년 10월, 공식 가격표에서 실종. 이 두 신호는 같은 방향을 가리킨다.
마지막으로 이 비교가 남긴 진짜 교훈 하나. 2년 전 우리는 “누가 더 똑똑한가"를 물었다. 지금 물어야 할 건 “토큰당 얼마나 일하는가“이고, 곧 “틀렸을 때 누가 책임지는가“가 될 것이다. Grok 4.5는 첫 번째 질문에 훌륭히 답했고, 두 번째 질문에서는 성적이 나빠졌다. 그 트레이드오프를 알고 고르는 사람과 벤치마크 1등만 보고 고르는 사람의 결과는, 6개월 뒤 청구서와 버그 리포트에서 갈릴 것이다.