※ 이 글에는 제휴 마케팅 링크가 포함될 수 있으며, 구매 시 수수료를 받을 수 있습니다.
전화 상담원과 통화할 때, 우리가 가장 못 참는 순간은 목소리가 어색할 때가 아니다. 내 말이 끝나기도 전에 상대가 끼어들거나, 반대로 3초씩 침묵이 흐를 때다. 사람이든 기계든, 대화의 실패는 대부분 ‘음색’이 아니라 ‘타이밍’에서 온다.
OpenAI가 내놓은 새 음성 모델 gpt-realtime를 두고 “드디어 진짜 사람 같다"는 반응이 쏟아지지만, 나는 조금 다른 지점을 본다. 자연스러운 목소리는 이제 놀랍지 않다. 그건 기본값이 됐다. 진짜 이야기는 OpenAI가 음성을 ‘분당 요금이 붙는 API’로 바꿔놓았다는 것, 그리고 그 순간 우리가 풀어야 할 문제가 “어떻게 자연스럽게 말할까"에서 “언제 말하고 언제 침묵할까, 그리고 그게 얼마짜리인가"로 옮겨갔다는 데 있다.
텍스트를 거치지 않는다는 것의 의미
기존 음성 비서의 구조는 셋으로 쪼개져 있었다. 음성을 텍스트로 바꾸고(STT), 텍스트로 답을 만들고, 그 텍스트를 다시 음성으로 읽는다(TTS). 이 세 단계 사이마다 지연이 쌓이고, 무엇보다 ‘말투’가 통째로 증발한다. 당신이 짜증 섞인 목소리로 물어도, 텍스트로 변환되는 순간 그건 그냥 글자가 된다.
gpt-realtime는 이 중간 텍스트 단계를 건너뛰는 음성-음성(speech-to-speech) 모델이다. OpenAI는 이 모델을 “가장 진보한 음성-음성 모델"로 소개하며, 프로덕션급 음성 에이전트를 만들기 위한 Realtime API 업데이트를 함께 공개했다(, OpenAI 공식 발표). 텍스트를 경유하지 않으니 지연이 줄고, 억양·감정 같은 비언어적 정보가 살아남는다. 웃음기 섞인 질문에는 웃음기 섞인 답이, 다급한 톤에는 빠른 호흡의 답이 돌아온다.
여기에 라이브 음성 번역이 붙는다. 내가 한국어로 말하면 상대가 영어로 듣는, 지연 낮은 실시간 통역이다. 소비자용 ChatGPT의 고급 음성 모드(Advanced Voice Mode)에도 이 자연스러운 발화와 실시간 통역 기능이 더해졌다( — 관련 업데이트는 2025년에 이뤄진 것으로 보도됨, AlternativeTo 정리).
말로 설명하면 대단해 보이지만, 실제 개발자 입장에서 이 변화의 핵심은 하나다. 이제 대화의 ‘리듬’을 설계할 수 있게 됐다는 것.
자연스러움은 기능이 아니라 리듬이다
음성 에이전트를 만들어 본 사람이라면 안다. 가장 어려운 건 답변의 내용이 아니라 ‘끼어들기(barge-in)’ 처리다. 사용자가 말을 시작하면 AI는 즉시 입을 다물어야 하고, 사용자가 잠깐 숨을 고르는 것과 말을 끝낸 것을 구분해야 한다. Realtime API가 WebRTC/WebSocket 스트리밍 기반으로 설계된 이유가 여기 있다. 요청-응답이 아니라, 두 개의 오디오 스트림이 동시에 흐르는 구조여야 사람 같은 대화가 가능하다.
그래서 이 모델을 잘 쓰는 전략은 역설적이다. AI를 더 말 잘하게 만드는 게 아니라, 더 잘 멈추게 만드는 것이다. 활용의 관점에서 세 가지를 권한다.
첫째, 짧게 말하게 하라. 음성 대화에서 긴 문단은 재앙이다. 사용자가 끼어들 여지를 주는 짧은 발화가 훨씬 자연스럽고, 뒤에서 보겠지만 비용도 싸다. 둘째, 감정을 흉내 내라고 지시하기보다 맥락을 주라. “친근하게 말해"보다 “고객이 화가 난 상태다"라는 상황 정보가 훨씬 나은 톤을 만든다. 셋째, 침묵을 두려워하지 마라. 0.5초의 의도된 여백은 조급한 즉답보다 사람처럼 들린다.
두 개의 미터기가 동시에 돌아간다
여기서 대부분의 소개 글이 침묵하는, 하지만 실제로 프로젝트를 죽이거나 살리는 부분을 짚자. Realtime API의 요금은 두 개의 미터기가 동시에 돌아간다. 오디오 시간(분당)과 텍스트 토큰(백만당)이 함께 부과된다. 음성이 들어오면 오디오 입력 분이, 음성이 나가면 오디오 출력 분이, 거기에 처리되는 텍스트 토큰까지 얹힌다(, Layer3Labs 요금 가이드).
구체적인 숫자를 보자. gpt-realtime 기준 오디오 입력은 100만 토큰당 약 $32(분당 약 $0.06), 오디오 출력은 100만 토큰당 약 **$64(분당 약 $0.24)**로 알려져 있다. 텍스트 토큰은 입력 $5, 출력 $20 수준이다( — 서드파티 집계 기준, Skywork 요금 계산기 및 위 Layer3Labs).
이 숫자가 말해주는 전략은 분명하다. 비싼 건 AI가 ‘말하는’ 시간이다. 출력이 입력보다 네 배 비싸다. 그러니 AI가 장황하게 떠들수록 청구서가 불어난다. 앞서 “짧게 말하게 하라"고 한 조언은 UX 팁이 아니라 원가 관리 전략이기도 하다. 10분짜리 통화에서 AI가 절반을 말한다면, 그 5분의 출력만으로 통화당 $1이 넘어갈 수 있다. 상담 1만 콜이면 $1만이다.
다행히 완충 장치가 있다. gpt-realtime는 캐시된 입력에 할인을 적용한다. 매번 반복되는 시스템 프롬프트나 컨텍스트는 캐시 입력으로 처리되어 100만 토큰당 약 $0.40 수준까지 떨어진다(, 위 Skywork 자료). 긴 페르소나 지침이나 회사 정보를 매 턴 새로 밀어넣지 말고 캐시를 태우도록 설계하는 것만으로 비용 구조가 달라진다.
솔직하게, 아직 거친 부분들
장밋빛만 칠하고 싶지 않다. 이 모델을 프로덕션에 넣기 전에 알아야 할 함정이 있다.
첫째, 비용 예측이 어렵다. 두 개의 미터기가 동시에 돌고, 사용자가 얼마나 말할지, AI가 얼마나 답할지는 통화마다 다르다. 텍스트 API처럼 “요청당 얼마"로 견적을 못 낸다. 파일럿을 돌려 실제 통화 분포를 측정하기 전엔 월 청구서를 자신 있게 예측하기 어렵다.
둘째, 언어 평등이 아직 멀었다. 실시간 통역과 다국어를 지원한다지만, 고급 음성 모드는 여전히 영어에 최적화되어 있다(, OpenAI 공식 FAQ). 한국어 사용자로서 이건 남의 이야기가 아니다. 영어에서 매끄러운 억양·감정 표현이 한국어에선 어색하게 튀는 순간이 있다. 한국어 음성 서비스를 만든다면, 데모의 감동을 그대로 믿지 말고 반드시 한국어로 직접 검증해야 한다.
셋째, 규제와 불안정성. EU에는 AI의 감정 추론을 제한하는 규정이 있어, 감정 인식 관련 기능 일부가 EU·영국에서 제한된다. 또 간헐적으로 음성 톤이나 피치가 흔들리거나, 배경음·잡음 같은 의도치 않은 출력이 섞여 나오는 사례도 보고된다(, 위 OpenAI FAQ 및 발표 자료). 실시간 서비스에서 이런 이탈은 사용자 신뢰를 빠르게 갉아먹는다.
그리고 소비자 입장에서 하나 더. ChatGPT의 고급 음성 모드는 무료 사용자에게 열려 있지 않다. Plus나 Team 같은 유료 구독이 필요하다(, 위 OpenAI FAQ).
그래서, 무엇을 할 것인가
기술을 처음 접할 때 우리는 “무엇이 가능해졌나"에 흥분한다. 하지만 돈과 시간을 걸어야 하는 사람에게 중요한 질문은 “무엇을 통제해야 하나"다.
gpt-realtime가 준 것은 자연스러운 목소리가 아니다. 그건 이미 여러 모델이 하던 일이다. 진짜로 준 것은 대화의 리듬을 프로그래밍할 수 있는 스트리밍 구조, 그리고 그 대가로 분당·토큰당으로 정직하게 청구되는 원가표다. 이 둘은 한 몸이다. AI를 잘 멈추게 설계하면 대화가 자연스러워지고, 동시에 비싼 출력 시간이 줄어 청구서가 얇아진다. 좋은 UX와 낮은 원가가 같은 방향을 가리키는, 드문 경우다.
당장 무언가를 만들 생각이라면 순서는 이렇다. 작은 파일럿으로 실제 통화의 오디오 입력/출력 분포를 측정하고, 시스템 프롬프트는 캐시에 태우고, AI의 발화를 짧게 끊고, 한국어라면 감정 표현을 반드시 귀로 직접 검증하라. 자연스러움에 감탄하는 단계는 지났다. 이제는 그 자연스러움을 얼마에, 어떤 리듬으로 살 것인가의 문제다.