※ 이 글에는 제휴 마케팅 링크가 포함될 수 있으며, 구매 시 수수료를 받을 수 있습니다.
ChatGPT를 쓸 때마다 우리는 알게 모르게 엔비디아(Nvidia) GPU의 연산 비용을 함께 지불하고 있었습니다. 그런데 2026년 6월 24일, OpenAI가 직접 설계한 첫 AI 칩 ‘Jalapeño(할라페뇨)‘를 공개하면서 이 구조가 흔들리기 시작했습니다(, techcrunch.com). 이 칩이 무엇을 바꾸고, 무엇은 바꾸지 못하는지를 과장 없이 짚어보겠습니다.
Jalapeño란 무엇인가: 핵심 기능 정리
Jalapeño는 OpenAI가 처음으로 직접 설계하고 브로드컴(Broadcom)이 제조한 맞춤형 AI 추론(inference) 칩입니다. 대규모 언어 모델(LLM)을 처음부터 끝까지 학습시키는 ‘훈련(training)‘이 아니라, 이미 만들어진 모델을 실제로 구동하는 ‘추론’에 특화되어 설계되었습니다(, techcrunch.com).
주요 기능을 정리하면 다음과 같습니다.
- TSMC 3nm 공정 기반 맞춤형 ASIC: Jalapeño는 TSMC의 3nm 노드에서 제조된 주문형 반도체(ASIC)이며, 8개의 HBM 스택을 탑재해 LLM 추론 작업에 최적화되었습니다(, techspot.com).
- 빠른 개발 주기: 초기 설계부터 제조 테이프아웃까지 약 9개월이 걸렸는데, 이는 고성능 ASIC 치고 이례적으로 빠른 속도입니다. OpenAI 자체 모델을 설계 과정에 활용해 개발을 가속했다고 합니다(, venturebeat.com).
- 검증된 실전 워크로드: 엔지니어링 샘플이 이미 GPT-5.3-Codex-Spark를 포함한 프로덕션급 작업을 돌리며 OpenAI의 전력·성능 목표를 충족하고 있습니다(, venturebeat.com).
- 엔비디아 의존도 감소: ChatGPT와 기타 모델을 서비스할 때 필요한 엔비디아 GPU 의존도를 줄이는 것이 핵심 목표 중 하나입니다(, techcrunch.com).
성능 면에서는, 브로드컴 CEO 혹 탄(Hock Tan)이 로이터에 “초기 실험실 테스트에서 엔비디아의 블랙웰(Blackwell) 칩 및 구글의 TPU와 동등한 성능을 낸다"고 밝혔습니다(, techtimes.com). 다만 이는 어디까지나 ‘초기 실험실’ 단계의 발언이라는 점을 기억해야 합니다.
이 섹션에서 짚고 넘어가야 할 단점도 분명합니다. 첫째, Jalapeño는 추론 전용 칩이라 모델 훈련에는 사용할 수 없습니다. 즉, 차세대 모델을 새로 학습시키려면 여전히 범용 가속기(GPU)가 필요합니다(, 한계 항목). 둘째, 현재 공개된 ‘동등한 성능’이라는 평가는 제3자 벤치마크가 아니라 제조 파트너 측의 자체 실험실 데이터에 근거합니다. 외부 검증이 아직 없다는 점은 명확한 한계입니다(, techtimes.com).
단점과 한계: 냉정하게 봐야 할 부분
새 칩의 등장이 반갑긴 하지만, 이번 발표에는 검증되지 않은 부분이 많습니다. 도구별로 구체적인 한계를 짚어봅니다.
1) Jalapeño의 한계 — 추론 전용, 훈련 불가 Jalapeño는 오늘날의 LLM 추론에 고도로 튜닝된 칩입니다. 바꿔 말하면, 엔비디아 H200처럼 훈련과 추론을 모두 처리하는 범용 가속기와 달리 프런티어 모델 훈련이나 유연한 워크로드에는 쓸 수 없습니다(, 한계 항목). 모델을 만드는 단계에서는 여전히 GPU가 필수적이라는 의미입니다.
2) Jalapeño의 한계 — ‘50% 저렴’은 목표치일 뿐 확정 결과가 아님 가장 주목받는 수치인 “추론 토큰당 약 50% 비용 절감"은 현재 세대 GPU 대비 목표치이며, 초기 실험실 데이터에 기반한 것이지 확정된 프로덕션 결과가 아닙니다( / 출처: techtimes.com). OpenAI는 실제 추론 비용 절감폭이나 구체적 스펙을 거의 공개하지 않았습니다(, 한계 항목). 따라서 이 50%라는 숫자를 기정사실처럼 받아들이는 것은 위험합니다.
3) Jalapeño의 한계 — 모델 로드맵에 강하게 종속 이 칩은 오늘날의 LLM 아키텍처에 맞춰 깊이 최적화되었고, OpenAI 자체 모델 로드맵에 긴밀히 결합되어 있습니다. 만약 향후 모델 설계가 크게 바뀌면 적응력이 떨어질 수 있으며, 외부에 범용 가속기로 판매되는 제품도 아닙니다(, 한계 항목). 즉, 일반 개발자나 기업이 직접 구매해 쓸 수 있는 물건이 아니라 OpenAI 내부 인프라용입니다.
4) 일정상의 불확실성 Jalapeño는 2026년 말까지 데이터센터에 초기 배치하는 것이 목표이며, 이는 2029년 말까지 10기가와트(GW) 규모의 OpenAI 설계 AI 가속기를 배치한다는 더 큰 브로드컴 협업의 일부입니다(, cnbc.com). 하지만 반도체 양산은 일정 지연이 흔하고, 현재까지 공개된 것은 ‘엔지니어링 샘플’ 단계입니다. 대규모 상용 배치가 계획대로 진행될지는 아직 영역입니다.
요금·한도: 일반 사용자에게 미칠 영향
Jalapeño는 소비자가 직접 구매하는 제품이 아니므로 ‘칩 가격’은 공개되어 있지 않습니다. 대신 우리가 주목해야 할 것은 추론 비용 구조의 변화입니다.
- 추론 비용 절감 목표: 현재 세대 GPU 대비 추론 토큰당 약 50% 비용 절감(초기 실험실 데이터 기준, 프로덕션 미확정)( / techtimes.com).
- 배치 규모: 2029년 말까지 10GW 규모의 OpenAI 설계 가속기 배치 계획(, cnbc.com).
그렇다면 일반 ChatGPT 이용자의 요금은 어떻게 될까요? OpenAI의 현재 공식 요금제는 ChatGPT Plus가 월 $20입니다(openai.com/pricing 참고). API를 사용하는 개발자라면 모델별 토큰 단가를 openai.com/api/pricing에서 확인할 수 있습니다.
여기서 중요한 점은, 추론 비용이 절감된다고 해서 소비자 요금이 곧바로 내려간다는 보장은 없다는 것입니다(). 추론 비용은 OpenAI의 원가에 해당하며, 절감분은 (1) 요금 인하, (2) 마진 개선, (3) 더 큰 모델 무료 제공, (4) 사용량 한도 확대 등 여러 방향으로 쓰일 수 있습니다. 어느 쪽이 될지는 현재 공개된 정보만으로는 단정할 수 없습니다. 다만 장기적으로 추론 원가가 낮아지면 AI 도구의 가격 경쟁력과 무료 사용 한도에 긍정적으로 작용할 가능성이 있다는 정도가 합리적 추정입니다.
비교표: Jalapeño vs 기존 가속기
| 항목 | OpenAI Jalapeño | Nvidia 범용 GPU(예: H200) | Google TPU |
|---|---|---|---|
| 주 용도 | 추론 전용 | 훈련 + 추론(범용) | 훈련 + 추론 |
| 제조 공정 | TSMC 3nm() | 자체 세대별 상이 | 자체 세대별 상이 |
| 외부 판매 | 미판매(OpenAI 내부용)() | 일반 판매 | 구글 클라우드 통해 제공 |
| 비용(추론) | GPU 대비 ~50% 절감 목표() | 기준점 | — |
| 성능 평가 | Blackwell·TPU와 동등(초기 실험실)() | 업계 표준 | 업계 표준 |
| 검증 단계 | 엔지니어링 샘플() | 양산·상용 | 양산·상용 |
※ 위 표의 수치는 본문에 표기한 출처에 근거하며, 비교 항목 중 일부는 OpenAI/브로드컴 측 발표 기준입니다. 엔비디아·구글 측 세부 스펙은 각 사 공식 자료를 확인하시기 바랍니다.
추천 대상: 이 소식에 주목해야 할 사람
- AI 도구를 업무에 적극 활용하는 직장인·프리랜서: 추론 원가 하락은 장기적으로 더 저렴하거나 더 관대한 사용 한도로 이어질 가능성이 있어 비용 구조에 관심이 있다면 추적할 가치가 있습니다().
- AI 반도체·인프라 흐름을 읽으려는 분: 엔비디아 독점 구조에 균열을 내려는 빅테크의 ‘자체 칩’ 전략을 보여주는 대표 사례입니다().
- API 기반 서비스를 운영하는 개발자·창업자: 추론 단가는 원가에 직결되므로, 향후 OpenAI API 가격 정책 변화(openai.com/api/pricing)를 주시할 필요가 있습니다.
반대로, 당장 ChatGPT를 쓰는 방식이 바뀌거나 요금이 즉시 내려가길 기대하는 분에게는 아직 이르다고 말씀드립니다. 현재는 인프라 단계의 변화이며, 소비자 체감 변화는 시간이 더 필요합니다().
자주 묻는 질문(FAQ)
Q1. Jalapeño를 제가 직접 살 수 있나요? 아니요. Jalapeño는 일반 판매용 범용 가속기가 아니라 OpenAI의 데이터센터 인프라용으로 설계된 칩입니다(, 한계 항목). 소비자나 일반 기업이 구매할 수 있는 제품이 아닙니다.
Q2. 이 칩 때문에 ChatGPT 요금이 곧 내려가나요? 현재로서는 단정할 수 없습니다(). 추론 비용 절감 목표(약 50%)는 OpenAI의 원가 측면이며, 그 절감분이 소비자 요금 인하로 직결된다는 발표는 없습니다( / techtimes.com). 현재 ChatGPT Plus 요금은 월 $20입니다(openai.com/pricing).
Q3. Jalapeño가 엔비디아 GPU를 완전히 대체하나요? 아니요. Jalapeño는 추론 전용이라 모델 훈련에는 쓸 수 없으며, 프런티어 모델 훈련과 유연한 워크로드에는 여전히 GPU가 필수입니다(, 한계 항목). 의존도를 ‘줄이는’ 것이지 ‘완전 대체’는 아닙니다(, techcrunch.com).
마무리
Jalapeño는 OpenAI가 추론 인프라의 비용과 공급망을 스스로 통제하려는 분명한 신호입니다. 다만 ‘50% 저렴’, ‘블랙웰과 동등’ 같은 수치는 아직 초기 실험실 단계의 발표라는 점을 기억해야 합니다. 양산 검증과 외부 벤치마크가 나오기 전까지는 기대와 신중함을 함께 가지는 것이 현명합니다. 본 글의 가격·성능 수치는 발표 시점 기준이며, 이후 변동될 수 있으니 최종 확인은 각 출처와 공식 페이지를 참고하시기 바랍니다.
참고 링크
- TechCrunch — OpenAI unveils its first custom chip built by Broadcom: https://techcrunch.com/2026/06/24/openai-unveils-its-first-custom-chip-built-by-broadcom/
- TechSpot — OpenAI debuts Jalapeño custom chip: https://www.techspot.com/news/112890-openai-debuts-jalapeo-custom-chip-built-cut-chatgpt.html
- VentureBeat — OpenAI unveils first custom AI inference chip Jalapeño: https://venturebeat.com/infrastructure/openai-unveils-first-custom-ai-inference-chip-jalapeno-with-broadcom-and-its-development-was-sped-up-with-openais-own-models
- TechTimes — OpenAI’s first custom AI chip targets 50% cheaper inference: https://www.techtimes.com/articles/319012/20260624/openais-first-custom-ai-chip-targets-50-cheaper-inference-jalapeno-unveiled.htm
- CNBC — OpenAI and Broadcom reveal Jalapeño: https://www.cnbc.com/2026/06/24/openai-and-broadcom-reveal-jalapeno-first-ai-chip-in-partnership.html
- OpenAI 요금제: https://openai.com/pricing
- OpenAI API 요금: https://openai.com/api/pricing