1세대 칩이 엔비디아를 이겼다, OpenAI '할라피뇨'의 반전

반도체 업계에는 오래된 불문율이 있다. "1세대 칩은 경쟁력이 없다." 새로 칩을 설계하는 회사는 보통 첫 시도에서 기존 강자를 넘지 못하고, 2~3세대는 지나야 겨우 비벼볼 만해진다는 얘기다. OpenAI가 처음으로 자체 설계한 AI 추론 전용 칩 '할라피뇨(Jalapeño)'도 당연히 그럴 줄 알았다. 그런데 2026년 8월 25일, 스탠퍼드에서 열린 반도체 컨퍼런스 'Hot Chips 2026'에서 공개된 벤치마크 결과는 예상을 완전히 뒤엎었다. SemiAnalysis의 공개 벤치마크 도구 'InferenceX'로 측정한 결과, 700W짜리 할라피뇨는 1,200~1,400W를 쓰는 엔비디아 GB200/GB300 랙 시스템보다 킬로와트당 처리량이 1.5~1.9배 높았고, 종단간 지연시간은 오히려 1.7~3.6배 낮았다. 대화형 워크로드에서는 격차가 2.1~4.1배까지 벌어졌다. DeepSeek R1을 돌렸을 때는 동시접속자 1명 기준 초당 700토큰 이상, 모델에 따라 최대 1,400토큰을 처리했다. 정격 전력은 700W였지만 실측 지속 소비전력은 550W 이하로, 스펙보다 여유가 있었다. 이 결과를 낸 SemiAnalysis조차 "엔비디아, AMD, 구글의 어떤 칩보다 뛰어나다"면서도 "블랙웰과의 비교는 다소 불공정하다"고 인정했다. 진짜 맞수는 HBM4를 탑재한 엔비디아의 아직 나오지 않은 차세대 칩 '베라 루빈'이라는 것이다. 그런데 놀랍게도, 루빈이 멀티토큰예측(MTP) 같은 최적화 기술까지 동원했는데도 할라피뇨가 메가와트당 출력 토큰 수에서 근소하게 앞섰다. SemiAnalysis CEO 딜런 패텔은 "OpenAI가 블랙웰은 물론 아직 나오지도 않은 루빈까지 이기고 있다"고 평가했다. 이 칩의 개발 속도도 상식 밖이다. 2025년 2월 회로 설계(RTL) 작업을 시작해 같은 해 11월 설계를 완료(tapeout)하기까지 걸린 시간은 단 9개월. 2026년 5월엔 첫 실리콘이 완성돼 곧바로 Codex 구동에 성공했고, 6월 24일엔 Broadcom CEO 혹 탄과 사장 찰리 카와스가 실물 샘플을 직접 들고 와 OpenAI CEO 샘 알트먼과 사장 그렉 브록만에게 전달하는 언팩 행사까지 열렸다. 칩 설계의 절반 이상은 XLS라는 하드웨어 언어로 짜였고, 제조는 TSMC 최선단 공정과 CoWoS 패키징, HBM4 메모리 8스택으로 이뤄졌다. 각 패키지는 6개의 HBM4 스택으로 216GiB 메모리와 15.4TB/s 대역폭을 내는데, 이는 GB300 대비 와트당 메모리 용량이 약 50% 더 많은 수치다. 타이밍도 절묘했다. 엔비디아가 데이터센터 자금 조달에 최대 1,050억 달러를 지원하기로 합의한 지 일주일 만에, 그리고 엔비디아 분기 실적 발표 하루 전날 이 벤치마크가 공개됐다. 물론 할라피뇨는 CUDA를 지원하지 않고, 외부 판매나 클라우드 대여 없이 OpenAI 자체 API 트래픽만 처리하는 전용 칩이다. 훈련이 아닌 추론 전용이고, 배치는 2026년 말 소규모 시범을 거쳐 2027년 본격 확장, 2028년 상반기에나 본궤도에 오를 예정이며 엔비디아 GPU 의존도 당분간 계속된다. 그래도 업계는 이미 알아챘다. 세상에서 가장 빠르게 크는 추론 시장에서, 엔비디아가 처음으로 자기 손으로 키운 고객에게 마진을 위협받기 시작했다는 사실을.