오픈AI 잘라페뇨 성능, 엔비디아 비교에서 확인한 6가지 조건

AI 기술과 통찰 · AI 이슈 해설

1.5~1.9배 효율과 1.7~3.6배 낮은 지연시간, 실제 의미와 한계

확인 기준: 2026년 10월 29일 · 오픈AI 공식 발표와 InferenceX 공개 설명

이 글은 공개 자료를 분석한 해설이다. 나는 잘라페뇨 하드웨어나 챗지피티 적용 버전을 직접 시험하지 않았다.

오픈AI가 첫 자체 추론 칩 ‘잘라페뇨(Jalapeño)’의 성능을 공개했다. 발표 숫자만 보면 눈에 띈다. 엔비디아의 GB200·GB300과 비교한 시험에서 전력당 처리 효율은 1.5~1.9배 높았다고 한다. 답이 끝까지 도착하는 데 걸린 시간은 1.7~3.6배 낮았다고 발표했다.

그러나 이 숫자를 곧바로 “챗지피티가 3.6배 빨라졌다”로 옮기면 중요한 조건이 사라진다. 이번 발표는 특정 모델과 입력 길이, 시스템 설정을 적용한 추론 시험 결과다. 현재 챗지피티 전체의 체감속도를 측정한 결과는 아니다.

내가 이 발표에서 더 중요하게 본 것은 ‘엔비디아를 이겼는가’보다 ‘오픈AI가 답을 만드는 마지막 구간을 직접 설계하기 시작했는가’다. 수치가 말하는 범위와 아직 말하지 못하는 범위를 나누면, 이번 칩이 사용자에게 어떤 의미인지 훨씬 선명해진다.

먼저 답하면, 특정 추론 시험에서는 빨랐다

오픈AI가 2026년 8월 25일 공개한 첫 성능 결과에 따르면, 잘라페뇨는 세 가지 대형 언어모델 추론 시험에서 엔비디아 시스템보다 전력당 더 많은 일을 처리하고 응답 지연도 줄였다. 비교 대상은 GPT‑OSS 120B에서 GB200, DeepSeek R1 670B와 Kimi K2.5 1T에서 GB300이었다.

시험에 사용된 InferenceX는 SemiAnalysis가 공개한 추론 벤치마크다. InferenceX 설명 페이지는 시험 방법과 지표, 실행 기록을 공개해 결과를 감사하고 재현할 수 있게 한다고 설명한다.

다만 2026년 8월 26일 확인한 공개 자료만으로는 잘라페뇨 결과의 별도 독립 재실행 여부는 확인되지 않았다. 따라서 이 글은 해당 수치를 ‘오픈AI가 공개 벤치마크 조건에서 보고한 첫 결과’로 다룬다.

잘라페뇨는 챗지피티를 학습시키는 칩이 아니다

AI가 만들어지는 과정을 책에 비유해 보자. 수많은 자료를 읽고 규칙을 익히는 일은 거대한 도서관을 만드는 과정이다. 사용자가 질문했을 때 그 도서관에서 알맞은 내용을 찾아 문장으로 내놓는 일은 사서가 한 사람에게 답하는 과정이다.

앞의 과정이 학습(training), 뒤의 과정이 추론(inference)이다. 잘라페뇨는 모델을 처음부터 가르치는 칩이 아니다. 이미 학습된 모델이 질문에 답하는 추론을 위해 설계된 칩이다.

이 구분이 중요한 이유는 간단하다. 챗지피티를 열 때마다 모델을 다시 학습시키는 것은 아니다. 우리가 실제로 자주 기다리는 시간은 질문이 서버에 도착하고, 모델이 답을 만들고, 그 답이 화면에 표시되는 추론 구간과 맞닿아 있다.

겹겹이 쌓인 자료는 학습을, 한 장의 답으로 이어지는 빛은 추론을 뜻한다.

1.5~1.9배 효율과 1.7~3.6배 낮은 지연시간

오픈AI가 제시한 숫자는 한 종류가 아니다. 서버가 많은 요청을 감당하는 능력과 한 사용자가 답을 기다리는 시간을 따로 봐야 한다. 이 둘을 섞으면 “사용자 한 명의 챗지피티가 1.9배 빨라졌다” 같은 잘못된 결론에 도착하기 쉽다.

전력당 처리량은 얼마나 많은 질문을 감당하는가

처리량은 같은 시간에 얼마나 많은 일을 끝낼 수 있는지를 뜻한다. 오픈AI는 최대 처리량 구간에서 잘라페뇨가 전력 1와트당 수행한 AI 작업이 1.5~1.9배 많았다고 발표했다.

이 수치가 유지된다면 같은 전력으로 더 많은 요청을 처리하거나, 같은 요청을 더 적은 전력으로 처리할 가능성이 생긴다. 서비스 운영자에게는 비용과 공급 능력의 문제다. 사용자에게는 이용자가 몰리는 시간에도 답변 흐름이 덜 막힐 가능성과 연결된다. 다만 실제 효과는 데이터센터 구성, 소프트웨어 최적화, 모델 종류와 사용량에 따라 달라진다.

지연시간은 한 사람이 얼마나 기다리는가

지연시간은 질문을 보낸 뒤 답이 끝까지 도착하기까지 걸리는 시간이다. 오픈AI는 잘라페뇨의 종단 간 지연시간이 비교 시스템보다 1.7~3.6배 낮았다고 발표했다. 이를 기다린 시간으로 환산하면, 계산상 비교 시스템의 약 28~59% 수준이다.

구체적으로 GPT‑OSS 시험은 GB200보다 1.7배, DeepSeek R1은 GB300보다 3.6배, Kimi K2.5는 GB300보다 3.4배 낮았다고 제시했다.

질문과 답을 여러 번 주고받거나 도구를 차례로 호출하는 작업에서는 작은 지연이 계속 더해진다. 그래서 오픈AI는 상호작용이 많은 조건에서 2.1~4.1배 높은 성능을 보고했다. 이는 특히 여러 단계를 이어 수행하는 AI 에이전트에서 의미가 커질 수 있다. 다만 무엇을 맡길지는 속도와 별개다. AI 에이전트에게 일을 맡길 때 확인할 범위를 먼저 정해야 한다.

넓은 청록색 흐름은 많은 요청을 감당하는 처리량, 짧은 산호색 경로는 한 답이 도착하는 지연시간을 나타낸다.

벤치마크 숫자는 비교 조건과 함께 읽어야 한다

벤치마크는 자동차의 공인 연비와 닮았다. 같은 규칙으로 비교할 수 있게 해 주지만, 모든 사람이 모든 길에서 똑같은 연비를 얻는다는 보장은 아니다. AI 칩도 모델, 질문 길이, 답변 길이, 동시 요청 수, 소프트웨어와 전력 측정 방식이 달라지면 결과가 달라진다.

오픈AI는 잘라페뇨의 정격 전력을 700W로 표기하면서, 이번 시험에서는 지속 전력이 550W 이하였다고 설명했다. 이 점도 효율 수치에 중요하다. 그러나 회사 발표 수치는 출발점이지 최종 판결이 아니다. 공개된 방법, 실제 운영 데이터, 제3자의 재현 결과를 함께 봐야 한다.

잘라페뇨 발표를 시간순으로 읽으면

이 발표를 이해하려면 시점을 섞지 않아야 한다. 2026년 6월 공개는 설계와 초기 시험, 생산 계획을 소개한 단계였다. 당시 오픈AI와 브로드컴은 이 칩을 대규모 언어모델 추론에 맞춘 첫 자체 가속기로 설명했고, 2026년 말부터 배포를 시작할 계획이라고 밝혔다. 이 발표만으로는 실제 서비스 속도나 장기간 안정성이 증명된 것은 아니었다.

2026년 8월 발표는 그다음 단계다. 실제 작동하는 시스템을 공개 모델 세 종류와 InferenceX 조건에서 측정하고, 엔비디아 비교 시스템과 처리량·지연시간·전력당 성능을 나란히 제시했다. 그래서 이제 “칩이 설계됐다”보다 강한 근거는 생겼지만, “모든 챗지피티 요청이 이 칩에서 처리된다”는 결론까지 갈 수는 없다.

2026년 10월 29일 다시 확인한 오픈AI 공식 자료에서도 잘라페뇨 성능 수치는 공개 모델 세 종류와 공개 벤치마크 조건에 묶여 있다. 향후 몇 달 동안 배포 규모를 늘리겠다는 계획은 확인되지만, 제품·모델·지역·요금제별 적용표는 공개되지 않았다. 따라서 현재 글의 기준은 설계 공개, 벤치마크 측정, 실제 제품 배포를 서로 다른 단계로 두는 것이다.

이 세 단계를 나누면 자체 칩을 과소평가하지 않으면서도 과장하지 않을 수 있다. 첫 실리콘과 측정 결과가 나왔다는 사실은 의미가 크다. 동시에 배포 전의 벤치마크 성능을 현재 모든 사용자 경험으로 확대하는 일은 피해야 한다.

잘라페뇨 수치를 같은 단위로 읽는 6단계

공개 성능표에는 서로 다른 질문에 답하는 지표가 함께 나온다. 한 숫자가 크다고 다른 숫자까지 자동으로 좋아지는 것은 아니다. 다음 순서로 읽으면 “몇 배”라는 표현이 무엇을 뜻하는지 놓치지 않을 수 있다.

1. 비교 모델을 확인한다. GPT‑OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T는 규모와 구조가 다르다. 한 모델의 결과를 다른 모델에 그대로 옮기지 않는다.
2. 비교 칩을 확인한다. GPT‑OSS 시험은 GB200, 나머지 두 시험은 GB300이 비교 대상이다. “엔비디아”라는 한 단어로 서로 다른 세대와 시스템을 합치지 않는다.
3. 입력과 출력 길이를 본다. 명목 8,000 토큰 입력과 1,000 토큰 출력 조건은 짧은 일상 질문과 다르다. 긴 문맥과 긴 답에서 생긴 이점이 짧은 질문에서도 같은 비율로 나타난다고 단정하지 않는다.
4. 처리량과 지연시간을 나눈다. 처리량은 시스템 전체가 감당한 일의 양이고, 지연시간은 한 요청이 끝나는 시간이다. 운영 비용과 개인 체감 속도는 연결되지만 같은 지표가 아니다.
5. 전력 기준을 확인한다. 잘라페뇨 정격은 700W지만 시험에서 지속 전력은 550W 이하였다고 보고됐다. 비교가 정격 전력, 실제 전력, 랙 전체 전력 중 무엇을 기준으로 하는지 살핀다.
6. 시험과 제품을 구분한다. 공개 벤치마크에서 앞섰다는 결과는 중요하지만, 실제 챗지피티의 네트워크·검색·도구 호출·안전 검사까지 포함한 전체 시간을 곧바로 뜻하지 않는다.

예를 들어 지연시간이 3.6배 낮다는 표현은 시간이 3.6배 줄었다는 뜻으로 읽으면 안 된다. 비교 시스템이 5.99초, 잘라페뇨가 1.65초라면 잘라페뇨의 시간은 비교값의 약 28%다. 줄어든 비율로 말하면 약 72% 감소다. 배수와 감소율을 섞지 않아야 수치가 과장되지 않는다.

또한 최대 처리량에서 전력당 1.5~1.9배라는 결과는 동시에 많은 요청을 처리할 때의 효율을 보여 준다. 같은 사용자가 한 문장을 기다릴 때 느끼는 속도는 최소 TBT, 종단 간 지연, 네트워크와 제품 소프트웨어에 더 직접적인 영향을 받는다. 이 성능을 읽을 때는 한 숫자로 모든 경험을 대표하지 않는 것이 핵심이다.

배포 뒤 사용자가 확인할 5가지

이 칩이 실제 제품에 배포된 뒤에도 “빨라졌다”는 한 문장만으로는 충분하지 않다. 같은 질문을 여러 번 반복해 가장 빠른 한 번을 고르는 대신, 같은 모델·같은 도구·비슷한 길이의 대화에서 다음 다섯 가지를 함께 봐야 한다.

첫 글자, 답 전체, 도구 호출을 따로 잰다

첫째는 질문을 보낸 뒤 첫 글자가 나타날 때까지의 시간이다. 둘째는 긴 답이 끝날 때까지의 시간이다. 셋째는 검색·파일 읽기·코드 실행처럼 외부 도구가 포함된 전체 시간이다. 추론 칩은 모델 추론을 빠르게 할 수 있지만, 느린 외부 사이트나 권한 확인 시간을 없애지는 않는다.

혼잡 시간의 안정성과 실패율을 본다

넷째는 사람이 몰리는 시간에도 속도와 성공률이 유지되는지다. 전력당 처리량이 높아지면 같은 전력과 공간에서 더 많은 요청을 감당할 가능성이 생긴다. 그러나 큐 관리, 네트워크, 모델 배치와 장애 대응이 따라오지 않으면 칩의 이점이 제품 전체에서 그대로 나타나지 않을 수 있다.

속도와 답의 품질을 같은 기록에 남긴다

다섯째는 답의 정확성과 유용성이다. 이전보다 빨리 나온 답이 출처를 빼먹거나, 긴 문맥을 잘못 읽거나, 도구 실행 결과를 단정한다면 좋은 개선이라고 보기 어렵다. 같은 질문의 응답 시간뿐 아니라 사실 오류, 누락, 재질문 횟수, 사람이 다시 고친 부분을 함께 기록해야 한다.

이렇게 확인하면 자체 칩이 실제 제품에 미친 영향과 모델·네트워크·도구의 변화를 구분할 수 있다. 개인 사용자가 칩 종류를 직접 선택할 수 없더라도, 제품 업데이트 뒤 체감 변화가 어느 구간에서 생겼는지 더 정확하게 설명할 수 있다.

한 번의 느낌보다 같은 조건의 기록을 남긴다

실제 변화를 확인하려면 날짜, 사용한 제품, 선택한 모델, 대화 길이, 검색이나 파일 읽기 같은 도구 사용 여부를 먼저 적는다. 질문을 보낸 시각, 첫 글자가 나온 시각, 답이 끝난 시각, 오류나 재시도 여부도 같은 표에 남긴다. 조건이 다른 기록을 한 줄에 섞으면 칩의 변화인지 모델 업데이트인지 판단하기 어렵다.

비교할 때는 동일한 질문을 여러 번 보내 가장 빠른 결과만 고르지 않는다. 처음 실행과 반복 실행을 나누고, 혼잡 시간과 한가한 시간을 함께 기록한다. 검색 결과가 필요한 질문과 모델이 바로 답할 수 있는 질문도 따로 본다. 외부 사이트 응답이 느린 날은 추론 하드웨어와 무관하게 전체 시간이 길어질 수 있기 때문이다.

답의 길이도 맞춰야 한다. 한 번은 세 문장, 다른 한 번은 긴 보고서라면 종료 시간만 비교할 수 없다. 짧은 답에서는 첫 글자까지의 시간이 더 잘 드러나고, 긴 답에서는 토큰 생성 속도와 중간 멈춤이 더 잘 보인다. 두 유형을 분리하면 어떤 구간이 개선됐는지 설명하기 쉬워진다.

개인 기록만으로 데이터센터 내부의 칩 종류를 증명할 수는 없다. 제품이 어떤 하드웨어를 사용했는지 공개하지 않는다면 관찰 결과는 “이 시점에 이 조건에서 응답 경험이 달라졌다”는 수준으로 남겨야 한다. 원인을 단정하는 대신 공식 배포 공지와 장애 기록, 모델 변경 내역을 함께 대조한다.

비용도 같은 방식으로 본다. 전력당 처리 효율이 좋아져도 그 이익이 곧바로 이용 요금 인하로 이어진다고 보장할 수 없다. 공급 확대, 새로운 기능, 더 긴 문맥, 혼잡 완화처럼 다른 형태로 나타날 수 있다. 효율 수치와 사용자가 실제로 받는 혜택 사이에는 제품 정책과 운영 결정이 놓여 있다.

자주 생기는 네 가지 오해를 바로잡으면

첫째, “엔비디아보다 빠르다”는 말은 모든 엔비디아 칩과 모든 작업에서 앞섰다는 뜻이 아니다. 공개 결과는 지정된 모델과 GB200·GB300 비교 시스템, 정해진 입력·출력 길이에서 나온 것이다. 다른 모델, 다른 배치 크기, 다른 소프트웨어에서는 순서가 달라질 수 있다.

둘째, “지연시간이 3.6배 낮다”는 말은 챗지피티 화면 전체가 언제나 3.6배 빨라졌다는 뜻이 아니다. 모델 추론 외에 인증, 네트워크, 검색, 파일 처리와 안전 검사가 더해진다. 각 구간의 시간이 전체에서 차지하는 비율에 따라 사용자가 느끼는 개선 폭도 달라진다.

셋째, “전력당 성능이 좋다”는 말은 칩 하나의 정격 전력만 낮다는 뜻이 아니다. 같은 전력으로 처리한 유용한 작업량과 요구 지연을 함께 본 결과다. 실제 데이터센터에서는 냉각, 네트워크, 메모리와 서버 운영 전력까지 포함한 장기 자료가 필요하다.

넷째, 자체 칩을 만들었다고 외부 가속기를 쓰지 않게 되는 것은 아니다. 학습, 대규모 추론, 짧은 대화형 요청, 특수 모델은 서로 다른 하드웨어에 잘 맞을 수 있다. 오픈AI도 작업별로 가장 적합한 시스템을 선택하는 다중 공급 전략을 설명한다.

이 네 경계를 지키면 잘라페뇨의 의미는 오히려 더 분명해진다. 첫 자체 실리콘이 공개 모델에서 측정 가능한 결과를 냈고, 오픈AI가 모델과 서빙 소프트웨어, 메모리, 네트워크, 칩을 함께 최적화할 수 있는 기반을 만들었다는 점이다.

발표를 다른 사람에게 설명할 때도 세 문장으로 나누면 안전하다. 무엇을 측정했는지, 어떤 비교 시스템보다 어느 지표에서 앞섰는지, 아직 어떤 제품 배포 정보가 없는지를 차례로 말한다. “빠르다”는 결론보다 비교 조건과 미확인 범위를 함께 전달하면, 후속 결과가 나왔을 때 기존 판단을 수정하기도 쉽다. 독자는 회사 발표, 공개 벤치마크, 실제 제품 경험을 같은 증거 수준으로 섞지 않고 따로 기록할 수 있다.

잘라페뇨가 엔비디아를 대체한다는 뜻은 아니다

오픈AI는 발표문에서 엔비디아와 파트너사의 가속기를 학습과 추론에 계속 폭넓게 배치하겠다고 명시했다. 오픈AI의 전체 인프라 전략 설명도 하나의 칩으로 통일하기보다 작업에 따라 서로 다른 하드웨어를 쓰는 구성을 강조한다.

자체 칩의 의미는 ‘모두 교체’보다 ‘선택지를 하나 더 확보’하는 데 가깝다. 오픈AI는 모델 구조와 서비스 패턴을 알고 있으므로 자주 쓰는 추론 작업에 맞춰 칩과 소프트웨어를 함께 조정할 수 있다. 반대로 엔비디아 칩은 폭넓은 생태계와 이미 검증된 운영 경험을 갖는다. 두 장점은 동시에 존재할 수 있다.

이번 발표의 핵심은 왕좌가 바뀌었다는 선언이 아니다. 오픈AI가 추론 비용과 속도를 직접 조절할 수 있는 수단을 얻기 시작했다는 데 있다.

챗지피티 사용자는 언제 변화를 느낄까

오픈AI의 현재 계획은 2026년 말까지 잘라페뇨를 자사 인프라에 배치하기 시작하는 것이다. 따라서 지금 느끼는 챗지피티의 속도를 잘라페뇨의 효과로 설명할 근거는 없다. 실제 제품, 지역, 모델, 요금제별 적용 범위도 아직 공개되지 않았다.

사용자가 느끼는 속도에는 칩 외에도 서버 혼잡, 네트워크, 선택한 모델, 웹 검색이나 코드 실행 같은 도구, 대화 길이가 함께 작용한다. 긴 대화에서만 유난히 느리다면 하드웨어 뉴스보다 챗지피티 느려짐이 긴 대화와 문맥 길이에서 생기는 이유를 먼저 확인하는 편이 실용적이다.

그럼에도 기대할 변화는 있다. 배포가 계획대로 진행되고 실제 서비스에서 성능이 유지된다면, 첫 글자가 나타나는 시간과 긴 답이 끝나는 시간, 여러 도구를 연달아 쓰는 작업, 혼잡 시간대의 처리 능력이 개선될 수 있다. 더 낮은 추론 비용이 더 많은 사용량이나 새로운 기능으로 이어질 가능성도 있다. 다만 이는 현재 확인된 결과가 아니라 배포 이후 검증해야 할 변화다.

더 빠른 답이 더 좋은 답이 되려면

기다림이 줄어드는 것은 분명 좋은 변화다. 특히 생각의 흐름을 끊지 않고 여러 질문을 이어 갈 때 속도는 사용 경험을 바꾼다. 하지만 빠르게 도착한 틀린 답은 판단을 더 빨리 잘못된 방향으로 보낼 수도 있다.

빠른 답을 뜻하는 산호색 흐름이 검증과 방향을 상징하는 원 안으로 들어온다.

칩은 답을 더 빨리 계산하게 만들 수 있지만, 그 답이 사실인지 스스로 보증하지는 않는다. 모델의 품질, 최신 정보에 대한 접근, 출처, 도구 사용, 사용자의 질문 방식이 함께 맞아야 한다. 중요한 판단에 쓰는 답이라면 챗지피티 자료조사에서 출처를 확인하는 방법처럼 주장과 근거를 나누어 확인해야 한다.

잘라페뇨가 증명해야 할 마지막 성능은 ‘얼마나 먼저 답했는가’만이 아니다. ‘실제 서비스에서 얼마나 안정적으로, 감당할 비용으로 답했는가’도 확인해야 한다. 그 검증이 쌓일 때 빠른 응답은 비로소 더 나은 사용 경험이 된다.

그래서 지금의 결론은 균형 있게 남겨 두는 편이 맞다. 잘라페뇨는 특정 추론 시험에서 엔비디아 시스템보다 좋은 첫 결과를 냈다. 엔비디아를 대체한 것도, 현재 챗지피티를 3.6배 빠르게 만든 것도 아니다. 다만 오픈AI가 모델뿐 아니라 답을 전달하는 인프라까지 직접 설계하는 단계로 들어섰다는 신호는 분명하다.

---

참고자료

• OpenAI, “Jalapeño: First results from OpenAI’s custom inference chip”, 2026년 8월 25일
• OpenAI·Broadcom, “OpenAI and Broadcom unveil LLM-optimized inference chip”, 2026년 6월 24일
• OpenAI, “The full stack behind abundant intelligence”, 확인 2026년 8월 26일
• SemiAnalysis, InferenceX 소개 및 측정 방법, 확인 2026년 8월 26일