OpenAI와 Broadcom은 LLM 추론(Inference)에 최적화된 새로운 AI 가속기인 Jalapeño를 발표했습니다. 이 칩은 범용 가속기가 아닌 LLM의 워크로드 특성에 맞게 완전히 새롭게 설계된 아키텍처를 기반으로 하며, OpenAI의 풀스택(Full-stack) 인프라 전략의 핵심 요소입니다.

핵심 기술 및 방법론

1. 아키텍처 최적화: Jalapeño는 기존의 범용 AI 가속기와 달리 LLM의 추론 성능 극대화에 초점을 맞췄습니다. 데이터 이동(Data movement)을 최소화하고, 연산(Compute), 메모리(Memory), 네트워킹(Networking) 리소스 간의 균형을 최적화하여 이론적 최고 성능(Theoretical peak performance)에 근접한 실질적인 utilization을 달성하도록 설계되었습니다.
2. 소프트웨어-하드웨어 공동 설계: OpenAI의 모델, 커널(Kernel), 서빙 시스템 및 제품 요구사항에 대한 심층적인 이해를 바탕으로 설계되었습니다. 특히 AI 모델이 칩 설계 및 최적화 과정을 가속화하는 데 활용되었으며, 이를 통해 설계부터 테이프아웃(Tape-out)까지 단 9개월이라는 기록적인 시간 내에 개발을 완료했습니다.
3. 확장성 및 인프라: Broadcom의 Tomahawk 네트워킹 실리콘과 Celestica의 보드 및 랙 시스템 통합 기술을 결합했습니다. 이는 2026년 말부터 대규모 데이터 센터에 Gigawatt 규모로 배포될 예정이며, 향후 다세대(Multi-generation)에 걸친 로드맵을 지향합니다.
4. 성능 지표: 현재 GPT-5.3-Codex-Spark와 같은 모델을 실행 중이며, 초기 테스트 결과 전력 대비 성능(Performance per watt) 면에서 현존하는 최첨단 가속기보다 훨씬 우수한 효율을 보이고 있습니다.

전략적 의의

• 수직적 통합(Full-stack advantage): OpenAI는 모델, 시스템 소프트웨어, 그리고 이번 Jalapeño 하드웨어를 직접 제어함으로써 전체 스택을 최적화하고 있습니다. 이는 추론 지연 시간(Latency)을 줄이고, 효율성을 높여 대규모 상용화 및 에이전트 기반 제품 구현을 가능하게 합니다.
• 경제성 및 접근성: 더 나은 인프라 효율은 모델의 운영 비용을 절감하여 ChatGPT, Codex 등 제품의 더 빠르고 신뢰성 높은 서비스를 가능하게 합니다. 이는 결과적으로 AI의 대중화를 촉진하고 인공지능이 더 많은 사람과 기업의 문제를 해결하도록 돕는 선순환 구조를 형성합니다.

결론적으로, Jalapeño는 LLM 추론이라는 명확한 목적을 위해 아키텍처 설계부터 네트워킹까지 전 과정을 최적화한 가속기로서, OpenAI가 인공지능 인프라의 주도권을 확보하고 추론의 경제성을 혁신하기 위한 핵심 도구로 평가됩니다.