概要
- OpenAIが開発した推論用チップ「 Jalapeño」の詳細と性能評価
- Broadcom と共同設計、16ヶ月でテープアウト達成という超高速開発
- NVIDIA や AMD を凌駕する性能と効率、一般化されたAI推論チップ
- HBM4 メモリ採用による高帯域・高効率設計
- 今後の最適化や本格量産に向けた課題や展望
OpenAIの推論チップ「Jalapeño」の概要と開発背景
- OpenAI が2024年中盤から開発を開始した新型AI推論チップ「 Jalapeño」
- Broadcom との共同開発、ゼロから設計した完全自社仕様
- わずか 16ヶ月 という異例の短期間でテープアウトを実現したASIC開発サイクル
- 業界標準を大幅に上回るスピード感
- AI設計自動化 による開発効率向上の実証
Jalapeñoの特徴と設計思想
- 一般的な「自社モデル特化型」ではなく、 汎用AI推論 に最適化
- NVIDIA、AMD、Google の既存チップを複数ベンチマークで上回る性能
- ハードウェアとソフトウェアの協調設計 による高効率実現
- 特定用途への過度な最適化を避け、幅広いモデル・ワークロードに対応
- HBM4 メモリ採用、NVIDIAやAMDのフラッグシップGPUに匹敵する仕様
性能評価とベンチマーク結果
- InferenceX ベンチマークで全ての競合チップを圧倒
- Multi Token Prediction（MTP） なしでも最高性能
- Single Token Prediction（STP） でも圧倒的なトークンスループット
- DeepSeek R1 モデルで1ユーザーあたり700トークン/秒超を記録
- Kimi-K2.5 や GPT-OSS など他のモデルでも高いスループット
- GSM8k 評価でNVIDIAチップと同等の精度を確認
- パフォーマンス/消費電力（perf/W）で Blackwell や Vera Rubin を上回る結果
- B0ステッピング で更なる効率向上（A0比25%向上予定）
アーキテクチャ詳細
- Prefill/Decode の分離をせず、同一チップ・ファブリックで処理
- ワークロードの変化に柔軟に対応できる 均質プール設計
- HBM4 による15.4TB/sのメモリ帯域
- N3Pプロセス 採用、700W TDPで13.4 PFLOPs（MXFP4）を実現
- N3E I/Oチップレット による高帯域外部接続（800G SerDes×32レーン）
- PCIe Gen 5 でx86ホストCPUと連携
電力効率とTCO（総保有コスト）
- データセンターの電力制約 を重視し、トークン/MWを最重要指標に設定
- BtM（Behind-the-Meter） による自家発電活用も視野
- Vera Rubin や GB200 と比較しても、トークン/Jの効率で優位性
- Speculative Decoding 未実装ながらTCOで競合と拮抗
- 実装後は更なるコスト削減が見込まれる
今後の展望と課題
- AgentX のような長文・マルチターンワークロードでの評価はこれから
- 本格量産やソフトウェア成熟度の向上が今後の焦点
- Meta や Microsoft など他社ASIC開発との差別化
- B0ステッピング 以降の最適化とパフォーマンス向上への期待
まとめ
- OpenAI Jalapeño は短期間で開発されながら、現行の大手チップを凌駕する性能と効率を実現
- 汎用推論性能、電力効率、メモリ帯域など複数の観点で業界最先端を記録
- 今後の最適化・量産・実運用での評価が注目される次世代AI推論チップ