#OpenAIInferenceCostTest

#OpenAIQ2LossWidens Perusahaan yang tumbuh pesat tidak selalu menjadi bisnis yang hebat. OpenAI terus berkembang, tapi kerugian juga terus bertambah. Anthropic mengambil jalur berbeda dengan menunjukkan tanda-tanda awal profitabilitas. Pendapatan menjadi sorotan. Ekonomi berkelanjutan biasanya menentukan siapa yang memenangkan maraton. Mana yang lebih penting bagi Anda saat ini, pertumbuhan atau profitabilitas?

BARU MASUK: Peluang IPO Anthropic di atas lonjakan valuasi SpaceX $SPCX $1,77 triliun.

OpenAI menggunakan AI (model Sol dan Astra) untuk membantu merancang chip Jalapeño yang akan menjalankan AI.

OpenAI mengatakan chip AI Jalapeño barunya dapat secara signifikan menurunkan biaya menjalankan kecerdasan buatan, tetapi Jim Cramer (@jimcramer) tetap skeptis bahwa chip ini merupakan ancaman serius bagi Nvidia ($NVDA). Jalapeño adalah chip inferensi kustom pertama dari OpenAI dan dikembangkan bersama Broadcom ($AVGO). Perusahaan berencana mulai menerapkannya secara internal pada akhir 2026, dengan produksi diperkirakan akan meningkat lebih lanjut pada 2027. CEO OpenAI, Sam Altman (@sama), menggambarkan chip ini dengan sederhana dengan mengatakan, "Kami membuat chip dan ini cepat." Perusahaan sudah mengerjakan versi generasi kedua dan ketiga. OpenAI mengatakan Jalapeño dapat memberikan throughput lebih tinggi dan latensi lebih rendah, kombinasi yang sulit dicapai. Tolok ukur internalnya menunjukkan performa per watt yang lebih baik dibandingkan sistem GB200 dan GB300 milik Nvidia di beberapa model AI besar. Tergantung pada beban kerja, OpenAI mengklaim Jalapeño memberikan performa per watt sekitar 1,5x hingga 1,9x lebih tinggi dan latensi yang jauh lebih rendah. Chip ini dirancang khusus untuk inferensi, bukan pelatihan AI. Eksekutif perangkat keras OpenAI, Richard Ho, mengatakan peningkatan efisiensi tersebut pada akhirnya bisa berujung pada harga token yang lebih rendah bagi pelanggan seiring chip ini berskala menjadi produksi. Namun, OpenAI tidak berencana menggantikan Nvidia sepenuhnya. Perusahaan mengatakan akan terus menggunakan akselerator Nvidia dan perangkat keras dari mitra lain baik untuk pelatihan maupun inferensi. Cramer menolak gagasan bahwa setiap chip AI baru mewakili penantang Nvidia yang berarti. Ia mengatakan sering mendengar klaim tentang chip yang lebih unggul, namun tetap melihat "tidak ada pesaing nyata" bagi Nvidia dalam skala besar.

Jalapeno dari OpenAI adalah sinyal bahwa industri AI memasuki era "memiliki tumpukan". Dulu playbook-nya adalah tetap di lane dan fokus. Perusahaan model melatih model. Perusahaan chip membuat chip. Perusahaan data mengumpulkan data. Era itu sudah berakhir. OpenAI awalnya hanya sebagai laboratorium model murni. Sekarang mereka merancang silikon khusus dan mengoptimalkan sistem lengkap sesuai beban kerja mereka sebenarnya. Minggu ini kita juga melihat @Figure_robot masuk ke lapisan data dan meluncurkan Index, upaya pengumpulan data mereka sendiri yang mencakup 108 negara. Semua orang bergerak naik turun tumpukan. Sebagian mungkin untuk memperdalam parit tipis, sebagian untuk mengurangi biaya, sebagian untuk membenarkan penilaian.

OpenAI membangun chip inferensi kustom (Jalapeño) dan beralih dari RTL pertama menjadi tapeout dalam 9 bulan. Saat saya mendesain dan menempelkan SoC kompleks, 18–24 bulan dari RTL hingga tapeout adalah hal yang normal. Verifikasi dan desain fisik menyita sebagian besar jadwal tersebut. Penulisan AI Verilog/VHDL memang sudah diharapkan dengan semua agen coding. Bagian yang mengesankan adalah... tim @OpenAI menggunakan model internal dengan umpan balik QoR yang cepat dan verifikasi yang kuat untuk mengoptimalkan RTL AI benar-benar membatasi siklus desain.. Baik untuk semua orang. Kita akan melihat lebih banyak silikon & lebih banyak inovasi. Sekarang diferensiasi beralih ke pengamanan kapasitas TSMC dan alokasi HBM.. Lebih banyak chip bisa didesain.. Namun, lebih sedikit yang bisa diproduksi dalam skala besar.

Tes Jalapeño awal OpenAI menunjukkan potensi perubahan signifikan dalam ekonomi inferensi: 1,5x-1,9x throughput per watt lebih tinggi dan latensi end-to-end 1,7x-3,6x lebih rendah pada model terbuka. GPT-5.6 Sol juga dilaporkan menggunakan token output 54% lebih sedikit dibandingkan pesaing utama dalam tugas coding. Penilaian yang diukur adalah bahwa peningkatan efisiensi dapat meningkatkan ekonomi satuan, tetapi tolok ukur yang diuji perusahaan belum membuktikan biaya agregat yang lebih rendah. Dengan pendapatan Q2 sebesar $6,7 miliar dibandingkan kerugian operasional sebesar $12,3 miliar, penerapan dalam skala besar dan pertumbuhan beban kerja akan lebih penting daripada kinerja utama. Bukan saran, hanya analisis. #OpenAIInferenceCostTest