Cina baru saja membangun model AI besar tanpa chip Nvidia. Sekarang OpenAI menemukan cara untuk menjalankan dengan jauh lebih sedikit chip tersebut, sehingga biaya inference turun lebih dari separuh. Meskipun begitu, harga saham Nvidia tetap naik.
Inilah yang menjadi teka-teki. OpenAI adalah salah satu pelanggan terbesar Nvidia (NVDA). Tapi harga sahamnya tetap naik walaupun OpenAI kini membutuhkan lebih sedikit chip.
OpenAI Kurangi Biaya Inference dari Dua Arah
Arah pertama adalah dari sisi software. The Information melaporkan bahwa para engineer OpenAI berhasil memangkas biaya inference lebih dari separuh melalui metode optimisasi terbaru. OpenAI belum mempublikasikan detail teknisnya.
Efisiensi ini membuat jumlah chip Nvidia yang dibutuhkan untuk menangani beberapa traffic ChatGPT jadi berkurang. Selain itu, penghematan ini bisa membuat OpenAI menurunkan harga atau menaikkan batas penggunaan layanan.
Arah kedua datang dari sisi hardware. Pada 24 Juni, OpenAI dan Broadcom (AVGO) memperkenalkan Jalapeño, chip custom pertama mereka. OpenAI menerangkan, pengujian awal menunjukkan kinerja per watt jauh lebih baik dibanding chip unggulan saat ini, dengan proses desain hanya sembilan bulan.
Chip pertama akan mulai digunakan dalam skala gigawatt pada akhir 2026, dengan Microsoft sebagai mitra utamanya. Nvidia masih menjalankan sebagian besar inference OpenAI, meskipun OpenAI juga mendanai kemitraan chip dengan Broadcom.
Perusahaan Big Tech Berlomba Bangun Chip Sendiri
Bukan hanya OpenAI yang melakukan ini. Google sudah membangun tensor processing unit sejak 2016, dan Amazon juga membuat chip sendiri. Perusahaan riset TrendForce memproyeksikan sistem berbasis ASIC akan mencapai 27,8% pengiriman server AI pada 2026, tertinggi sejak 2023.
Menurut perhitungan TrendForce, pertumbuhan chip custom akan lebih cepat daripada GPU Nvidia untuk pertama kalinya. Pemasok seperti Broadcom dan Marvell telah menjadi produsen chip custom utama dalam pengembangan ini.
Sanksi juga mendorong tren yang sama di Cina. Baru-baru ini Meituan melatih model LongCat-2.0 dengan 1,6 triliun parameter memakai chip buatan dalam negeri Cina, tanpa chip Nvidia sama sekali.
Mengapa Harga Saham Nvidia Terus Naik
Ancaman memang nyata, tapi data menjelaskan kenapa pasar tetap tenang. Harga saham Nvidia naik hampir 2% pada 30 Juni, dan mendekati nilai US$4,8 triliun. Laporan terbaru Nvidia menunjukkan pendapatan data-center naik 75% menjadi rekor US$62,3 miliar hanya dalam satu kuartal.
Hampir semua tekanan berada di sisi inference, bukan training. Nvidia tetap mendominasi pelatihan model, karena software CUDA mereka telah mengikat para pengembang sejak 2006. Chip custom jarang bisa menyamai fleksibilitas tersebut.
Nvidia juga berupaya mempertahankan layer inference yang dianggapnya mulai tergeser. Dalam ajang GTC, Nvidia menyebut platform Rubin besutan mereka mampu memangkas biaya inference per token hingga 10 kali lipat dibanding Blackwell. Biaya inference yang lebih murah biasanya akan meningkatkan penggunaan serta kebutuhan komputasi secara total.
Tidak semua orang yakin dengan hal ini. Beberapa investor berpindah ke saham chip pesaing karena percaya perubahan tren inference bisa berdampak besar. tapi Nvidia memperkirakan kuartal ini tanpa menghitung penjualan di Cina, dan tetap yakin terjadi permintaan rekor.
Nvidia tetap bisa menjual semua chip yang mereka produksi. Ujian sebenarnya adalah apakah pelanggan terbesar mereka bisa berhenti memakai chip Nvidia lebih cepat daripada pertumbuhan pasar.
