Netra Runtime, perusahaan infrastruktur inferensi kecerdasan buatan (AI) asal Indonesia, resmi memperkenalkan layanannya kepada publik. Perusahaan ini menawarkan teknologi untuk meningkatkan kecepatan pemrosesan model AI sekaligus mengoptimalkan efisiensi biaya pada infrastruktur yang digunakan perusahaan.
Founder sekaligus CEO Netra Runtime Rifky Bujana Bisry mengatakan, tantangan adopsi AI tidak hanya terletak pada kemampuan menjalankan model, tetapi juga bagaimana teknologi tersebut dapat beroperasi secara efisien dalam penggunaan nyata.
“Banyak tim bisa menjalankan sebuah model AI. Bagian yang sulit adalah menyajikannya dengan throughput tinggi dan latensi rendah di bawah beban kerja nyata, sambil tetap memegang kendali atas infrastruktur dan biaya,” ujar Rifky media briefing di University Club Jakarta, Kamis (29/10/2026).
Baca Juga: Kompetisi Ide hingga Bisnis Berjalan, BINUS Startup Vaganza 2026 Umumkan Pemenang
Netra Runtime menyediakan dua skema layanan untuk memenuhi kebutuhan pelanggan. Pertama, lisensi perangkat lunak yang memungkinkan perusahaan menjalankan teknologi Netra langsung di infrastruktur GPU milik mereka. Melalui skema ini, perusahaan dapat mempertahankan kendali atas model AI dan data yang diproses.
Kedua, Netra menyediakan layanan Netra Cloud yang memungkinkan pelanggan mengakses inferensi AI tanpa harus membeli atau mengoperasikan perangkat keras sendiri. Layanan ini menggunakan antarmuka pemrograman aplikasi (application programming interface/API) yang kompatibel dengan OpenAI, dengan skema pembayaran berdasarkan jumlah token yang digunakan.
Kedua layanan tersebut menggunakan teknologi inti yang sama. Netra menyebut pengembangan teknologinya mencakup berbagai lapisan sistem, mulai dari kernel inferensi, runtime, hingga penjadwalan pemrosesan model.
Salah satu pengembangan yang dipublikasikan perusahaan adalah kernel inferensi dan integrasi runtime untuk model Deepseek v4.1 Flash pada GPU AMD Instinct MI350X. Netra juga membuka repositori Netra Kernel dengan lisensi open source MIT agar pengembang dapat memeriksa implementasi dan validasi teknologinya.
Dari sisi performa, Netra memaparkan hasil pengujian yang menunjukkan throughput prefill mencapai 73.527 token masukan per detik pada tingkat konkurensi 32 tanpa cache.
Sementara itu, pada pengujian decode dengan tingkat konkurensi 32, konfigurasi empat GPU AMD Instinct MI350X mencatat throughput agregat sebesar 5.062 token keluaran per detik. Sebagai perbandingan, konfigurasi dua GPU NVIDIA B300 mencatat 2.870,2 token per detik, sedangkan empat GPU NVIDIA B300 mencapai 2.497,8 token per detik.
Pada tingkat konkurensi satu, kecepatan pemrosesan token keluaran per pengguna pada konfigurasi empat GPU AMD Instinct MI350X mencapai 1.152 token per detik. Adapun konfigurasi dua dan empat GPU NVIDIA B300 masing-masing mencatat 498,8 dan 608,6 token per detik.
Perusahaan menegaskan hasil pengujian tersebut bergantung pada model AI, perangkat keras, beban kerja, serta konfigurasi yang digunakan. Karena itu, calon pelanggan dapat menguji teknologi Netra menggunakan pola trafik dan kebutuhan operasional masing-masing.
Hingga 28 Oktober 2026, Netra mengklaim telah memproses lebih dari 288 miliar token. Pada periode 21–27 Oktober 2026, platform tersebut mencatat rata-rata pemrosesan 6,14 miliar token per hari.
Perusahaan juga melaporkan memiliki 1.415 pengguna terdaftar dan 19 mitra. Netra menyebut angka tersebut sebagai indikator awal penggunaan platform dan minat pasar.
Untuk memperluas jangkauan layanan, Netra bekerja sama dengan sejumlah mitra reseller, yakni SumoPod, NusaRouter, dan API.co.id. Kemitraan tersebut ditujukan untuk menjangkau pelanggan melalui platform yang telah digunakan pengembang dan perusahaan.
Bagi perusahaan yang memiliki infrastruktur GPU sendiri, Netra menawarkan skema proof of concept (PoC) dengan menguji teknologi menggunakan model, infrastruktur, dan kebutuhan data pelanggan sebelum penerapan secara privat.
Rifky mengatakan, perusahaan kini perlu mempertimbangkan sejumlah indikator dalam mengadopsi AI, termasuk throughput, latensi, keandalan, dan biaya per token yang dihasilkan.
“Pelanggan kini semakin sering bertanya berapa biaya menjalankan sebuah model di produksi, seberapa responsif bagi pengguna, dan di mana pemrosesan dilakukan. Spesifikasi GPU saja tidak menjawab pertanyaan itu. Yang penting adalah throughput, latensi, keandalan, dan biaya per token yang benar-benar berguna,” kata Rifky.
Komentar (0)