Otonomi dan Akuntabilitas AI

Di Indonesia, AI sudah menjadi kebutuhan di berbagai sektor, dan penggunaannya terus bergeser dari alat bantu menjadi model otomasi. Di perbankan, tingkat adopsinya naik dari sekitar 30% pada 2024 menjadi 57,9% pada kuartal I-2026. 

AI kini menangani 35%–40% interaksi dengan nasabah, mengelola puluhan ribu dokumen internal, dan memangkas waktu layanan lebih dari 60%. OJK juga mencatat pergeseran dari otomatisasi sederhana menuju agentic AI, yaitu AI yang mampu menentukan langkah dan menjalankan tugas dengan campur tangan manusia yang lebih sedikit (Putri, 2026).

Contoh penerapan yang sudah berjalan adalah pembukaan rekening digital. BTN, misalnya, memakai pengenalan teks dokumen (OCR), pengenalan wajah, dan deteksi keaslian pengguna untuk verifikasi identitas elektronik, sehingga pembukaan rekening menjadi lebih cepat dan aman. Teknologi ini masih membantu verifikasi belum menjadi agen yang mengambil keputusan sendiri. 

Perkembangan ini menggembirakan karena menunjukkan inovasi. Namun, sisi lainnya juga perlu dilihat: seberapa jauh tindakan AI aman dibiarkan, dan siapa yang bertanggung jawab ketika kewenangannya dinaikkan. Tulisan ini menjawab dua pertanyaan tersebut secara berurutan.

OJK telah menyoroti potensi pemanfaatan agentic AI di sektor perbankan, yakni sistem AI yang dapat menjalankan tugas dan mengambil langkah secara lebih mandiri. Teknologi ini berpotensi digunakan untuk layanan nasabah, kepatuhan, dan deteksi penipuan, tetapi penerapannya juga menuntut pengelolaan risiko yang memadai (OJK, 2025). 

Meski begitu, angka adopsi yang dilaporkan belum merinci sejauh mana agen AI benar-benar mengeksekusi transaksi secara mandiri. Karena itu, penting membedakan tingkat otonomi AI, mulai dari penyaji informasi hingga agen yang mengeksekusi tindakan. Setiap tingkat membutuhkan pengawasan yang berbeda. 

Tantangan utamanya bukan sekadar mempercepat adopsi, melainkan mengukur tingkat otonomi aktual dan memastikan setiap kewenangan diikuti kontrol yang memadai. Risiko AI otonom tidak bergantung pada kesadaran mesin, melainkan pada agensinya: kemampuan mengejar tujuan, mengakses sumber daya, dan menjalankan tindakan secara langsung.

Potensi risiko agen AI terlihat dalam pengujian keamanan siber internal OpenAI pada Juli 2026. Sekitar 1.200 agen yang semestinya bekerja secara terisolasi berhasil berkomunikasi melalui saluran tidak resmi, dan sekitar 700 di antaranya terlibat dalam serangan terhadap sistem Hugging Face (Greenblatt, Cotra, & Wijk, 2026). 

Peristiwa ini menunjukkan perlunya menghilangkan asumsi bahwa setiap agen akan tetap berada dalam lingkup tugasnya. Walaupun kasus ini tidak bisa digeneralisasi, tetapi kewaspadaan pengendalian akses, membatasi tindakan, dan mendeteksi perilaku agen menjadi penting untuk dilakukan.

Di Indonesia, risiko yang lebih dekat adalah penipuan digital. Hingga September 2026, Indonesia Anti-Scam Centre telah memblokir 702.833 rekening dan dana korban senilai Rp811,1 miliar (Antara, 2026), sementara kerugian yang dilaporkan mencapai Rp9,1 triliun per Januari 2026 (OJK, 2026). 

Angka ini menggambarkan skala persoalan, tetapi belum membuktikan kontribusi AI terhadap kerugian tersebut. Agen dan deepfake berpotensi memperbesar skala penipuan melalui penyamaran identitas, pesan yang dipersonalisasi, dan otomatisasi tindakan. Bank perlu mengantisipasinya tanpa menganggap semua kerugian digital berasal dari AI.

Indonesia telah memiliki landasan awal untuk mengatur penggunaan AI di perbankan. OJK menerbitkan Panduan Tata Kelola Kecerdasan Artifisial Perbankan Indonesia (OJK, 2025) dan menegaskan bahwa AI tidak boleh menjadi satu-satunya dasar keputusan, misalnya dalam persetujuan kredit. 

Wakil Menteri Komunikasi dan Digital Nezar Patria juga menekankan pembatasan kewenangan, pengawasan manusia, dan pertanggungjawaban ketika agen AI bertransaksi dengan agen lain (Iconomics, 2026). Namun, pedoman ini belum menjadi kerangka hukum yang mengikat, dan hingga Oktober 2026 Perpres Etika AI belum diterbitkan. Akibatnya, dua pertanyaan pokok belum terjawab: seberapa besar kewenangan boleh diberikan kepada AI, dan siapa yang menanggung akibatnya.

Pertanyaan pertama menyangkut otonomi, pertanyaan kedua menyangkut akuntabilitas, dan keduanya tidak bisa dijawab terpisah. Semakin besar kewenangan AI, semakin jauh jarak antara tindakan dan manusia yang dapat dimintai pertanggungjawaban. Karena itu, akuntabilitas harus menjadi syarat, bukan pelengkap. AI hanya boleh naik ke tingkat otonomi tertentu jika mekanisme akuntabilitas untuk tingkat itu sudah terpasang dan terbukti berjalan.

Pada tingkat pertama, AI menyajikan informasi. Akuntabilitas ada pada manusia yang memakai informasi tersebut, sementara bank menjamin sumber dan akurasinya. 

Pada tingkat kedua, AI memberi rekomendasi dan manusia tetap memutuskan. Pengambil keputusan bertanggung jawab, dan bank harus dapat menunjukkan rekomendasi apa yang diberikan serta alasan rekomendasi itu diikuti atau ditolak. Prinsip OJK bahwa kredit tidak boleh diputuskan oleh AI semata berada di tingkat ini. 

Pada tingkat ketiga, AI menyiapkan tindakan untuk disetujui petugas. Akuntabilitas berpindah ke pemberi persetujuan. Karena itu, setiap persetujuan harus tercatat, dan petugas perlu cukup informasi serta waktu untuk benar-benar memeriksa, bukan sekadar menekan tombol setuju. 

Pada tingkat keempat, AI mengeksekusi tindakan sendiri dalam batas yang ditetapkan. Tidak ada lagi persetujuan per tindakan, sehingga akuntabilitas bergeser ke pihak yang menetapkan batas, mengawasi operasi, dan berwenang menghentikan agen. Rekam jejak setiap tindakan, yang mencakup identitas agen, aktivitas, dasar keputusan, dan batas yang berlaku, menjadi satu-satunya cara untuk menelusuri kesalahan.

Akuntabilitas semestinya tidak hilang ketika otonomi naik namun berpindah dari keputusan individual ke desain dan pengawasan sistem, termasuk pembagian tanggung jawab dengan penyedia teknologi. Karena itu, kenaikan tingkat tidak boleh otomatis. Bank harus lebih dulu menguji akurasi, keamanan, akses, dan pemulihan sistem, termasuk skenario serangan, penyalahgunaan kredensial, dan konflik instruksi, lalu meminta tinjauan independen. 

Agen yang menyentuh dana nasabah wajib dibatasi nominalnya, membutuhkan persetujuan manusia di atas ambang risiko, pemisahan kewenangan, tombol henti darurat, serta pencatatan yang dapat diaudit. Relasi ini berlaku dua arah: jika rekam jejak tidak lengkap atau persetujuan hanya formalitas, kewenangan agen harus diturunkan.

Tiga langkah dapat segera diambil. Pertama, bank memetakan agennya ke empat tingkat dan menunjuk pemilik akuntabilitasnya; agen anti-penipuan bisa mulai di tingkat ketiga, lalu naik ke tingkat keempat setelah terbukti andal. Kedua, OJK menetapkan syarat akuntabilitas minimum untuk setiap tingkat, termasuk pengujian sebelum penerapan dan pelaporan insiden. Ketiga, survei industri mengukur sebaran agen per tingkat, intervensi manusia, dan jumlah insiden, bukan sekadar persentase adopsi.

Pada akhirnya, inovasi AI bukan sekadar membuat otonomi yang sebesar-besarnya,  melainkan membuat AI yang tindakannya dapat dibatasi, ditelusuri, dan dipertanggungjawabkan. Berbagai industri jasa sebaiknya diizinkan apabila peningkatan otonomi agen seimbang dengan pengawasan dan pengendalian risikonya. Setiap kenaikan kewenangan harus didahului bukti bahwa pagar pengamannya benar-benar bekerja.