Pada 20 Januari 2026, jurnal PLoS One menerbitkan angka-angka dari sebuah uji coba di Komisi Antikorupsi Nasional Thailand. Timnya memasang satu sistem untuk menyaring aduan yang masuk. Sistem itu membaca berkas, meringkasnya, lalu menentukan aduan tersebut masuk kategori mana.

Satu sistem, satu tim, satu himpunan data. Hasilnya sama sekali tidak seragam.

Modul pembaca dokumen mencetak F1 81,8 persen, ukuran gabungan antara seberapa sering ia benar dan seberapa banyak yang tertangkap. Modul peringkas dinilai 4,74 dari 5 oleh penilai ahli. Modul yang menentukan kategori mencetak akurasi 57,5 persen.

Jarak antara 4,74 dari 5 dan 57,5 persen itu bukan detail teknis untuk dilewati. Itu seluruh isi tulisan ini.

Waktu prosesnya sendiri turun tajam, dari rata-rata 333 detik menjadi 71 detik per berkas, hemat 78,6 persen. Kalau saya hanya membaca angka penghematan itu, saya akan pulang dengan kesimpulan bahwa uji cobanya sukses besar. Dibaca bersama 57,5 persen, kesimpulannya berubah bentuk. Sistemnya memilah jauh lebih cepat, dan 42,5 persen berkas berakhir di kategori yang keliru.

Saya menulis ini bukan untuk menahan siapa pun memakai AI dalam tata kelola. Kebalikannya. Saya ingin lebih banyak organisasi memakainya, dan justru karena itu batasnya perlu diletakkan di tempat yang benar. Alat yang dipasang di luar batas kemampuannya akan gagal sekali, keras, di depan orang banyak, dan sesudah itu tidak ada yang berani mencoba lagi selama lima tahun.

Garisnya bukan antara manusia dan mesin

Kebiasaan kita membelah pekerjaan menjadi dua tumpukan: yang bisa diotomasi dan yang butuh manusia. Pembagian itu tidak menolong di lapangan, karena hampir semua pekerjaan tata kelola duduk di antara keduanya.

Ada garis lain yang jauh lebih berguna, dan angka Thailand memperlihatkannya dengan rapi. Pertanyaannya bukan seberapa sulit pekerjaan itu bagi mesin. Pertanyaannya: kalau mesin salah, berapa lama sampai ada manusia yang tahu?

Ringkasan bisa diperiksa. Buka dokumen aslinya, baca, selesai dalam lima menit, dan kalau ringkasannya melenceng hal itu langsung kelihatan. Hasil pembacaan dokumen bisa diperiksa: nomor kontraknya cocok atau tidak dengan lembar aslinya. Klasifikasi risiko tidak bisa diperiksa secepat itu. Yang diperiksa bukan lagi fakta melainkan penilaian, dan penilaian yang keliru terlihat persis sama dengan penilaian yang benar sampai akibatnya muncul, kadang setahun kemudian, kadang saat auditor eksternal datang.

Di sinilah AI hari ini sudah andal, dan di sini pula ia belum. Bukan karena satu tugas lebih rumit dari yang lain, tapi karena satu tugas menghasilkan sesuatu yang bisa dicek dan yang lain menghasilkan sesuatu yang harus dipercaya.

Ukuran kedua, dari benua lain

Kalau ini hanya temuan satu tim, saya tidak akan menulisnya. Tapi ada pengukuran kedua yang dilakukan terpisah, di negara lain, dua tahun sebelumnya, dan polanya berulang.

Sekelompok peneliti bersama auditor di Pengadilan Federal Akuntansi Brasil, lembaga yang memeriksa belanja negara di sana, membangun sistem bernama INACIA untuk menyusun berkas perkara. Sistem itu mengekstraksi informasi dasar dari dokumen aduan, menguji kelayakannya, menimbang urgensi, lalu menyusun rekomendasi.

Yang diuji secara kuantitatif hanya tahap terakhir, penyusunan rekomendasi, karena itulah muara dari semua tahap sebelumnya. Hasilnya: presisi rata-rata 0,592 dan recall rata-rata 0,401. Dengan bahasa biasa, sekitar 59 persen butir yang ditulis mesin memang ada di rekomendasi auditor manusia, dan mesin hanya berhasil menangkap sekitar 40 persen butir yang ditulis auditor. Nilai gabungannya 0,429.

Angka rata-rata itu belum bagian yang paling menarik. Rentangnya yang menarik. Presisi terendah 0,000, tertinggi 1,000. Nilai gabungan terendah 0,000, tertinggi 0,933. Simpangan bakunya besar di ketiga ukuran.

Artinya sistem itu bukan sekadar sedang-sedang saja. Ia tidak bisa ditebak. Pada sebagian perkara ia hampir menyamai auditor, pada sebagian lain ia meleset total, dan tidak ada cara mengetahui perkara mana yang mana sebelum manusia membacanya. Untuk pekerjaan tata kelola, sifat tidak bisa ditebak itu lebih merepotkan daripada mutu rata-rata yang rendah. Mutu rendah yang konsisten masih bisa dikompensasi dengan aturan. Ketidakpastian tidak.

Penulisnya menyimpulkan sendiri bahwa pemakaian model bahasa untuk memproses dokumen perkara menunjukkan tingkat akurasi yang sedang. Lalu mereka menutup dengan satu kalimat yang tidak pernah saya temukan di brosur vendor mana pun: pengadilan itu belum mencabut, dan tidak berencana mencabut, pengawasan manusia atas keluaran sistem tersebut.

Dua lembaga, dua benua, dua tim yang tidak saling terhubung, dua tahun berbeda. Mesin kuat saat mengambil dan menyusun, dan biasa saja saat menilai.

Yang sudah cukup andal dipakai hari ini

Dari dua pengukuran itu, ada daftar yang bisa saya susun dengan cukup percaya diri. Semuanya punya satu ciri yang sama: keluarannya bisa diadu dengan sumbernya dalam waktu singkat oleh orang yang memang sudah harus membaca sumber itu.

Membaca dan menstrukturkan dokumen. Menarik nomor kontrak, tanggal, nilai, nama pihak, dan pasal dari tumpukan berkas menjadi tabel. Salahnya kelihatan sekali dicocokkan.

Meringkas untuk manusia yang tetap akan membaca aslinya. Ringkasan yang memangkas waktu orientasi, bukan yang menggantikan pembacaan. Penilai ahli di Thailand memberi 4,74 dari 5, angka tertinggi di seluruh uji coba itu.

Memperluas cakupan pemeriksaan. Ini manfaat terbesar dan paling sering salah dijelaskan. Nilainya bukan pada mesin memutuskan lebih baik dari manusia, melainkan pada mesin sanggup menyentuh 100 persen dokumen sementara tim hanya sanggup menyentuh 5 persen. Di Brasil, sistem penyaring pengadaan bernama Alice, yang lahir di lembaga pengawas internal pemerintah dan kemudian dialihkan ke lembaga pemeriksa keuangan negara, memangkas waktu audit rata-rata dari 400 hari menjadi 8 hari dan berujung pada pembatalan kontrak bernilai miliaran. Yang berubah bukan mutu penilaian. Yang berubah adalah berapa banyak yang sempat dilihat sebelum uangnya keluar.

Pemeriksaan konsistensi. Menerapkan satu aturan yang sama ke seribu dokumen tanpa lelah dan tanpa suasana hati. Setiap temuan tetap dikonfirmasi manusia, tapi mesin yang menemukan kandidatnya.

Menyusun draf awal dokumen rutin. Notula, kertas kerja, tanggapan standar, semua yang bagaimanapun harus ditandatangani seseorang yang bertanggung jawab membacanya lebih dulu.

Uji terimanya sederhana dan bisa dipakai siapa saja di ruang rapat: bisakah satu orang mencocokkan keluaran ini dengan sumbernya dalam lima menit? Kalau bisa, alat itu sudah pantas dicoba. Kalau tidak bisa, yang ditawarkan bukan alat bantu, melainkan kepercayaan.

Yang belum, dan sebaiknya ditunda

Klasifikasi tingkat risiko yang langsung menentukan perlakuan. Ini persis modul 57,5 persen itu. Berkas yang salah keranjang tidak menimbulkan alarm, ia hanya diam di tempat yang salah.

Rekomendasi dan putusan. Nilai 0,429 dengan rentang 0 sampai 0,933 bukan bahan untuk ditandatangani. Lembaga yang membangunnya sendiri memilih tidak melepas pengawasan manusia.

Apa pun yang keluarannya masuk ke proses berikutnya tanpa ada yang membaca sumbernya. Ini bukan soal jenis pekerjaan, melainkan soal rancangan alur kerja. Tugas yang aman bisa berubah jadi berbahaya hanya dengan menghapus satu langkah pemeriksaan agar terlihat lebih efisien.

Jebakan yang lebih besar daripada akurasi

Sampai di sini semuanya masih soal mutu model. Bagian berikutnya lebih penting, dan hampir tidak pernah masuk proposal.

Alice bekerja. Angkanya nyata dan diakui lembaga antar-pemerintah. Namun pada 2019, sebuah studi yang terbit di jurnal akuntansi Universitas São Paulo mensurvei 60 auditor di lembaga itu dan mewawancarai sembilan orang di dalamnya, mulai dari pengembang sampai manajer audit. Temuannya: pemakaian sistem-sistem AI itu rendah. Alat yang paling banyak dipakai auditor tetap lembar kerja dan pengolah kata biasa.

Seorang pengembangnya mengatakan alasannya dengan sangat jelas, dan kalimat ini yang saya bawa pulang: stafnya punya target yang harus dipenuhi, dan Alice tidak ada di dalam target itu.

Perlu saya beri dua pagar sebelum kalimat itu dipakai terlalu jauh. Studi ini bertahun 2019, masih awal umur sistemnya, dan tingkat responsnya 19 persen dari 320 auditor yang dihubungi. Ia tidak menggambarkan keadaan lembaga itu hari ini, dan saya tidak punya data yang menggambarkannya. Yang bertahan dari studi itu bukan angkanya, melainkan mekanismenya.

Mekanisme itu berlaku di mana saja: alat memperluas apa yang terperiksa, dan ia tidak memperluas apa yang tertindaklanjuti. Keluaran yang tidak masuk ke beban kerja siapa pun akan menumpuk sampai diabaikan, dan sesudah beberapa bulan akan ada rapat yang menyimpulkan bahwa alatnya tidak berguna. Padahal alatnya bekerja. Yang tidak ada adalah orang yang pekerjaannya menutup temuan.

Pola ini bukan hal asing di sektor tempat saya banyak mengamati. Perangkat pemantau jaringan air terpasang lengkap, datanya mengalir, dan angka kehilangan air tidak bergerak selama bertahun-tahun. Bukan sensornya yang gagal. Yang tidak pernah dibangun adalah rantai antara satu alarm dan satu regu yang berangkat.

Pertanyaan yang jarang muncul di rapat direksi

ISACA menyurvei 681 profesional kepercayaan digital di Eropa pada Februari 2026 dan menanyakan satu hal yang terdengar sepele: seberapa cepat organisasi mereka bisa menghentikan sebuah sistem AI kalau terjadi insiden keamanan.

Hampir tiga per lima, 59 persen, menjawab tidak tahu. Hanya 21 persen yang menyatakan bisa dalam setengah jam. Ketika ditanya apakah mereka yakin sanggup menyelidiki dan menjelaskan insiden AI yang serius kepada pimpinan atau regulator, 42 persen menyatakan yakin, dan hanya 11 persen sangat yakin.

Menurut saya inilah pertanyaan tata kelola yang paling murah dan paling sering dilewati. Ia tidak butuh pemahaman soal model, tidak butuh konsultan, dan bisa ditanyakan siapa saja dalam satu kalimat. Kalau jawabannya tidak ada, maka yang sedang dibicarakan bukan penambahan otomasi melainkan penambahan ketergantungan.

Urutan yang saya anggap benar: buktikan bisa dihentikan lebih dulu, baru perluas kewenangannya. Yang sering terjadi kebalikannya, karena memperluas kewenangan menghasilkan bahan presentasi dan memasang tombol berhenti tidak.

Di Indonesia, belum ada yang memaksa

Perbankan sudah punya acuan sendiri sejak Otoritas Jasa Keuangan menerbitkan panduan tata kelola kecerdasan artifisial untuk industri perbankan pada 29 April 2025. Untuk sektor lain, dua rancangan peraturan presiden, satu tentang peta jalan AI nasional dan satu tentang etika AI, masih dalam proses menuju penetapan per Juli 2026. Saya sudah membahas ketidakrataan ini terpisah di tulisan tentang celah tata kelola AI antara OJK dan Komdigi.

Konsekuensi praktisnya begini. Bagi sebagian besar organisasi di Indonesia hari ini, tidak ada regulator yang akan menegur karena memasang alat AI di luar batas keandalannya. Disiplin itu harus dipasang sendiri, oleh orang yang sama yang sedang ingin proyeknya berhasil. Itu susunan yang tidak nyaman, dan justru karena itu ambangnya perlu ditulis sebelum alatnya dibeli, bukan sesudah.

“Tapi modelnya akan membaik”

Sanggahan yang paling kuat terhadap seluruh tulisan ini adalah bahwa angkanya cepat basi. Model tahun depan mungkin mengubah 57,5 persen menjadi 80 persen, dan 0,429 menjadi angka yang jauh lebih terhormat. Saya kira itu masuk akal, dan saya tidak sedang mengklaim ada langit-langit permanen.

Dua hal membuat sanggahan itu tidak menyelesaikan masalah.

Pertama, keputusan memasang alat dibuat hari ini, dengan performa hari ini, di data organisasi sendiri. Angka yang dijanjikan tahun depan tidak menanggung kesalahan tahun ini. Yang layak ditanyakan ke vendor bukan seberapa canggih modelnya, melainkan berapa hasil pengukurannya pada seratus dokumen milik organisasi ini, diperiksa oleh orang organisasi ini.

Kedua, kendala yang lebih mengikat sama sekali tidak ikut membaik saat model membaik. Kapasitas tindak lanjut ditentukan oleh jumlah orang, jam kerja, dan kewenangan, bukan oleh mutu prediksi. Model yang dua kali lebih akurat dan menghasilkan dua kali lebih banyak temuan akan membuat antrean yang tidak tertangani menjadi dua kali lebih panjang.

Satu langkah yang bisa dimulai besok

Sebelum menandatangani alat AI tata kelola apa pun, ambil tiga bulan terakhir dan hitung satu angka: berapa banyak temuan yang benar-benar ditutup organisasi ini per bulan. Ditutup, bukan dibuka. Bukan target, bukan rencana, melainkan hitungan riil dari catatan yang ada.

Angka itu, bukan tingkat keyakinan model, yang jadi ambang alarm alat barunya. Kalau tim menutup 12 temuan sebulan, alat yang melemparkan 300 tanda sebulan tidak memperbaiki tata kelola. Ia memindahkan kegagalan dari “tidak tahu” menjadi “tahu dan tidak berbuat apa-apa”, dan yang kedua itu posisi yang jauh lebih sulit dipertahankan di depan pemeriksa.

Setel ambangnya ke kapasitas, jalankan enam bulan, baru naikkan kapasitasnya kalau memang terbukti berharga. Urutan itu membosankan dan hampir selalu berhasil.

Yang tidak dibahas tulisan ini

Bukti yang saya pakai berasal dari lembaga audit dan antikorupsi, dan pekerjaan mereka berbeda dari tata kelola administratif sehari-hari, jadi angkanya tidak boleh dipindahkan mentah-mentah. Studi Thailand memakai data semi-sintetis karena berkas aslinya sensitif, dan penulisnya menyatakan hal itu membatasi keterwakilan modelnya. Saya juga tidak membahas keamanan model, biaya kepemilikan, maupun perlindungan data pribadi, yang masing-masing cukup besar untuk berdiri sendiri.

Satu hal yang saya yakini bertahan lebih lama dari angka mana pun di atas: AI boleh menyiapkan putusan, ia belum boleh membuatnya. Dan bahkan pada bagian yang boleh, alat itu hanya berguna sejauh ada orang yang pekerjaannya menutup apa yang ia temukan.

Referensi

  1. Efficient AI-driven allegation screening: A case study of Thailand’s National Anti-Corruption Commission Sereewatthanawut dkk., PLoS One (20 Januari 2026). Modul OCR F1 81,8 persen; ringkasan dinilai 4,74 dari 5; klasifikasi 57,5 persen; waktu proses 333,39 detik menjadi 71,47 detik. https://doi.org/10.1371/journal.pone.0338633

  2. INACIA: Integrating Large Language Models in Brazilian Audit Courts: Opportunities and Challenges Pereira dkk., arXiv:2401.05273 (Januari 2024). Tugas rekomendasi: presisi 0,592, recall 0,401, F1 0,429, rentang 0,000 sampai 0,933; pengawasan manusia tidak dicabut. https://arxiv.org/abs/2401.05273

  3. Artificial ladies against corruption: searching for legitimacy at the Brazilian Supreme Audit Institution Neves, Silva dan Carvalho, Revista de Contabilidade e Organizações vol. 13 (2019). Survei 60 auditor dan sembilan wawancara; pemakaian sistem AI rendah. https://doi.org/10.11606/issn.1982-6486.rco.2019.158530

  4. AI in Government: Public procurement OECD.AI. Sistem Alice memangkas waktu audit rata-rata dari 400 hari menjadi 8 hari, dengan catatan soal mutu data, keterbukaan, dan kebutuhan evaluasi berkelanjutan. https://oecd.ai/en/gov/issues/public-procurement

  5. New ISACA research reveals AI blind spot at the heart of enterprise risk ISACA, 2026 AI Pulse Poll (681 responden Eropa, survei 6 sampai 22 Februari 2026). 59 persen tidak tahu seberapa cepat sistem AI bisa dihentikan; 21 persen bisa dalam setengah jam. Baca di situs ISACA

  6. Tata Kelola Kecerdasan Artifisial Perbankan Indonesia Otoritas Jasa Keuangan (29 April 2025). Panduan tata kelola AI untuk industri perbankan. Baca di situs resmi OJK

  7. Komdigi Masih Tunggu Peta Jalan dan Perpres Etika AI Tempo (2026). Status dua rancangan peraturan presiden tentang AI yang masih diproses menuju penetapan. Baca di Tempo

Penafian: Tulisan ini adalah pandangan pribadi penulis sebagai praktisi profesional dan tidak mewakili sikap atau kebijakan resmi dari institusi atau perusahaan tempat penulis bekerja. Seluruh angka kinerja sistem berasal dari publikasi ilmiah dan dokumen lembaga yang dirujuk, bukan dari data internal organisasi mana pun. Bukan nasihat hukum, nasihat pengadaan, atau rekomendasi produk; untuk keputusan pemasangan teknologi, konsultasikan dengan tim internal dan penasihat yang memahami konteks organisasi Anda.