Agen kecerdasan buatan yang bersifat otonom kini semakin banyak hadir di lingkungan perusahaan. Berbeda dengan perangkat lunak tradisional yang bekerja menurut aturan deterministik, agen-agen ini menggunakan proses penalaran sehingga perilakunya sulit diprediksi sepenuhnya saat diimplementasikan.

Di kawasan Asia Pasifik, IDC memperkirakan investasi pada AI dan GenAI mencapai US$175 miliar pada 2028, dengan sistem agentic memainkan peran penting dalam gelombang investasi tersebut. Namun perkembangan tata kelola untuk mengendalikan risikonya belum secepat adopsi.

Identitas Mesin dan Kesenjangan Tata Kelola

Agen AI beroperasi melalui identitas mesin—seperti service accounts, API tokens, dan kredensial—yang memberikan akses ke sistem dan data. Gartner mencatat pengelolaan identitas mesin sebagai salah satu area IAM (Identity Access Management) yang paling belum matang, sekaligus area dengan pertumbuhan skala dan eksposur risiko yang pesat.

Data menunjukkan jumlah identitas mesin kini melampaui jumlah pengguna manusia, namun banyak organisasi masih memusatkan perhatian pada pengelolaan identitas manusia, terutama privileged users.

Over-Permissioning dan Dampaknya

Bentuk kegagalan yang paling umum adalah over-permissioning. Agen AI sering diberi akses lebih luas daripada yang diperlukan—sebagian karena fokus pengembang pada kapabilitas, dan sebagian karena solusi tata kelola untuk identitas non-human masih berkembang.

Penelitian terhadap implementasi di lingkungan perusahaan menemukan bahwa 77% organisasi mengandalkan platform IAM yang sudah ada untuk mendapatkan visibilitas terhadap identitas mesin, namun hanya 2% yang telah mengimplementasikan solusi keamanan khusus untuk identitas non-human.

Kesenjangan ini telah berbuah konsekuensi nyata: 80% organisasi melaporkan agen AI mereka pernah melakukan tindakan yang tidak diinginkan, termasuk mengakses atau membagikan data sensitif. Kondisi tersebut menyoroti adanya kelemahan struktural dalam pengelolaan identitas AI.

Aspek Regulasi dan Akuntabilitas

Bagi perusahaan di Indonesia, perkembangan regulasi menambah urgensi tata kelola. Undang-Undang Perlindungan Data Pribadi (UU PDP) kini mewajibkan lokalisasi data dan memperkuat perlindungan terhadap transfer data lintas negara.

Risiko utama muncul dari kombinasi tingkat kepercayaan yang tinggi terhadap kapabilitas teknologi dan tingkat kematangan tata kelola yang rendah. Banyak organisasi belum menentukan akuntabilitas jelas terkait akses yang dimiliki agen AI dan keputusan yang dapat dipengaruhinya.

Profil risiko berubah seiring meningkatnya otonomi sistem agentic, penggunaan arsitektur multi-agent, dan frekuensi interaksi agen dengan sistem di luar kendali langsung organisasi.

Prinsip Tata Kelola yang Direkomendasikan

Organisasi yang efektif mengelola kondisi ini adalah yang membangun tata kelola sejak awal. Setiap agen AI perlu diperlakukan sebagai identitas terpisah—dengan penanggung jawab yang jelas, hak akses terbatas sesuai ruang lingkup, dan siklus hidup yang terdokumentasi.

Prinsip yang dianjurkan adalah menerapkan ketelitian yang sama untuk akses agen AI seperti yang diterapkan pada akun manusia dengan hak akses istimewa, serta memastikan visibilitas berkelanjutan, bukan audit satu titik waktu.

Peta Jalan Nasional Kecerdasan Artifisial Indonesia menekankan pentingnya tata kelola sepanjang siklus hidup AI, termasuk pengawasan berkelanjutan dan pemantauan pasca implementasi untuk menjaga akuntabilitas dan kesesuaian tujuan penggunaan.

Industri bergerak menuju apa yang disebut sebagai Agentic Fabric—kapabilitas yang dirancang untuk menemukan, mengelola, dan memantau identitas agen AI secara berkelanjutan di berbagai lingkungan, dari agen SaaS siap pakai hingga sistem otonom kustom. Prinsip utamanya adalah identity-first governance: setiap agen memiliki pemilik yang diketahui, izin akses terdefinisi, serta kemampuan audit dan pencabutan akses.

Sebagai catatan, manfaat produktivitas dari agen AI nyata, tetapi risiko juga ada. Faktor penentu bukan sekadar kecanggihan agen, melainkan kualitas tata kelola yang mengelilinginya.

GVP ASEAN, SailPoint.