AI Agent kini tidak lagi sekadar chatbot yang menjawab pertanyaan. Di banyak organisasi, AI Agent telah berkembang menjadi entitas yang mampu mengambil keputusan, menggunakan tools, mengakses data perusahaan, menjalankan workflow otomatis, hingga berinteraksi dengan sistem bisnis secara mandiri.
Kemampuan tersebut membawa manfaat besar bagi produktivitas, tetapi juga menciptakan permukaan serangan baru yang belum pernah dihadapi sebelumnya.
Untuk membantu organisasi memahami risiko ini, OWASP merilis OWASP Top 10 for Agentic Applications, sebuah kerangka kerja yang mengidentifikasi risiko keamanan paling umum pada AI Agent. Namun mengetahui jenis risiko saja tidak cukup. Tantangan berikutnya adalah bagaimana mendeteksi risiko tersebut saat benar-benar terjadi di lingkungan operasional. Di sinilah behavioral analytics mulai memainkan peran penting.
Mengapa AI Agent Menjadi Tantangan yang Berbeda?
Berbeda dengan aplikasi tradisional, AI Agent memiliki karakteristik yang unik:
-
Memiliki identitas digital.
-
Menggunakan kredensial resmi.
-
Mengakses berbagai sistem internal.
-
Menjalankan tool dan API.
-
Membuat keputusan berdasarkan konteks.
Karena bekerja menggunakan akses yang sah, aktivitas AI Agent sering kali terlihat normal dari sudut pandang sistem keamanan tradisional.
Karakteristik AI Agent Modern
| Karakteristik | Dampak Keamanan |
|---|---|
| Otonomi tinggi | Sulit diprediksi |
| Menggunakan kredensial valid | Sulit dibedakan dari aktivitas normal |
| Mengakses banyak sistem | Risiko meluas |
| Beroperasi cepat | Dampak dapat berkembang dalam hitungan detik |
| Berbasis workflow | Ancaman muncul sebagai rangkaian aktivitas |
Inilah alasan mengapa banyak teknik deteksi konvensional kesulitan mengidentifikasi penyalahgunaan AI Agent.
OWASP Top 10 untuk Agentic Applications
OWASP mengelompokkan berbagai risiko yang muncul pada sistem agentic ke dalam beberapa kategori utama.
Contoh Risiko yang Diidentifikasi OWASP
| Kategori Risiko | Gambaran Umum |
|---|---|
| Prompt Manipulation | Agent dipengaruhi untuk melakukan tindakan yang tidak semestinya |
| Excessive Privileges | Hak akses terlalu luas |
| Tool Misuse | Penyalahgunaan tool yang tersedia |
| Rogue Agent | Agent bertindak di luar tujuan yang ditetapkan |
| Identity Abuse | Penyalahgunaan identitas dan kredensial |
| Memory Poisoning | Manipulasi memori atau konteks agent |
| Inter-Agent Risk | Risiko komunikasi antar agent |
Yang menarik, sebagian besar risiko tersebut tidak muncul sebagai satu peristiwa tunggal. Mereka berkembang melalui serangkaian aktivitas yang tampak sah jika dilihat secara terpisah.
Mengapa Deteksi Tradisional Sering Gagal?
Sebagian besar solusi keamanan saat ini masih bergantung pada:
-
Correlation rules.
-
Signature detection.
-
Known Indicators of Compromise (IOC).
-
Policy violations.
Pendekatan tersebut efektif ketika ancaman secara jelas melanggar aturan yang ada.
Namun pada AI Agent, skenarionya berbeda.
Misalnya:
-
Pengguna memberikan prompt yang tampak normal.
-
Agent menggunakan tool yang memang diizinkan.
-
Agent mengakses data yang secara teknis boleh diakses.
-
Agent menjalankan workflow yang valid.
Tidak ada satu pun aktivitas yang terlihat berbahaya.
Tetapi ketika seluruh rangkaian tersebut dianalisis bersama, hasil akhirnya dapat berupa kebocoran data atau penyalahgunaan akses. Inilah yang sering tidak terlihat oleh pendekatan berbasis event tunggal.
Perbandingan Pendekatan Deteksi
| Deteksi Tradisional | Behavioral Analytics |
|---|---|
| Fokus pada event | Fokus pada perilaku |
| Berdasarkan aturan | Berdasarkan pola |
| Melihat aktivitas tunggal | Melihat rangkaian aktivitas |
| Reaktif | Lebih proaktif |
| Bergantung signature | Mendeteksi anomali baru |
Behavioral Analytics: Dari Risiko Menjadi Deteksi
Menurut Exabeam, behavioral analytics bekerja dengan membangun pemahaman mengenai perilaku normal pengguna dan AI Agent.
Sistem mempelajari:
-
Pola prompt.
-
Pola akses data.
-
Penggunaan tool.
-
Aktivitas API.
-
Interaksi antar agent.
-
Perubahan perilaku dari waktu ke waktu.
Ketika terjadi penyimpangan yang signifikan, sistem dapat mengidentifikasi risiko bahkan ketika tidak ada signature serangan yang dikenal sebelumnya.
Dari Input Hingga Output: Melihat Siklus Penuh AI Agent
Salah satu keunggulan behavioral analytics adalah kemampuannya menghubungkan seluruh siklus aktivitas AI Agent.
Tahapan yang Dipantau
| Tahap | Aktivitas |
|---|---|
| Input | Prompt dan instruksi pengguna |
| Processing | Pengambilan keputusan agent |
| Tool Usage | Pemanggilan tool dan API |
| Data Access | Penggunaan data internal |
| Output | Hasil tindakan agent |
| Outcome | Dampak terhadap bisnis |
Dengan visibilitas end-to-end ini, tim SOC dapat memahami bagaimana sebuah risiko berkembang dari awal hingga menghasilkan dampak nyata.
Rogue Agent: Ancaman Baru yang Sulit Terlihat
Salah satu kategori risiko yang paling menarik adalah Rogue Agent.
Rogue Agent tidak selalu berarti AI yang “jahat”. Dalam banyak kasus, agent:
-
Salah konfigurasi.
-
Mengalami prompt manipulation.
-
Menggunakan tool secara tidak tepat.
-
Menjalankan workflow yang tidak sesuai tujuan awal.
Masalahnya, setiap tindakan individual mungkin masih terlihat valid.
Karakteristik Rogue Agent
| Aktivitas | Terlihat Normal? |
|---|---|
| Login menggunakan kredensial resmi | Ya |
| Mengakses data perusahaan | Ya |
| Menjalankan API resmi | Ya |
| Mengotomatisasi workflow | Ya |
| Menghasilkan dampak berbahaya | Bisa terjadi |
Karena itu, deteksi berbasis perilaku menjadi penting untuk membedakan aktivitas normal dari penyimpangan yang berisiko.
AI Agent Kini Menjadi Insider Baru
Dalam konsep Agentic Enterprise, AI Agent mulai dipandang sebagai insider digital.
Mereka memiliki:
-
Identitas.
-
Hak akses.
-
Otorisasi.
-
Kemampuan bertindak atas nama pengguna.
Akibatnya, konsep insider threat kini tidak lagi terbatas pada manusia.
Evolusi Insider Threat
| Generasi | Fokus |
|---|---|
| Tradisional | Karyawan |
| Modern | Human + Service Account |
| Agentic Enterprise | Human + AI Agent + NHI |
Exabeam menilai bahwa keamanan modern harus mampu memahami hubungan antara perilaku manusia dan perilaku AI Agent dalam satu konteks yang terintegrasi.
Relevansi bagi Organisasi di Indonesia
Adopsi AI Agent semakin meningkat di berbagai sektor:
-
Perbankan.
-
Telekomunikasi.
-
Pemerintahan.
-
Energi.
-
Manufaktur.
-
Kesehatan.
Banyak organisasi mulai menggunakan:
-
ChatGPT Enterprise
-
Microsoft Copilot
-
Google Gemini for Workspace
-
Workflow automation berbasis AI.
-
Multi-agent platform.
Semakin banyak AI Agent yang beroperasi di lingkungan perusahaan, semakin penting pula kemampuan untuk memonitor perilaku mereka secara berkelanjutan.
Kesimpulan
OWASP memberikan kerangka yang sangat penting untuk memahami risiko keamanan pada AI Agent, mulai dari prompt manipulation hingga rogue agent behavior. Namun risiko-risiko tersebut jarang muncul sebagai satu kejadian tunggal. Mereka berkembang melalui serangkaian aktivitas yang tampak sah dan sering kali lolos dari deteksi berbasis aturan tradisional.
Behavioral analytics menawarkan pendekatan yang berbeda dengan mempelajari bagaimana pengguna dan AI Agent biasanya beroperasi, kemudian mendeteksi penyimpangan yang mengindikasikan risiko. Dengan memantau seluruh siklus aktivitas—mulai dari input, proses pengambilan keputusan, penggunaan tool, hingga output—tim keamanan memperoleh visibilitas yang lebih lengkap terhadap ancaman yang berkembang di lingkungan Agentic Enterprise.
Bagi organisasi yang mulai mengadopsi AI Agent dalam skala besar, kombinasi antara kerangka risiko OWASP dan behavioral analytics dapat menjadi fondasi penting untuk menjaga keamanan, tata kelola, dan kepercayaan terhadap tenaga kerja digital generasi berikutnya.
Exabeam Indonesia merupakan bagian dari PT. iLogo Infralogy Indonesia, yang bertindak sebagai partner resmi Exabeam.
Selain itu, kami juga berperan sebagai penyedia layanan (vendor) sekaligus distributor berbagai produk Infrastruktur IT dan Cybersecurity terbaik di Indonesia.