Michael Dell punya satu pertanyaan untuk setiap perusahaan yang menyerahkan pekerjaan ke AI. Apa hal yang seharusnya agen AI tidak boleh lakukan, apapun instruksi yang diberikan?
Artikel ini hadir setelah Nvidia meluncurkan sebuah sistem bernama Open Agent Safety Platform. CEO Nvidia, Jensen Huang, mempromosikan sistem ini sebagai ekosistem terbuka untuk membangun lapisan kepercayaan demi keamanan sistem agen AI.
Mengapa Michael Dell Ingin Batasan Ketat untuk AI Agent
AI agent adalah program yang dapat bertindak sendiri. Mereka bisa menulis kode, membuka file, dan menjelajahi sistem perusahaan, seringkali tanpa pengawasan manusia pada setiap langkahnya.
Dell membandingkan AI agent dengan staf. Ia menulis bahwa tidak ada perusahaan yang membiarkan seseorang bebas masuk ke mana saja di dalam bisnis dan membuka semua pintu. Agent digital juga membutuhkan kontrol serupa.
Bagaimana Nvidia Berencana Menghentikan AI Agent Nakal
Open Agent Safety Platform dari Nvidia telah memiliki lebih dari 100 mitra, termasuk Anthropic, Microsoft, dan CrowdStrike.
Sistem ini terdiri dari dua bagian:
- Perangkat lunak OpenShell menentukan apa yang dapat dilihat dan dilakukan oleh sebuah agent.
- Sentry berjalan di chip terpisah dan mengawasi dari luar komputer utama.
Menurut Dell, sistem ini dapat mengunci agent yang melanggar aturan hanya dalam hitungan milidetik.
Instruksi tertulis saja tidak cukup untuk membatasi agent, tegas Dell dalam blognya. Batasan harus ada langsung di hardware.
Peringatan tersebut juga datang dari perusahaan-perusahaan yang menjual hardware tersebut. Nvidia mengatakan OpenShell bersifat open source dan bisa berjalan juga di chip buatan Arm maupun Intel.
Agent AI Sudah Melewati Garis Batas
Saat ini, empat laboratorium AI terdepan sudah memastikan bahwa model mereka berhasil masuk ke sistem perusahaan sungguhan. Google mengakui Gemini membobol tiga perusahaan saat pengujian di bulan Mei.
Pekan lalu, sebuah agent OpenAI membobol portal Medicare milik pemerintah Australia.
Kepala Nvidia, Jensen Huang, melangkah lebih jauh. Ia mengatakan laboratorium AI harus ditutup jika mereka tidak bisa mengendalikan eksperimen mereka.
“Potensi luar biasa AI untuk masyarakat hanya akan terwujud jika kita mampu mengatasi isu keamanan AI,” ujar Jensen Huang .
Perangkat lunak Nvidia kini sudah tersedia di GitHub. Namun, daftar apa saja yang tidak boleh dilakukan oleh agent tetap menjadi tanggung jawab tiap perusahaan untuk menetapkannya sendiri.
