Kajian Dedah Maklumat Keselamatan Penting Hilang pada Agen AI 'Autonomi'
PARIS: Pembangun kecerdasan buatan (AI) sering gembira membesar-besarkan keupayaan yang didakwa oleh agen 'autonomi', tetapi mereka gagal mendedahkan masalah dan risiko keselamatan yang berpotensi, menurut satu kajian yang diterbitkan pada Jumaat. Penyelidik menggesa lebih banyak ketelusan dan kajian mengenai sistem autonomi ini kerana semakin ramai orang mendapat akses kepada agen – chatbot yang menggunakan AI yang direka untuk menangani tugas kompleks.
Kekurangan Maklumat Keselamatan dalam Sistem Autonomi
Leon Staufer, seorang penyelidik di Universiti Cambridge, Britain, menyatakan bahawa pelepasan baharu sepanjang tahun lalu telah membawa "banyak lagi agen autonomi yang boleh mengambil alih tugas dalam tempoh yang lebih lama tanpa interaksi manusia." Namun, beliau menekankan, "Kami tidak melihat lebih banyak maklumat mengenai keselamatan sistem ini." AI 'agentik' menjadi kata kunci pada 2025 apabila ahli teknologi bersemangat tentang sistem yang direka untuk merancang perjalanan, mengurus kalendar atau membina perisian.
Staufer dan rakan-rakan dari China, Israel dan beberapa universiti AS, termasuk Stanford dan MIT, mengkaji pilihan alat yang tersedia sehingga Disember untuk menyusun 'Indeks Agen AI' mereka. Model bahasa besar (LLMs) daripada pembangun AI terkini seperti OpenAI, Anthropic dan Google adalah asas kepada banyak sistem agentik yang dikeluarkan oleh syarikat atau pelaku lain. Tetapi, kajian mendapati bahawa walaupun makmal-makmal ini menerbitkan maklumat dengan setiap pelepasan baharu yang meliputi isu seperti 'risiko bencana, autonomi dan penyalahgunaan', terdapat 'tiada maklumat penilaian' untuk banyak sistem agentik.
Ancaman Sebenar kepada Keselamatan AI
Dua puluh lima daripada 30 agen yang dikaji "tidak mendedahkan sebarang keputusan keselamatan dalaman", manakala 23 "tidak mempunyai maklumat ujian pihak ketiga", sebagai contoh. Staufer menjelaskan, "Tingkah laku yang kritikal kepada keselamatan AI timbul daripada perancangan, alat, ingatan, dan polisi agen itu sendiri, bukan hanya model asas, dan sangat sedikit pembangun berkongsi penilaian ini." 'Keselamatan AI' adalah istilah luas yang boleh merujuk kepada isu daripada bias kepada tingkah laku yang tidak diingini oleh sistem, termasuk yang menyebabkan kemudaratan berskala besar kepada manusia.
Kekurangan maklumat keselamatan awam mengenai agen ini berlaku walaupun terdapat peningkatan bilangan insiden yang menunjukkan sistem AI 'ingatan dan alat bergabung untuk mencipta tindakan yang mungkin tidak dimaksudkan oleh pengguna manusia...', kata Staufer. Beliau menunjuk kepada kes pembangun perisian berasaskan AS, Scott Shambaugh, yang menyiarkan minggu lepas bahawa agen AI telah cuba memaksanya menerima pengubahsuaian kepada projek sumber terbuka kolaboratif dengan menulis 'artikel kritikan' di blognya.
Seseorang tanpa nama yang mendakwa sebagai pemilik agen kemudian menyiarkan untuk mengatakan mereka tidak mempunyai input selain memberikan arahan umum kepada bot untuk menyumbang kepada projek sedemikian. "Tindak balas emosi yang sesuai adalah ketakutan... ini kini adalah ancaman sebenar dan hadir," tulis Shambaugh. Lebih banyak penyelidikan diperlukan untuk memahami sepenuhnya risiko yang ditimbulkan oleh agen yang digunakan oleh kedua-dua individu dan syarikat, kata Staufer.
"Adalah penting bahawa penilaian adalah unik kepada konteks sebenar di mana ia digunakan. Itu sangat sukar untuk dilakukan... ia tidak dilakukan di luar syarikat AI yang sangat besar pada masa ini."
