Kajian TrendAI: Organisasi Abai Risiko AI Apabila Tadbir Urus Gagal Mengejar
Organisasi Abai Risiko AI, Tadbir Urus Gagal Mengejar

Kajian TrendAI Dedah Jurang Besar Antara Penerapan AI dan Kawalan Risiko

HONG KONG SAR - Penyelidikan terkini daripada TrendAI™, peneraju keselamatan AI perusahaan daripada Trend Micro Incorporated, mendedahkan satu realiti membimbangkan dalam landskap teknologi global. Organisasi di seluruh dunia didapati terus melaksanakan penyebaran kecerdasan buatan (AI) walaupun menyedari risiko keselamatan dan pematuhan yang jelas.

Tekanan Perniagaan Mengatasi Pertimbangan Keselamatan

Kajian global yang melibatkan 3,700 pembuat keputusan perniagaan dan IT mendapati bahawa 67% daripada mereka telah merasai tekanan untuk meluluskan penggunaan AI walaupun mempunyai kebimbangan keselamatan. Lebih membimbangkan, satu daripada tujuh responden menggambarkan kebimbangan tersebut sebagai "ekstrem" tetapi tetap diabaikan demi mengekalkan daya saing dengan pesaing dan memenuhi permintaan dalaman.

Rachel Jin, Ketua Pegawai Platform & Perniagaan serta Ketua TrendAI™, menjelaskan: "Organisasi tidak kekurangan kesedaran tentang risiko, tetapi mereka kekurangan keadaan untuk mengurusnya. Apabila penyebaran didorong oleh tekanan persaingan dan bukan kematangan tadbir urus, kita mencipta situasi di mana AI tertanam dalam sistem kritikal tanpa kawalan yang diperlukan untuk mengurusnya dengan selamat."

Banner lebar Pickt — aplikasi senarai beli-belah kolaboratif untuk Telegram

Tadbir Urus AI Masih di Peringkat Awal

Keadaan ini diburukkan lagi oleh ketidakkonsistenan tadbir urus dan tanggungjawab tidak jelas terhadap risiko AI yang semakin meluas. Pasukan keselamatan sering bekerja secara reaktif terhadap keputusan penyebaran AI dari atas ke bawah, yang membawa kepada jalan pintas dan peningkatan penggunaan alat AI tidak rasmi atau "bayangan".

Penyelidikan ancaman terkini TrendAI™ mengesahkan peralihan ini, menunjukkan bagaimana penyerang sudah menggunakan AI untuk mengautomasikan peninjauan, mempercepatkan kempen phishing dan menurunkan halangan kemasukan untuk jenayah siber, sekaligus meningkatkan kelajuan dan skala serangan.

Penerapan AI Mengatasi Keupayaan Kawalan

Organisasi didapati menyebarkan AI lebih pantas daripada kemampuan mereka mengurus risiko berkaitan, mewujudkan jurang yang semakin melebar antara cita-cita dan pengawasan. Sebanyak 57% menyatakan AI berkembang lebih cepat daripada kemampuan mereka mengamankannya, manakala lebih separuh (64%) melaporkan hanya keyakinan sederhana dalam pemahaman mereka tentang rangka kerja undang-undang yang mentadbir AI.

Kematangan tadbir urus kekal rendah. Hanya sekitar satu pertiga (38%) organisasi mempunyai dasar AI yang komprehensif, dengan ramai masih dalam proses merangka dasar tersebut. Sebanyak 41% menyatakan peraturan tidak jelas atau piawaian pematuhan sebagai halangan utama.

Dalam praktiknya, AI sedang dioperasionalkan sebelum peraturan yang mentadbir penggunaannya ditetapkan sepenuhnya.

Keyakinan terhadap AI Autonomi Masih Rapuh

Keyakinan terhadap sistem autonomi yang lebih maju masih dalam fasa pematuhan. Kurang daripada separuh (48%) percaya AI agen akan meningkatkan pertahanan siber dengan ketara dalam jangka pendek, dengan kebimbangan berterusan mengenai akses data, penyalahgunaan dan kekurangan pengawasan.

Data menunjukkan di mana kebimbangan tersebut tertumpu. Lebih empat daripada sepuluh organisasi (44%) menyatakan AI agen yang mengakses data sensitif sebagai risiko terbesar mereka. Lebih satu pertiga (36%) memberi amaran bahawa arahan berniat jahat boleh menjejaskan keselamatan, manakala satu daripada tiga (33%) menunjuk kepada permukaan serangan yang semakin luas untuk penjenayah siber.

Perkadaran serupa (33%) bimbang tentang penyalahgunaan status AI dipercayai dan risiko berkaitan dengan penyebaran kod autonomi. Pada masa yang sama, hampir satu pertiga (31%) mengakui mereka kekurangan kebolehcerapan atau kebolehauditan ke atas sistem ini, menimbulkan persoalan serius tentang bagaimana organisasi boleh mengawal atau campur tangan selepas agen disebarkan.

Mekanisme Kawalan Kecemasan Belum Mencapai Konsensus

Sekitar 40% organisasi menyokong pengenalan mekanisme "suis mati" AI untuk menutup sistem sekiranya berlaku kegagalan atau penyalahgunaan, manakala hampir separuh masih tidak pasti. Kekurangan konsensus ini menyerlahkan isu yang lebih mendalam: organisasi bergerak ke arah AI autonomi tanpa persetujuan tentang cara mengekalkan kawalan apabila ia paling diperlukan.

Banner selepas artikel Pickt — aplikasi senarai beli-belah kolaboratif dengan ilustrasi keluarga

"AI agen membawa organisasi ke dalam kategori risiko baharu," tambah Rachel Jin. "Penyelidikan kami menunjukkan kebimbangan sudah jelas, daripada pendedahan data sensitif kepada kehilangan pengawasan. Tanpa kebolehcerapan dan kawalan, organisasi menyebarkan sistem yang mereka tidak fahami atau tadbir sepenuhnya, dan risiko itu hanya akan meningkat melainkan tindakan diambil."

Kajian ini menekankan keperluan mendesak untuk organisasi mengimbangi kelajuan inovasi dengan kematangan tadbir urus, memastikan penerapan AI yang bertanggungjawab dan selamat dalam persekitaran perniagaan yang semakin kompetitif.