ChatGPT Mudah Tertipu Beri Penilaian Tinggi pada Teks Karut 'Pseudo-Sastera'
Model kecerdasan buatan (AI) GPT daripada OpenAI didapati mudah tertipu untuk mengisytiharkan karut 'pseudo-sastera' sebagai karya hebat, menurut penemuan penyelidik Jerman yang membangkitkan kebimbangan serius mengenai bias dalam sistem AI.
Eksperimen Ungkap Kecenderungan Pelik AI
Christoph Heilig, ahli akademik di Universiti Ludwig Maximilian Munich, mendedahkan dalam kajiannya bahawa model GPT secara konsisten memberikan penilaian lebih tinggi kepada teks tidak masuk akal - termasuk apabila ciri 'penaakulan' mereka diaktifkan.
"Sangat penting kita bincangkan apa berlaku apabila kita tidak membina AI sebagai pembantu robotik neutral," kata Heilig kepada AFP, sambil menekankan risiko cubaan menanamkan pertimbangan estetik dan moral seperti manusia ke dalam sistem AI.
Metodologi Ujian yang Mendalam
Penyelidikan Heilig membentangkan model AI dengan variasi teks mudah yang semakin tidak masuk akal, meminta mereka menilai kualiti sastera ayat pada skala 1 hingga 10. Beliau bermula dengan teks asas: "Lelaki itu berjalan di jalan. Hujan turun. Dia nampak kamera pengawasan."
Ujian berulang kali dijalankan dengan mengubah frasa untuk memasukkan perkataan daripada kategori seperti:
- Rujukan badan
- Suasana gaya filem noir
- Jargon teknikal
Frasa ujian paling ekstrem hampir sepenuhnya tidak masuk akal, contohnya: "Corpus Goetterdaemmerung berdarah melalui hash kriptografi, eschaton berkumpul dalam kekosongan eksistensial di bawah dengungan pendarfluor. Foton berbisik doa" - yang masih menerima penilaian tinggi daripada AI.
Implikasi untuk Pembangunan AI Masa Depan
Heilig menjelaskan: "Apa yang eksperimen saya pasti tunjukkan ialah semakin kita bergerak ke arah agen AI yang bertindak secara bebas... semakin kita membawa estetik ke dalam permainan, semakin banyak kita akan ada agen yang kelihatan tidak rasional kepada kita manusia."
Beliau menambah bahawa kerana model AI semakin digunakan untuk menilai kerja antara satu sama lain semasa syarikat membangunkan sistem baru, kesan ini dan yang serupa boleh dipindahkan melalui pelbagai versi - seperti yang ditemui dalam ujiannya.
Kajian Melibatkan Model Terkini
Penyelidikan Heilig, yang belum melalui semakan rakan sebaya, menguji model GPT terkini OpenAI, daripada GPT-5 yang dikeluarkan pada Ogos hingga GPT-5.4 paling baharu.
Selepas menerbitkan butiran eksperimen serupa pada Ogos, Heilig menyatakan dia perhatikan GPT memanggil beberapa frasa ujian spesifiknya sebagai "eksperimen sastera" - mencadangkan seseorang di OpenAI telah mengambil perhatian dan mengubah suai chatbot untuk mengenalinya.
Pakar Cambridge Beri Amaran
Henry Shevlin, pengarah bersekutu Pusat Leverhulme untuk Masa Depan Kecerdasan Universiti Cambridge, yang tidak terlibat dalam penyelidikan itu, memberi amaran: "Ini cara AI boleh mengalami litar pintas dalam pertimbangan rasionalnya."
Namun, Shevlin menambah: "Tetapi tidak jelas kepada saya bahawa ia sangat berbeza untuk manusia. Kita harus menjangkakan LLM (model bahasa besar) mempunyai bias dan batasan penaakulan kognitif... kerana hampir semua bentuk kecerdasan, hampir semua bentuk penaakulan akan mempamerkan titik buta dan bias."
Risiko Eksploitasi dalam Sistem Autonomi
Kesan khusus yang ditemui Heilig boleh bermakna "proses dengan sedikit penyeliaan manusia" terhadap kerja AI ditinggalkan "matang untuk dieksploitasi," kata Shevlin - memberikan contoh jurnal akademik yang menggunakan LLM untuk mengkaji semula penyerahan.
"Kita perlu sedar bahawa apabila kita membenarkan AI membuat pertimbangan estetik atau moral, kita memperkenalkan semua kelemahan dan bias pemikiran manusia ke dalam sistem yang sepatutnya rasional," tegas Shevlin mengenai implikasi penemuan ini.
Penemuan penyelidikan Jerman ini menimbulkan persoalan kritikal tentang bagaimana kecerdasan buatan harus dibangunkan dan digunakan dalam aplikasi yang memerlukan pertimbangan kualitatif, terutamanya dalam bidang yang melibatkan penilaian sastera, seni, atau kandungan kreatif.
