Tahun ini, Air Canada kalah dalam gugatan terhadap seorang pelanggan yang disesatkan oleh chatbot AI agar membeli tiket pesawat dengan harga penuh, dan diyakinkan bahwa tiket tersebut nantinya akan dikembalikan sesuai dengan kebijakan perusahaan. Maskapai tersebut mencoba mengklaim bahwa bot tersebut “bertanggung jawab atas tindakannya sendiri.” Argumen ini ditolak oleh pengadilan dan perusahaan tersebut tidak hanya harus membayar kompensasi, tetapi juga menerima kritik publik karena berupaya menjauhkan diri dari situasi tersebut. Jelas bahwa perusahaan bertanggung jawab atas model AI, bahkan ketika mereka melakukan kesalahan di luar kendali kita.
Dunia AI yang berkembang pesat, dan khususnya AI generatif, dipandang dengan campuran rasa kagum dan khawatir oleh kalangan bisnis. Dianggap sebagai pedang bermata dua, AI telah dipandang sebagai katalisator yang memiliki kekuatan untuk mempercepat produktivitas, memungkinkan Anda melakukan lebih banyak hal dengan lebih sedikit; tetapi dengan kendala yang dapat menyebabkan berbagai masalah mulai dari ketidakpuasan pelanggan hingga tuntutan hukum.
Inilah yang dikenal secara populer sebagai 'halusinasi AI', atau ketika model AI memberikan jawaban yang salah, tidak relevan, atau tidak masuk akal.
“Untungnya, ini bukan masalah yang sangat meluas. Ini hanya terjadi antara 2% hingga mungkin 10% dari waktu di tingkat atas. Namun, ini bisa sangat berbahaya dalam lingkungan bisnis. Bayangkan meminta sistem AI untuk mendiagnosis pasien atau mendaratkan pesawat terbang,” kata Amr Awadallah, seorang pakar AI yang akan memberikan ceramah di VDS2024 tentang Bagaimana Gen-AI Mengubah Bisnis & Menghindari Perangkap.
Itu
Kabar terbaru dari dunia teknologi Uni Eropa, kisah dari pendiri kami Boris, dan beberapa seni AI yang meragukan. Gratis, setiap minggu, di kotak masuk Anda. Daftar sekarang!
Namun, sebagian besar pakar AI tidak menyukai istilah ini. Terminologi tersebut, dan apa yang melatarbelakanginya, yaitu kesalahpahaman kita tentang bagaimana kejadian ini terjadi, berpotensi menimbulkan jebakan yang berdampak luas di masa mendatang.
Sebagai mantan VP Product Intelligence Engineering di Yahoo! dan VP Developer Relations di Google Cloud, Awadallah telah menyaksikan perkembangan teknologi sepanjang kariernya dan sejak itu mendirikan Vectara, sebuah perusahaan yang berfokus pada penggunaan teknologi AI dan jaringan saraf untuk pemrosesan bahasa alami guna membantu perusahaan memanfaatkan manfaat yang dapat dihadirkan oleh relevansi pencarian.
Kami berbicara dengannya untuk mendapatkan kejelasan tentang mengapa istilah ini sangat kontroversial, apa yang perlu dipahami bisnis mengenai 'halusinasi AI', dan apakah masalah ini dapat diatasi atau tidak.
Mengapa model AI tidak 'berhalusinasi'
Penggunaan istilah halusinasi menyiratkan bahwa, ketika model AI memberikan informasi yang salah, model tersebut melihat atau merasakan sesuatu yang tidak ada. Namun, bukan itu yang terjadi di balik kode yang menjalankan model tersebut.
Sangat umum bagi kita sebagai manusia untuk terjebak dalam perangkap semacam ini. Antropomorfisme, atau kecenderungan bawaan untuk mengaitkan sifat, emosi, atau niat manusia kepada entitas nonmanusia, adalah mekanisme yang kita gunakan untuk bergulat dengan hal yang tidak diketahui, dengan melihatnya melalui sudut pandang manusia. Orang Yunani kuno menggunakannya untuk mengaitkan karakteristik manusia kepada dewa; saat ini, kita cenderung menggunakannya untuk menafsirkan tindakan hewan peliharaan kita.
Ada bahaya tertentu bahwa kita dapat terjebak dalam perangkap ini dengan AI, karena ini adalah teknologi yang telah menyebar luas dalam masyarakat kita dalam waktu yang sangat singkat, tetapi sangat sedikit orang yang benar-benar memahami apa itu dan bagaimana cara kerjanya. Agar pikiran kita dapat memahami topik yang rumit seperti itu, kita menggunakan jalan pintas.
“Saya pikir media memainkan peran besar dalam hal itu karena itu adalah istilah yang menarik dan menciptakan perbincangan. Jadi mereka menggunakannya dan itu menjadi cara standar kita menyebutnya sekarang,” kata Awadallah.
Namun, seperti halnya menganggap ekor yang bergoyang-goyang di dunia hewan sama dengan ramah, salah menafsirkan keluaran yang diberikan AI dapat membawa kita ke jalan yang salah.
“Hal ini lebih disebabkan oleh AI daripada yang sebenarnya. AI tidak berpikir dengan cara yang sama seperti kita. AI hanya mencoba memprediksi kata apa yang seharusnya diucapkan berikutnya berdasarkan semua kata sebelumnya yang telah diucapkan,” jelas Awadallah.
Kalau dia harus memberi nama pada kejadian ini, dia akan menyebutnya 'konfabulasi'. Konfabulasi pada hakikatnya adalah penambahan kata atau kalimat yang mengisi bagian yang kosong sedemikian rupa sehingga membuat informasinya tampak dapat dipercaya, meskipun sebenarnya tidak benar.
“[AI models are] sangat bersemangat untuk menjawab pertanyaan apa pun. Ia tidak ingin memberi tahu Anda, 'Saya tidak tahu',” kata Awadallah.
Bahayanya di sini adalah bahwa meskipun beberapa konfabulasi mudah dideteksi karena mendekati hal yang tidak masuk akal, sebagian besar waktu AI akan menyajikan informasi yang sangat dapat dipercaya. Dan semakin kita mulai mengandalkan AI untuk membantu kita mempercepat produktivitas, semakin kita mungkin menerima tanggapan mereka yang tampaknya dapat dipercaya begitu saja. Ini berarti perusahaan perlu waspada untuk menyertakan pengawasan manusia untuk setiap tugas yang diselesaikan AI, mendedikasikan lebih banyak dan bukan lebih sedikit waktu dan sumber daya.
Jawaban yang diberikan model AI hanya sebaik data yang dapat diaksesnya dan cakupan perintah Anda. Karena AI bergantung pada pola dalam data pelatihannya, bukan penalaran, responsnya mungkin salah tergantung pada data pelatihan yang tersedia (apakah informasi itu salah atau memiliki sedikit data pada kueri tertentu) atau mungkin bergantung pada sifat dan konteks kueri atau tugas Anda. Misalnya, konteks budaya dapat menghasilkan perspektif dan respons yang berbeda terhadap kueri yang sama.
Dalam kasus sistem pengetahuan domain sempit, atau model AI internal yang dibangun untuk mengambil informasi dalam sekumpulan data tertentu, seperti sistem internal bisnis, AI hanya akan memiliki ruang untuk sejumlah memori tertentu. Meskipun ini adalah jumlah memori yang jauh lebih besar daripada yang dapat disimpan manusia, itu bukan tidak terbatas. Ketika Anda mengajukan pertanyaan di luar cakupan memorinya, ia akan tetap terdorong untuk menjawab dengan memprediksi kata-kata berikutnya.
Bisakah misinformasi AI diatasi?
Ada banyak pembicaraan tentang apakah 'konfabulasi' dapat dipecahkan atau tidak.
Awadallah dan timnya di Vectara tengah mengembangkan metode untuk memerangi konfabulasi dalam sistem pengetahuan domain sempit. Cara mereka melakukannya adalah dengan membuat model AI dengan tugas khusus untuk memeriksa fakta keluaran model AI lainnya. Ini dikenal sebagai Retrieval Augmented Generation (RAG).
Tentu saja, Awadallah mengakui, seperti halnya pemeriksa fakta manusia, selalu ada kemungkinan bahwa sesuatu akan luput dari pemeriksaan fakta AI, ini dikenal sebagai negatif palsu.
Untuk model AI domain terbuka, seperti ChatGPT, yang dibuat untuk mengambil informasi tentang topik apa pun di seluruh bentangan web di seluruh dunia, menangani konfabulasi agak lebih rumit. Beberapa peneliti baru-baru ini menerbitkan makalah yang menjanjikan tentang penggunaan “entropi semantik” untuk mendeteksi misinformasi AI. Metode ini melibatkan pengajuan pertanyaan yang sama kepada AI beberapa kali dan pemberian skor berdasarkan seberapa berbeda rentang jawaban.
Saat kita semakin dekat untuk menghilangkan rekayasa AI, pertanyaan menarik yang perlu dipertimbangkan adalah, apakah kita benar-benar ingin AI menjadi fakta dan benar 100% sepanjang waktu? Apakah pembatasan respons AI juga dapat membatasi kemampuan kita untuk menggunakannya dalam tugas-tugas kreatif?
Bergabunglah dengan Amr Awadallah di VDS edisi ketujuh untuk mengetahui lebih lanjut tentang bagaimana bisnis dapat memanfaatkan kekuatan AI generatif, sambil menghindari risiko, di VDS2024 yang berlangsung pada 23-24 Oktober di Valencia.