Ikhtisar AI Google Penelusuran pada 6 bulan: Apakah fiturnya menjadi lebih baik?

Sudah enam bulan sejak Google mulai menambahkan teks yang dihasilkan AI ke bagian atas banyak kueri Google Penelusuran secara default, dan ini percobaan — itulah yang dikatakan dalam penafian di bagian bawah setiap Ikhtisar AI — belum sepenuhnya sukses besar, kata Google kepada Mashable.

Meskipun “ikhtisar AI pada keseimbangan dan secara umum merupakan serangkaian hal yang sangat menarik dan bermanfaat bagi pengguna,” kata Hema Budaraju, direktur senior manajemen produk Google untuk Penelusuran, “kami memiliki pekerjaan yang harus dilakukan pada sisi kualitas, yang mana adalah kebutuhan yang terus meningkat.”

Ikhtisar AI diluncurkan dengan semacam slogan: “Biarkan Google melakukan penelusuran untuk Anda”, namun setelah beberapa kontroversi pada awalnya — terutama beberapa minggu ketika cerita terus bermunculan tentang Google Penelusuran yang menyuruh orang makan batu dan menempelkan lem pada pizza — perusahaan tersebut tampaknya telah sedikit mundur. Saat diluncurkan, Ikhtisar AI muncul di sekitar 15 persen halaman hasil Google Penelusuran, namun jumlah tersebut berkurang menjadi sekitar 7 persen pada akhir Juni, menurut Search Engine Land.

Jadi, apakah kualitasnya meningkat dalam enam bulan terakhir?

Apakah Ikhtisar AI menjadi lebih baik?

Sulit untuk membantah secara langsung bahwa telah terjadi peningkatan kualitas yang signifikan. Ikhtisar lebih jarang muncul, dan kesalahan masih merajalela, namun saya menemukan beberapa bukti perbaikan yang sangat terbatas: Ikhtisar AI untuk kueri yang saya soroti ke Google untuk artikel ini semuanya ditingkatkan saat saya mengerjakannya.

Menurut Budaraju, dalam semua jenis pertanyaan, mulai dari yang sehari-hari hingga yang aneh, AI Review bisa digunakan, “terutama ketika tidak ada jawaban tunggal dan terdapat banyak perspektif.” Atau setidaknya itulah yang Google pikirkan berdasarkan data internal tentang kualitas, yang berasal dari pengujian AB, tetapi bukan kelompok fokus, kata Budaraju.

Pencarian Quotidian cenderung mendapatkan Ikhtisar AI yang dapat diterima menurut pengalaman saya. “Seperti apa rasa almond”, misalnya, dapat menghasilkan gambaran umum AI yang masuk akal seperti yang saya dapatkan: “Almond bisa terasa manis, sedikit pahit, atau pahit, bergantung pada komposisi kimianya.” Bagus.

Namun jika Anda seorang pecinta informasi yang menggunakan Google Penelusuran secara lebih luas, ada kemungkinan Anda masih mengalami kesalahan yang aneh. Contoh bulan November dari pengguna BlueSky @coopercooperco ini adalah ringkasan yang bagus tentang kecenderungan malang Google Gemini yang terus-menerus memasukkan kebenaran ke dalam blender dari waktu ke waktu.

Ketika ditanya tentang Puncak Kembar episode di mana Cole mencium Shelly, Ikhtisar AI mengungkapkan dengan cukup percaya diri dan salah bahwa tidak ada adegan seperti itu. Tanpa mengetahui dengan pasti apa yang salah, kita hanya dapat berasumsi bahwa data pelatihan model tersebut mencakup setidaknya penyebutan sekilas — jika bukan skrip lengkap — dari model terkenal tersebut. Puncak Kembar adegan tentang (suara teriakan David Lynch) “dua orang dewasa berbagi momen yang lembut!” di mana Cole dan Shelly tampaknya disela oleh Bobby Briggs, tetapi kemudian berciuman dengan jelas dan tidak ambigu. Model tersebut kemungkinan besar tidak mengambil gambar dari blog yang salah atau skrip palsu yang mengatakan Cole tidak pernah mencium Shelly (Untuk tujuan apa ada orang yang menulis hal seperti itu?). Itu hanya mengada-ada dan menempelkannya di bagian paling atas halaman hasil Google Penelusuran.

Pengguna Bluesky di atas jelas-jelas membuat apa yang sering disebut Google sebagai “kueri yang tidak umum”. Halusinasi “cenderung muncul” ketika pertanyaan tersebut tidak lazim, kata Budaraju. “Meskipun sistemnya berusaha membantu, ada beberapa salah tafsir, kurangnya informasi berkualitas tinggi di web,” jelasnya saat berbicara kepada Mashable tentang Ikhtisar AI secara umum, bukan yang khusus ini. Banyak informasi online berkualitas tinggi yang menegaskan bahwa Cole dan Shelly berciuman, jadi “salah tafsir” atas interupsi Bobby Briggs yang gagal lebih masuk akal sebagai penjelasan.

Jika Anda menelusuri berdasarkan informasi yang salah, Ikhtisar AI dapat memperburuk keadaan

Menurut Budaraju, peningkatan Ikhtisar AI melibatkan “survei sentimen” yang bukan merupakan tes AB. “Kami hanya memberikan masyarakat pilihan untuk memilih antara satu versus yang lain dan mendapatkan ekspresi kepuasan mereka,” katanya.

Kecepatan Cahaya yang Dapat Dihancurkan

Namun skenario buruk bagi Ikhtisar AI adalah ketika pencari memulai dengan informasi yang kurang sempurna, dan Ikhtisar AI menjadikannya semakin kurang sempurna.

Jika dasar pencarian salah atau cacat, dan Ikhtisar AI tidak menangkap masalahnya, maka masuk akal jika pengguna juga tidak menyadarinya. Hasilnya adalah pengguna yang puas dan sekarang menjadi lebih bodoh dari sebelumnya. Memang benar, masalah penggunaan Google Penelusuran untuk menemukan informasi yang salah sudah ada sejak lama dibandingkan Ikhtisar AI, namun Ikhtisar AI dapat menjadi formula untuk mempercepat proses ini.

Untuk contoh nyata namun cukup jinak tentang apa yang saya maksud, inilah hasil kueri “Cara menggunakan soda kue untuk mengentalkan sup.” Seseorang mungkin hanya memiliki anggapan paling kabur bahwa salah satu bubuk di lemari dapat membuat sup krimnya terasa lebih nikmat di mulut, tetapi mereka mungkin salah menebak. Menurut Ikhtisar AI, “Soda kue dapat digunakan untuk mengentalkan sup dengan membuatnya lebih lembut dan halus.”

Ini tidak akan berhasil dan berpotensi membuat sup Anda terasa aneh.

Saat saya menunjukkan contoh ini kepada perwakilan Google, mereka memberi tahu saya bahwa Google akan menggunakannya untuk menyempurnakan produk mereka.

Namun memisahkan informasi yang baik dan buruk menjadi lebih membingungkan jika Anda mencari hal-hal paranormal. Misalnya, saya mencoba menelusuri “cara mengajar anjing berkomunikasi secara telepati”, dan Ikhtisar AI dimulai dengan judul “Berikut beberapa tip untuk berkomunikasi dengan anjing Anda secara telepati”, lalu memberikan daftar poin yang dikumpulkan dari tulisan-tulisan orang yang percaya pada paranormal, seperti “komunikator hewan” Pea Horsley.

Jika Anda ingin membacanya, tugas Google Penelusuran adalah mengarahkan Anda ke tulisan orang-orang seperti Horsley — bahkan, saya merekomendasikannya. Itu menghibur. Namun ketika Ikhtisar AI di bagian atas halaman hasil Google berbunyi “Berikut adalah beberapa tips untuk berkomunikasi dengan anjing Anda secara telepati”, hal ini memberikan kesan kepada pengguna bahwa informasi ini berwibawa dan dapat dipercaya, bukan “untuk tujuan hiburan saja”. ”

Perwakilan Google menunjukkan bahwa Ikhtisar AI bersifat dinamis. Mereka menunjukkan Ikhtisar AI mereka untuk penelusuran yang sama, dan tidak tertulis “Berikut beberapa tip untuk berkomunikasi dengan anjing Anda secara telepati,” namun menyebutkan bahwa tidak ada bukti ilmiah bahwa anjing dapat berkomunikasi secara telepati, sebelum beralih ke Pea Horsley lainnya -Daftar instruksi yang dipengaruhi. Jika saya mencoba pencarian ini hari ini, saya mendapatkan hasil yang sama baiknya.

Terakhir, bagaimana jika pengguna memperhatikan bahwa daging sapi disebut “daging sapi”, dan daging babi disebut “babi”, dan bertanya-tanya apa nama daging lumba-lumba. Hal-hal aneh telah terjadi. Saat saya menggunakan Google Penelusuran untuk menemukan jawaban, Ikhtisar AI sepertinya mengabaikan kebenaran kelam tentang mahi-mahi:

Ikhtisar AI dimulai dengan “Nama daging lumba-lumba bergantung pada wilayah dan jenis lumba-lumba” dan kemudian memberikan daftar poin. Item pertama dalam daftar adalah “Mahi-mahi”.

Jika pengguna terus membaca, mereka akan melihat bahwa mahi-mahi juga dikenal sebagai “ikan lumba-lumba” (karena, lebih jelasnya, mahi-mahi bukanlah lumba-lumba. Ini adalah ikan). Tapi hasilnya membingungkan. Ketika saya menunjukkannya kepada perwakilan Google, mereka memberi tahu saya bahwa ini adalah interpretasi penelusuran yang masuk akal — dengan kata lain bahwa pengguna yang menelusuri “nama daging lumba-lumba” mungkin sebenarnya sedang mencari ikan yang dikenal sebagai “ikan lumba-lumba”.

Sebaiknya klik sumbernya

Karena, seperti yang saya sebutkan di atas, setiap pencarian yang menghasilkan Ikhtisar AI bermasalah yang saya tampilkan di sini meningkat sampai tingkat tertentu, saya curiga Google sedang membersihkannya seiring berjalannya waktu, tetapi Budaraju menyatakan sebaliknya. “Kami tidak menyelesaikan pertanyaan satu per satu. Itu bukan cara kami beroperasi. Kami sebenarnya menganggapnya sebagai apa saja pola permasalahan yang kita lihat, dan bagaimana cara kita menyelesaikannya dalam skala besar?”

Namun dia juga mengatakan kepada saya bahwa Google tetap fokus untuk mengarahkan pengguna ke sumber Ikhtisar AI — tahukah Anda, tautan kuno di laman hasil Google Penelusuran Anda? “Sampai batas tertentu,” katanya, “Saya pikir kami juga berharap bahwa pengguna kami memiliki tautan yang tepat, tautan yang juga dapat mereka ikuti.” Dia bertanya-tanya apakah, sebagai respons terhadap Ikhtisar AI, pengguna akan “benar-benar mengikuti jalur tersebut dan melihat tautan yang mengarah ke ikhtisar yang Anda buat.”

Jika Ikhtisar AI tidak pernah hilang, sampai mereka tidak pernah berhalusinasi, mungkin ada baiknya Anda mengikuti saran Budaraju ini, dan menumbuhkan kebiasaan mengeklik tautan tersebut di sebelah Ikhtisar AI Anda setiap kali Anda melihatnya.

Topik
Kecerdasan Buatan