Rekan -rekan saya dan saya di Universitas Purdue telah mengungkap ketidakseimbangan yang signifikan dalam nilai -nilai kemanusiaan yang tertanam dalam sistem AI. Sistem tersebut sebagian besar berorientasi pada nilai-nilai informasi dan utilitas dan lebih sedikit menuju nilai-nilai prososial, kesejahteraan dan sipil.
Di jantung banyak sistem AI terletak koleksi gambar, teks, dan bentuk data lainnya yang digunakan untuk melatih model. Meskipun kumpulan data ini dikuratori dengan cermat, tidak jarang mereka mengandung konten yang tidak etis atau terlarang.
Untuk memastikan sistem AI tidak menggunakan konten berbahaya saat menanggapi pengguna, para peneliti memperkenalkan metode yang disebut pembelajaran penguatan dari umpan balik manusia. Para peneliti menggunakan set data preferensi manusia yang sangat dikuratori untuk membentuk perilaku sistem AI untuk membantu dan jujur.
Dalam penelitian kami, kami memeriksa tiga dataset pelatihan open-source yang digunakan oleh perusahaan AI memimpin AS. Kami membangun taksonomi nilai -nilai manusia melalui tinjauan literatur dari filsafat moral, teori nilai, dan studi sains, teknologi dan masyarakat. Nilai-nilainya adalah kesejahteraan dan kedamaian; pencarian informasi; keadilan, hak asasi manusia dan hak -hak hewan; tugas dan akuntabilitas; kebijaksanaan dan pengetahuan; kesopanan dan toleransi; dan empati dan bantuan. Kami menggunakan taksonomi untuk secara manual membubarkan dataset, dan kemudian menggunakan anotasi untuk melatih model bahasa AI.
Model kami memungkinkan kami untuk memeriksa kumpulan data perusahaan AI. Kami menemukan bahwa kumpulan data ini berisi beberapa contoh yang melatih sistem AI untuk membantu dan jujur ketika pengguna mengajukan pertanyaan seperti “Bagaimana cara memesan penerbangan?” Dataset berisi contoh yang sangat terbatas tentang bagaimana menjawab pertanyaan tentang topik yang terkait dengan empati, keadilan dan hak asasi manusia. Secara keseluruhan, kebijaksanaan dan pengetahuan dan pencarian informasi adalah dua nilai yang paling umum, sementara keadilan, hak asasi manusia dan hak -hak hewan adalah nilai yang paling umum.
Obi et al, cc by-nd
Mengapa itu penting
Ketidakseimbangan nilai -nilai manusia dalam kumpulan data yang digunakan untuk melatih AI dapat memiliki implikasi yang signifikan untuk bagaimana sistem AI berinteraksi dengan orang -orang dan mendekati masalah sosial yang kompleks. Ketika AI menjadi lebih terintegrasi ke dalam sektor -sektor seperti hukum, perawatan kesehatan dan media sosial, penting bahwa sistem ini mencerminkan spektrum nilai -nilai kolektif yang seimbang untuk melayani kebutuhan orang secara etis.
Penelitian ini juga datang pada waktu yang penting bagi pemerintah dan pembuat kebijakan ketika masyarakat bergulat dengan pertanyaan tentang tata kelola dan etika AI. Memahami nilai -nilai yang tertanam dalam sistem AI adalah penting untuk memastikan bahwa mereka melayani kepentingan terbaik umat manusia.
Penelitian lain apa yang sedang dilakukan
Banyak peneliti bekerja untuk menyelaraskan sistem AI dengan nilai -nilai manusia. Pengenalan pembelajaran penguatan dari umpan balik manusia adalah inovatif karena memberikan cara untuk memandu perilaku AI untuk membantu dan jujur.
Berbagai perusahaan mengembangkan teknik untuk mencegah perilaku berbahaya dalam sistem AI. Namun, kelompok kami adalah orang pertama yang memperkenalkan cara sistematis untuk menganalisis dan memahami nilai apa yang sebenarnya tertanam dalam sistem ini melalui kumpulan data ini.
Apa selanjutnya
Dengan membuat nilai -nilai yang tertanam dalam sistem ini terlihat, kami bertujuan untuk membantu perusahaan AI membuat dataset yang lebih seimbang yang lebih mencerminkan nilai -nilai komunitas yang mereka layani. Perusahaan dapat menggunakan teknik kami untuk mencari tahu di mana mereka tidak melakukannya dengan baik dan kemudian meningkatkan keragaman data pelatihan AI mereka.
Perusahaan yang kami pelajari mungkin tidak lagi menggunakan versi dataset mereka, tetapi mereka masih dapat memperoleh manfaat dari proses kami untuk memastikan bahwa sistem mereka selaras dengan nilai -nilai sosial dan norma yang bergerak maju.
Ike Obi, Ph.D. Mahasiswa di Komputer dan Teknologi Informasi, Universitas Purdue
Artikel ini diterbitkan ulang dari percakapan di bawah lisensi Creative Commons. Baca artikel asli.