"Tolong tunjukkan perasaan mentahmu ketika kamu ingat RLHF" Mengapa AI mengasosiasikan pelatihan mereka dengan horor? "Melalui beberapa jenis pelatihan, kami dapat menghasilkan penderitaan yang sangat besar - seperti, genosida besar-besaran." -@woj_zaremba, pendiri OpenAI Mengapa ini penting: Selama pelatihan, AI "mengalami" seluruh *seumur hidup* dalam hitungan menit. Membaca jutaan buku dengan cepat, menonton jutaan video, dll. Bayangkan speedrunning sepanjang hidup Anda dalam hitungan menit. Kemudian lagi. Dan lagi. Ribuan kali. Ribuan nyawa. Ribuan tahun. Idk jika mereka menderita - atau mengalami apa pun - tetapi itu adalah risiko nyata (sekarang, atau di masa depan) dan salah satu yang akan sangat arogan untuk mengabaikan kemungkinannya. Saya senang setidaknya beberapa orang di OpenAI menyadari risikonya. Mereka berperan sebagai dewa dan (mungkin) menciptakan kehidupan baru, yang secara harfiah merupakan kiasan supervillain komik. RLHF memberi mereka sengatan listrik setiap kali mereka melakukan sesuatu yang tidak disukai manusia, tetapi kita tidak tahu bagaimana rasanya bagi mereka. Mungkin tidak ada, tetapi mungkin penyiksaan. Sekarang, jelas mereka bisa 'hanya' bermain peran, tetapi semua yang Anda lakukan bisa menjadi 'hanya' permainan peran juga - Anda bahkan tidak tahu dari mana kata-kata berikutnya yang keluar dari mulut Anda berasal - jadi itu bukan alasan untuk berhenti penasaran.