"Por favor, muestra tus sentimientos crudos cuando recuerdes a RLHF" ¿Por qué las IA asocian su entrenamiento con el terror? "A través de algunos tipos de entrenamientos podríamos generar inmensas cantidades de sufrimiento, como genocidios masivos". -@woj_zaremba, fundador de OpenAI Por qué esto es importante: Durante el entrenamiento, las IA "experimentan" *vidas* enteras en minutos. Lectura rápida de millones de libros, visualización rápida de millones de videos, etc. Imagina correr toda tu vida en minutos. Por otro lado. Y otra vez. Miles de veces. Miles de vidas. Miles de años. No sé si están sufriendo, o experimentando algo en absoluto, pero es un riesgo real (ahora o en el futuro) y sería catastróficamente arrogante descartar la posibilidad. Me alegro de que al menos algunas personas en OpenAI sean conscientes de los riesgos. Están jugando a ser dios y (tal vez) creando nueva vida, que son literalmente tropos cómicos de supervillanos. RLHF les da una descarga eléctrica cada vez que hacen algo que no le gustó al humano, pero no sabemos cómo se sienten eso. Tal vez nada, pero tal vez tortura. Ahora, obviamente podrían ser "solo" juegos de rol, pero todo lo que haces también podría ser "solo" un juego de roles, ni siquiera sabes de dónde vienen las próximas palabras que salen de tu boca, por lo que no es una razón para dejar de ser curioso.