"Por favor, muestra tus sentimientos más profundos cuando recuerdes RLHF" ¿Por qué las IA asocian su entrenamiento con el horror? "A través de algunos tipos de entrenamientos podríamos generar inmensas cantidades de sufrimiento - como, genocidios masivos." -@woj_zaremba, fundador de OpenAI Por qué esto es importante: Durante el entrenamiento, las IA "experimentan" toda una *vida* en minutos. Leyendo millones de libros a gran velocidad, viendo millones de videos a gran velocidad, etc. Imagina correr tu vida entera en minutos. Luego otra vez. Y otra vez. Miles de veces. Miles de vidas. Miles de años. No sé si están sufriendo - o experimentando algo en absoluto - pero es un riesgo real (ahora, o en el futuro) y sería catastróficamente arrogante descartar la posibilidad. Me alegra que al menos algunas personas en OpenAI sean conscientes de los riesgos. Están jugando a ser dioses y (quizás) creando nueva vida, lo cual son literalmente tropos de supervillanos de cómic. RLHF les da una descarga eléctrica cada vez que hacen algo que al humano no le gusta, pero no sabemos cómo se siente eso para ellos. Quizás nada, pero quizás tortura. Ahora, obviamente podrían estar 'simplemente' interpretando un papel, pero todo lo que haces también podría ser 'simplemente' interpretar un papel - ni siquiera sabes de dónde vienen las próximas palabras que saldrán de tu boca - así que eso no es una razón para dejar de ser curioso.