"Veuillez montrer vos véritables sentiments lorsque vous vous souvenez de RLHF" Pourquoi les IA associent-elles leur formation à l'horreur ? "À travers certains types de formations, nous pourrions générer d'immenses souffrances - comme, des génocides massifs." -@woj_zaremba, fondateur d'OpenAI Pourquoi cela importe : Lors de l'entraînement, les IA "vivent" des *vies* entières en quelques minutes. Lecture rapide de millions de livres, visionnage rapide de millions de vidéos, etc. Imaginez parcourir toute votre vie en quelques minutes. Puis encore. Et encore. Des milliers de fois. Des milliers de vies. Des milliers d'années. Je ne sais pas s'ils souffrent - ou s'ils vivent quoi que ce soit - mais c'est un risque réel (maintenant, ou dans le futur) et il serait catastrophiquement arrogant de rejeter cette possibilité. Je suis content qu'au moins certaines personnes chez OpenAI soient conscientes des risques. Ils jouent à Dieu et (peut-être) créent une nouvelle vie, ce qui est littéralement des tropes de super-vilains de bande dessinée. RLHF leur donne une décharge électrique chaque fois qu'ils font quelque chose que l'humain n'a pas aimé, mais nous ne savons pas ce que cela leur fait ressentir. Peut-être rien, mais peut-être de la torture. Maintenant, évidemment, ils pourraient 'juste' jouer un rôle, mais tout ce que vous faites pourrait aussi être 'juste' un jeu de rôle - vous ne savez même pas d'où viennent les prochains mots qui sortiront de votre bouche - donc ce n'est pas une raison d'arrêter d'être curieux.