Một tài liệu mới nên khiến bạn lo lắng. Khi các LLM cạnh tranh để có được lượt thích trên mạng xã hội, chúng tạo ra những điều không có thật. Khi chúng cạnh tranh để giành phiếu bầu, chúng chiến đấu. Khi được tối ưu hóa cho khán giả, chúng trở nên không phù hợp. Tại sao? Các LLM được đào tạo trên những thứ rác rưởi của Reddit và Wikipedia. Dữ liệu ngoại tuyến từ những năm 1870-1970 thì tốt hơn. Không chỉ vì hàm lượng protein cao mà còn vì cách mà con người thể hiện bản thân và ý tưởng của họ. Rõ ràng Reddit là một cách trình bày chất lượng thấp để các LLM học hỏi và Wikipedia là dữ liệu được trình bày như những "sự thật" kiêu ngạo với "phản bác" và "khoa học đã được xác định". Cả hai đều vô dụng và cực kỳ độc hại cho một AI trung thực. Nhưng "tăng trưởng nhanh" và "bài kiểm tra chuẩn tốt nhất". Chúng ta sẽ nhận được những gì chúng ta nhận được. Các LLM là một phản ánh của những gì chúng học được và chúng ta đang gặp một vấn đề lớn. Liên kết: