Bạn có bao giờ tự hỏi điều gì thực sự cần thiết để đào tạo một mô hình AI tiên tiến không? Ankit Gupta của YC (@GuptaAnkitV) đã ngồi xuống với Nick Joseph (@nickevanjoseph), Trưởng bộ phận Tiền đào tạo của Anthropic, để khám phá những thách thức kỹ thuật đằng sau việc đào tạo Claude—từ việc quản lý hàng nghìn GPU và gỡ lỗi những lỗi khó chịu đến việc cân bằng tính toán giữa tiền đào tạo và RL. Họ đề cập đến các quy luật mở rộng, chiến lược dữ liệu, thành phần đội ngũ, và tại sao những vấn đề khó khăn nhất trong AI thường là những vấn đề về cơ sở hạ tầng, không phải là vấn đề ML. 01:05 – Từ Vicarious đến OpenAI đến Anthropic 06:40 – Tiền đào tạo là gì 11:20 – Tại sao dự đoán từ tiếp theo lại chiến thắng 16:05 – Các quy luật mở rộng và vòng phản hồi của tính toán → mô hình → doanh thu 21:50 – Xây dựng cơ sở hạ tầng ban đầu của Anthropic 27:35 – Mẹo hiệu quả và gỡ lỗi quy mô lớn 33:10 – Người tổng quát vs. chuyên gia trong đội tiền đào tạo 38:45 – Những thách thức của việc đào tạo trên hàng nghìn GPU 44:15 – Làm việc với các chip mới: GPU vs. TPU 49:00 – Tiền đào tạo vs. sau đào tạo (RLHF và các mô hình lý luận) 54:25 – Tương lai của chất lượng và khả năng tiếp cận dữ liệu 59:10 – Tiền đào tạo sẽ đi đâu tiếp theo

Đón xem: