هل تساءلت يوما عما يتطلبه الأمر بالفعل لتدريب نموذج الذكاء الاصطناعي الحدودي؟ جلس أنكيت جوبتا (@GuptaAnkitV) من YC مع جوزيف (@nickevanjoseph) ، رئيس قسم التدريب المسبق في Anthropic ، لاستكشاف التحديات الهندسية وراء تدريب كلود - من إدارة الآلاف من وحدات معالجة الرسومات وتصحيح أخطاء الأخطاء الملعونة إلى موازنة الحوسبة بين التدريب المسبق و RL. وهي تغطي قوانين التوسع واستراتيجيات البيانات وتكوين الفريق ولماذا غالبا ما تكون أصعب المشكلات في الذكاء الاصطناعي هي مشاكل البنية التحتية ، وليس مشاكل التعلم الآلي. 01:05 - من غير مباشر إلى OpenAI إلى Anthropic 06:40 - ما هو التدريب المسبق 11:20 - لماذا فاز التنبؤ بالكلمة التالية 16:05 - قوانين القياس وحلقة التغذية الراجعة لنماذج → الحوسبة → الإيرادات 21:50 - بناء البنية التحتية المبكرة ل Anthropic 27:35 - اختراقات الكفاءة وتصحيح الأخطاء على نطاق واسع 33:10 - المتخصصون في فريق ما قبل التدريب 38:45 – تحديات التدريب عبر الآلاف من وحدات معالجة الرسومات 44:15 - العمل مع رقائق جديدة: وحدات معالجة الرسومات مقابل وحدات TPU 49:00 - التدريب المسبق مقابل ما بعد التدريب (RLHF ونماذج التفكير) 54:25 – مستقبل جودة البيانات وتوافرها 59:10 - أين يذهب التدريب المسبق بعد ذلك

استمع: