لماذا لا نقوم بتدريب النماذج مسبقا على المهام الوكيلية؟ حسنا ، هؤلاء الرجال فعلوا. وقد نجحت. قدموا خطوة وسيطة بعد التدريب المسبق وقبل التدريب اللاحق. قاموا بتجميع بيانات عمل الوكيل ووضع نموذج AgentFounder-30B SOTA الجديد على 10 معايير. SFT لديه أيضا خسارة أصغر بكثير بعد خطوة التدريب المسبق المستمر للعامل. لماذا يعمل هذا؟ لأن النماذج التأسيسية للأغراض العامة عادة ما لا تحتوي على تحيز استقرائي وكيل ، مما يضع بوردون في مرحلة ما بعد التدريب. عندما تقدم تفكيرا متعدد الخطوات واستخدام الأداة في مرحلة ما قبل التدريب ، فإنك تسهل الطريق لما بعد التدريب ، خاصة عندما تفعل ذلك بمزيج من المهام الوكالية قصيرة وطويلة الأفق. إذن ماذا يعني هذا إذا كنت تدير عملك على وكلاء أو تقوم ببنائها على أي نطاق؟ يمكنك تجميع البيانات بتكلفة منخفضة ، وتدريب نموذج أساسي مسبقا ثم تدريبه لاحقا.