"Es geht nicht darum, ob du daran glaubst oder nicht. Es geht darum, ob es wahr ist." Es gibt viel Lärm darüber, dass das Pre-Training an eine Wand stößt. @OfficialLoganK räumt das sofort aus dem Weg. "Prinzipiell ist jeder andere Schritt im Modellentwicklungsprozess eine Verstärkung des zugrunde liegenden vortrainierten Modells." Selbst wenn die Kurve leicht abflacht, ist der nachgelagerte Effekt massiv. Wenn du mit einem "Ungeheuer" eines vortrainierten Modells startest, vervielfacht jeder nachfolgende Schritt, vom Post-Training bis zum Fine-Tuning, diesen Vorteil. #AI #LLM #MachineLearning #AITraining