Czy online alignment to jedyna droga, mimo że jest wolna i kosztowna obliczeniowo? Zainspirowani teorią perspektywy, przedstawiamy ludzkocentryczne wyjaśnienie, dlaczego online alignment (np. GRPO) przewyższa offline alignment (np. DPO, KTO) i empirycznie pokazujemy, jak zamknąć lukę między online a offline za pomocą Humanline, prostego, ale konsekwentnie skutecznego projektu w dwóch częściach. 💡Główne odkrycie: Zastosowanie humanline na offline celach może osiągać wyniki porównywalne z ich online odpowiednikami zarówno w zakresie przestrzegania instrukcji, jak i rozumowania matematycznego. Konsekwentne zyski w różnych celach, rodzinach modeli i rozmiarach modeli! Więcej w wątkach 🧵