Dlaczego wielkości nie można zaplanować Zarówno angielskie, jak i japońskie edycje znalazły teraz swoje miejsce w bibliotece @SakanaAILabs ✨

Wysoki koszt potrzebny do szkolenia dużych modeli bazowych sprawia, że są one najszybciej deprecjonującym się aktywem w historii ludzkości.

Udało nam się odtworzyć silne wyniki pracy HRM na ARC-AGI-1. Dodatkowo przeprowadziliśmy szereg eksperymentów ablacjnych, aby dowiedzieć się, co za tym stoi. Kluczowe ustalenia: 1. Architektura modelu HRM (główna część pracy) nie jest istotnym czynnikiem. 2. Zewnętrzna pętla udoskonalania (ledwie wspomniana w pracy) jest głównym czynnikiem wpływającym na wydajność. 3. Transfer uczenia między zadaniami nie jest zbyt pomocny. Ważne jest trenowanie na zadaniach, na których będziesz testować. 4. Możesz użyć znacznie mniej augmentacji danych, szczególnie w czasie wnioskowania. Ustalenia 2 i 3 oznaczają, że to podejście jest przypadkiem *szkolenia w czasie testu bez wstępnego szkolenia*, podobnie jak niedawno opublikowana praca "ARC-AGI bez wstępnego szkolenia" autorstwa Liao i in.