Ajattelun tehokkuuden mittaaminen päättelymalleissa: Puuttuva vertailukohta Mittasimme tokenien käyttöä eri päättelymalleissa: avoimet mallit tuottavat 1,5–4 kertaa enemmän tokeneita kuin suljetut mallit identtisissä tehtävissä, mutta varianssi on valtava tehtävätyypistä riippuen (jopa 10 kertaa yksinkertaisissa kysymyksissä). Nämä piilokustannukset kumoavat usein token-kohtaiset hinnoitteluedut. Tokenien tehokkuudesta tulisi tulla ensisijainen tavoite tarkkuusvertailuarvojen rinnalla, erityisesti kun otetaan huomioon ei-järkeilevät käyttötapaukset. Lue perusteellinen katsaus päättelyn tehokkuudesta avoimen ja suljetun mallin maisemassa uusimmasta blogikirjoituksestamme yhteistyössä residenssitutkijamme Timin kanssa. Katso lisää heidän töistään täältä: