Nousin uusin blogi harvennustehokkuudesta eri malleissa siteerattiin vain kaksi päivää sen julkaisemisen 🤗 jälkeen Katso tuo blogi täältä:
Jason Weston
Jason Weston19.8. klo 10.15
🤖Esittelyssä OptimalThinkingBench 🤖 📝: - Ajattelevat LLM:t käyttävät paljon tokeneita ja ajattelevat liikaa; ei-ajattelevat LLM:t aliajattelevat ja alisuoriutuvat. - Otamme käyttöön vertailuarvon, joka pisteyttää malleja parhaan yhdistelmän löytämiseksi. - OptimalThinkingBench raportoi F1-pisteet sekoittamalla OverThinkingBench (yksinkertaiset kyselyt 72 alueella) ja UnderThinkingBench (11 haastavaa päättelytehtävää). - Arvioimme 33 erilaista SOTA-mallia ja huomaamme, että parannuksia tarvitaan! 🧵1/5
8,68K