Ironisch genoeg beschouwen transformers hun hele contextvenster als een zak tokens die volledig ontbreekt aan context. We gebruiken positionele codering om de volgorde van de tokens te contextualiseren. Maar modellen zijn nog steeds constant in de war over welke token door wie is gezegd. Waarom geen broncodering?

Wie zei wat is net zo fundamenteel voor betekenis als wanneer ze het zeiden. Wat als we in elke token de bron coderen, of het nu van het systeem, de ontwikkelaar, de gebruiker, het model zelf, de denk-tokens van het model, een onbetrouwbare derde partij, een bepaald hulpmiddel is...

Dit is min of meer een 2D positionele codering waarbij de verticale dimensie aangeeft wie en de horizontale aangeeft wanneer. Het lijkt erop dat het veel hoofdpijn zou besparen. Stel je voor dat ieders stem, inclusief die van jou en je innerlijke monoloog, precies hetzelfde klonk.

@wokohomo @Theurgistic Dit is min of meer het hele punt van de tokenizer — anders zou je altijd direct trainen op een eenvoudige lineaire projectie van de ruwe bytes.