Paradoxně transformátory vidí celé své kontextové okno jako pytel tokenů, který zcela postrádá kontext. Poziční kódování používáme k kontextualizaci pořadí tokenů. Modely jsou však stále neustále zmatené ohledně toho, který token přišel, kdo řekl. Proč žádné zdrojové kódování?

Kdo co řekl, je pro význam asi tak zásadní, jako když to řekl. Co kdybychom do každého tokenu zakódovali zdroj, ať už je to ze systému, vývojáře, uživatele, samotný model, tokeny myšlení modelu, nedůvěryhodná 3. strana, konkrétní nástroj...

Jedná se víceméně o 2D poziční kódování, kde svislý rozměr označuje kdo a vodorovný označuje kdy. Zdá se, že by to ušetřilo spoustu bolestí hlavy. Představte si, že by hlas všech, včetně vašeho vlastního a vašeho vnitřního monologu, zněl úplně stejně.

@wokohomo @Theurgistic To je víceméně celý smysl tokenizéru – jinak byste vždy trénovali přímo na jednoduché lineární projekci surových bajtů.