Irónicamente, los transformadores ven su ventana de contexto completa como una bolsa de tokens completamente carente de contexto. Usamos codificación posicional para contextualizar el orden de los tokens. Pero los modelos siguen confundidos sobre qué token fue dicho por quién. ¿Por qué no hay codificación de origen?

Quién dijo qué es tan fundamental para el significado como cuándo lo dijeron. ¿Qué pasaría si codificáramos en cada token la fuente, ya sea del sistema, del desarrollador, del usuario, del propio modelo, los tokens de pensamiento del modelo, un tercero no confiable, una herramienta particular...

Esto es más o menos una codificación posicional 2D donde la dimensión vertical indica quién y la horizontal indica cuándo. Parece que ahorraría muchos dolores de cabeza. Imagina si la voz de todos, incluida la tuya y tu monólogo interno, sonara exactamente igual.

@wokohomo @Theurgistic Este es el objetivo principal del tokenizador, más o menos; de lo contrario, siempre entrenarías directamente sobre una proyección lineal simple de los bytes en bruto.