За іронією долі, трансформери бачать усе своє контекстне вікно як мішок із токенами, яких абсолютно не вистачає контексту. Ми використовуємо позиційне кодування для контекстуалізації порядку токенів. Але моделі все одно постійно плутаються в тому, який токен прийшов, хто сказав. Чому немає кодування джерела?

Хто що сказав приблизно так само фундаментально для значення, як і тоді, коли вони це сказали. Що, якби ми закодували в кожен токен джерело, будь то від системи, розробника, користувача, самої моделі, мислячих токенів моделі, ненадійної третьої сторони, конкретного інструменту...

Це більш-менш 2D позиційне кодування, де вертикальний розмір вказує хто, а горизонтальний – коли. Здається, що це позбавило б від багатьох головних болів. Уявіть, якби голос кожного, включаючи ваш власний і ваш внутрішній монолог, звучав абсолютно однаково.

@wokohomo @Theurgistic У цьому більш-менш і полягає суть токенізатора — інакше ви завжди тренувалися б безпосередньо на простій лінійній проекції необроблених байтів.