Ironisnya, transformers melihat seluruh jendela konteks mereka sebagai sekantong token yang sama sekali tidak memiliki konteks. Kami menggunakan pengkodean posisi untuk mengontekstualisasikan urutan token. Tetapi model masih terus-menerus bingung tentang token mana yang datang dikatakan oleh siapa. Mengapa tidak ada pengkodean sumber?

Siapa yang mengatakan apa yang sama mendasarnya dengan makna seperti ketika mereka mengatakannya. Bagaimana jika kita mengkodekan ke dalam masing-masing token sumbernya, apakah itu dari sistem, pengembang, pengguna, model itu sendiri, token pemikiran model, pihak ke-3 yang tidak tepercaya, alat tertentu...

Ini kurang lebih adalah pengkodean posisi 2D di mana dimensi vertikal menunjukkan siapa dan horizontal menunjukkan kapan. Sepertinya itu akan menyelamatkan banyak sakit kepala. Bayangkan jika suara semua orang, termasuk monolog Anda sendiri dan batin Anda, terdengar persis sama.

@wokohomo @Theurgistic Ini adalah inti dari tokenizer, kurang lebih — jika tidak, Anda akan selalu berlatih langsung pada proyeksi linier sederhana dari byte mentah.