熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
Jack Morris
研究@cornell // 語言模型、資訊論、人工智慧科學
順便提一下。我最近寫了一篇關於這個的論文！
對於變壓器來說，這個數字大約是每個參數 3.6 位元
所以你需要 25GB ÷ 3.6 位元 ≈ 56.9B 參數來精確地記住維基百科
這其實是一個相當大的模型
9月17日 00:45
好的，所以所有維基百科的文本大約是25 GB（壓縮後）
一個25B參數的模型能否可靠地記住維基百科中的幾乎所有事實？如果不能，需要多少參數？2倍？10倍？有可能少於1倍嗎？
124.69K
熱門
排行
收藏