热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Jack Morris
研究@cornell // 语言模型、信息论、人工智能科学
顺便说一下。我最近写了一篇关于这个的论文！
对于变压器，参数大约是每个参数 3.6 位
所以你需要 25GB ÷ 3.6 位 ≈ 56.9B 个参数才能准确记住维基百科
实际上这是一个相当大的模型
9月17日 00:45
好的，所以所有维基百科的文本大约是25 GB（压缩后）
一个25B参数的模型能否可靠地记住维基百科中的几乎所有事实？如果不能，需要多少参数？2倍？10倍？有可能少于1倍吗？
112.5K
热门
排行
收藏