熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
如果你這週只讀一件事，我建議你看看以下的AI報告：
「從數據工廠到世界模型」
它將數據工廠、上下文工程、強化學習環境、世界模型等交織在一起，形成一篇易於理解但又全面的論文，探討當前AI的前沿。👇(0/12)
完整文章：
🧵以下：
1) 從Grok 4的發布來看，我們顯然還沒有達到計算支出的"牆"。
來源：@xai
2) 越來越多的數據似乎成為了帳篷中的短桿。
來源：@EpochAIResearch
3) 大部分的支出都用於生成高質量的數據集，以便於後期訓練，這一比例迅速接近計算預算的50%。
4） 這導致對像 @scale_AI @HelloSurgeAI @mercor_ai & More 這樣的“數據代工廠”的需求出現變化，他們幫助獲取必要的專業知識並製作對不可驗證領域中的 RL 至關重要的數據管道......
5) 哪些可以幫助推動更強大的推理模型，顯然是目前流行的擴展範式，根據 @ArtificialAnlys
6) 然而，模型不再受限於智商，而是受限於上下文。提示工程已經將接力棒交給了「上下文工程」——一個新興領域，旨在優化信息負載到大型語言模型（LLMs）。
7） 空間非常動態，但通常需要跨 2 個向量縮放上下文：
1. 上下文長度：處理超長序列的計算和架構挑戰
2. 多模態：將上下文從文字擴展到真正的多模態環境。
8) 或許上下文工程的終極表現是打造 "RL 環境"，這些環境完美模擬可以運行 RL 的任務。
儘管今天數據受到限制，@MechanizeWork 相信我們正朝著 "GPT-3 風格" 的轉折點邁進，並且大規模擴展 RL。
9) 然而，創建這些環境相當耗費人力，似乎並不太符合「苦澀教訓」的概念。
@_kevinlu 想知道是否有辦法像在預訓練時那樣利用互聯網進行後訓練？
10) 雖然這是一個有趣的想法，但互聯網的大部分已被少數大型生態系統所掌控，這些生態系統是垂直整合的，並迅速在其成分中進行強化學習，以實現更快的強化學習
（即來自 @GoogleDeepMind 的 alpha evolve）
11) 這些大型公司是否將不同的強化學習環境視為必要，還是僅僅是通往完整「世界模型」的暫時停留，這尚不清楚，這些模型幾乎包含了每一種現象的數位雙胞胎。
谷歌的 Genie 3 無疑是朝這個方向的一個暗示：
2025年8月5日
What if you could not only watch a generated video, but explore it too? 🌐
Genie 3 is our groundbreaking world model that creates interactive, playable environments from a single text prompt.
From photorealistic landscapes to fantasy realms, the possibilities are endless. 🧵
12) 這引出了問題：垂直整合的合成智能建設方法，配合更快的強化學習反饋循環，是否注定能迅速領先並佔據市場，還是潛在的計算、數據和人才的模組化系統能夠與有效的協調競爭？
13.38K
熱門
排行
收藏