全球的AI訓練市場實際上並不是全球性的。 Himanshu Tyagi (@hstyagi)，@SentientAGI的創始人，談到為什麼主權AI建設者，而不是全球客戶，才是當前大型訓練運行的主要買家。 “你不能坐在美國，然後在印度進行訓練。這裡有一些監管問題——誰來運行，在哪裡運行。” 而經濟因素也很重要： “這是一項2000萬美元的投資。如果全球市場開放，你本可以獲得全球回報。但今天，它們並沒有開放。” “在當前的市場中，主要的買家是主權AI建設者。” 而且許多政府要求本地訓練： “像韓國和印度這樣的國家在建立本地模型時只允許使用本地雲。這是為了啟動他們的生態系統，並且這一過程正在迅速進行。”

在籌集了20億美元之後，@MishaLaskin，@reflection_ai的首席執行官，談到了公司接下來的方向： “我們已經籌集資金以獲得預訓練和後訓練美國開放模型所需的計算能力，這樣我們就可以將其出口到世界其他地方。” 他們還組建了Laskin所稱的前沿實驗室人才團隊： “我們擁有一批在前沿實驗室領導這項工作的關鍵人員——預訓練建模和數據、後訓練推理、編碼、RLHF——我們已經在整個堆棧中建立了團隊。” Reflection現在正處於每個認真前沿實驗室必須經歷的階段： “我們正在攀登擴展的階梯，系統地從小型訓練模型到大型訓練模型，因為在每個規模上，事情都會以新的方式崩潰。” 而Laskin在預訓練和後訓練之間劃出了明確的界限： “人們談論AI中的YOLO運行，但那僅在後訓練中有效。正如我們的一位團隊成員所說：你不能YOLO預訓練，這必須是極其精確和有條理的。” 目前的情況是： “我們現在正在攀登擴展的階梯。我們看到令人興奮的早期結果，明年我們將發布出色的模型。”

去中心化的 AI 不會像我們想的那樣。 Himanshu Tyagi (@hstyagi)，@SentientAGI 的創始人，解釋了為什麼去中心化訓練比人們假設的更現實： “人們認為去中心化訓練是不可能的，必須將其分散到數百萬個小設備上。但事實並非如此。” “我在學術生涯中從事過聯邦學習。我曾經相信去中心化學習永遠不會實現。但我錯過了一個關鍵點：你不必完全去中心化。” 關鍵見解： “集群——而不是設備——是去中心化的單位。500 個 GPU 的集群並不難獲得。很多人都可以搭建它們。這就像一個好的房地產項目。” 而且大公司已經在這樣做： “谷歌和其他公司以這種方式在內部去中心化。這種去中心化是可能的。” 那麼真正的障礙是什麼？ “困難的部分不是訓練方法，而是圍繞芯片分配本身的監管和關稅框架。”