你是否曾想過訓練一個前沿 AI 模型實際上需要什麼？ YC 的 Ankit Gupta (@GuptaAnkitV) 與 Anthropic 的預訓練負責人 Nick Joseph (@nickevanjoseph) 坐下來探討訓練 Claude 背後的工程挑戰——從管理數千個 GPU 和調試詛咒的錯誤，到在預訓練和強化學習之間平衡計算。 他們討論了擴展法則、數據策略、團隊組成，以及為什麼 AI 中最困難的問題往往是基礎設施問題，而不是機器學習問題。 01:05 – 從 Vicarious 到 OpenAI 再到 Anthropic 06:40 – 什麼是預訓練 11:20 – 為什麼下一個單詞預測勝出 16:05 – 擴展法則和計算 → 模型 → 收入的反饋循環 21:50 – 建立 Anthropic 的早期基礎設施 27:35 – 效率技巧和大規模調試 33:10 – 預訓練團隊中的通才與專家 38:45 – 在數千個 GPU 上訓練的挑戰 44:15 – 使用新芯片：GPU 與 TPU 49:00 – 預訓練與後訓練（RLHF 和推理模型） 54:25 – 數據質量和可用性的未來 59:10 – 預訓練的下一步

收聽：