フロンティア AI モデルをトレーニングするために実際に何が必要か考えたことはありますか? YCのAnkit Gupta氏(@GuptaAnkitV)は、Anthropicのプレトレーニング責任者であるNick Joseph氏(@nickevanjoseph)と対談し、数千台のGPUの管理や呪われたバグのデバッグから、事前トレーニングとRLの間のコンピューティングのバランス調整まで、Claudeのトレーニングの背後にあるエンジニアリングの課題を探りました。 スケーリング法則、データ戦略、チーム構成、そしてAIで最も難しい問題がMLの問題ではなくインフラストラクチャの問題であることが多い理由について説明しています。 01:05 - VicariousからOpenAIへ、Anthropic 06:40 - 事前トレーニングとは 11:20 - 次の単語の予測が勝った理由 16:05 – 収益→コンピューティング → モデルのスケーリング法則とフィードバック ループ 21:50 - Anthropicの初期のインフラの構築 27:35 - 効率化のハックと大規模なデバッグ 33:10 – プレトレーニングチームのジェネラリストとスペシャリスト 38:45 – 数千のGPUにわたるトレーニングの課題 44:15 - 新しいチップの操作:GPUとTPU 49:00 – 事前トレーニングと事後トレーニング (RLHF および推論モデル) 54:25 - データ品質と可用性の未来 59:10 - 事前トレーニングの次の場所

視聴する: