你有没有想过训练一个前沿AI模型到底需要什么？ YC的Ankit Gupta (@GuptaAnkitV)与Anthropic的预训练负责人Nick Joseph (@nickevanjoseph)坐下来探讨训练Claude背后的工程挑战——从管理数千个GPU和调试棘手的bug，到在预训练和强化学习之间平衡计算资源。 他们讨论了扩展法则、数据策略、团队组成，以及为什么AI中最困难的问题往往是基础设施问题，而不是机器学习问题。 01:05 – 从Vicarious到OpenAI再到Anthropic 06:40 – 什么是预训练 11:20 – 为什么下一个词预测胜出 16:05 – 扩展法则和计算→模型→收入的反馈循环 21:50 – 构建Anthropic的早期基础设施 27:35 – 效率技巧和大规模调试 33:10 – 预训练团队中的通才与专才 38:45 – 在数千个GPU上训练的挑战 44:15 – 与新芯片合作：GPU与TPU 49:00 – 预训练与后训练（RLHF和推理模型） 54:25 – 数据质量和可用性的未来 59:10 – 预训练的下一步去向

收听：