Alguma vez se perguntou o que realmente é necessário para treinar um modelo de IA de fronteira? O Ankit Gupta da YC (@GuptaAnkitV) sentou-se com o Nick Joseph (@nickevanjoseph), Chefe de Pré-treinamento da Anthropic, para explorar os desafios de engenharia por trás do treinamento do Claude—desde a gestão de milhares de GPUs e a depuração de bugs malditos até o equilíbrio de computação entre pré-treinamento e RL. Eles abordam leis de escalabilidade, estratégias de dados, composição da equipe e por que os problemas mais difíceis em IA são frequentemente problemas de infraestrutura, não problemas de ML. 01:05 – De Vicarious a OpenAI e Anthropic 06:40 – O que é pré-treinamento 11:20 – Por que a previsão da próxima palavra prevaleceu 16:05 – Leis de escalabilidade e o ciclo de feedback de computação → modelos → receita 21:50 – Construindo a infraestrutura inicial da Anthropic 27:35 – Hacks de eficiência e depuração em grande escala 33:10 – Generalistas vs. especialistas na equipe de pré-treinamento 38:45 – Desafios de treinamento em milhares de GPUs 44:15 – Trabalhando com novos chips: GPUs vs. TPUs 49:00 – Pré-treinamento vs. pós-treinamento (RLHF e modelos de raciocínio) 54:25 – O futuro da qualidade e disponibilidade dos dados 59:10 – Para onde vai o pré-treinamento a seguir

Sintonize-se: