Você já se perguntou o que realmente é necessário para treinar um modelo de IA de fronteira? Ankit Gupta (@GuptaAnkitV, da YC, sentou-se com Nick Joseph (@nickevanjoseph), chefe de pré-treinamento da Anthropic, para explorar os desafios de engenharia por trás do treinamento de Claude - desde o gerenciamento de milhares de GPUs e depuração de bugs amaldiçoados até o equilíbrio da computação entre pré-treinamento e RL. Eles cobrem leis de dimensionamento, estratégias de dados, composição de equipe e por que os problemas mais difíceis em IA geralmente são problemas de infraestrutura, não problemas de ML. 01:05 - Da Vicarious à OpenAI e à Anthropic 06:40 - O que é pré-treinamento 11:20 - Por que a previsão da próxima palavra venceu 16:05 – Leis de dimensionamento e o ciclo de comentários de modelos de → de computação → receita 21:50 – Construindo a infraestrutura inicial da Anthropic 27:35 – Hacks de eficiência e depuração em escala 33:10 – Generalistas vs. especialistas na equipe de pré-treinamento 38:45 – Desafios do treinamento em milhares de GPUs 44:15 – Trabalhando com novos chips: GPUs vs. TPUs 49:00 – Pré-treinamento vs. pós-treinamento (RLHF e modelos de raciocínio) 54:25 – O futuro da qualidade e disponibilidade de dados 59:10 - Para onde vai o pré-treino a seguir

Sintonizar: