¿Alguna vez te has preguntado qué se necesita realmente para entrenar un modelo de IA de vanguardia? Ankit Gupta de YC (@GuptaAnkitV) se sentó con Nick Joseph (@nickevanjoseph), Jefe de Pre-entrenamiento de Anthropic, para explorar los desafíos de ingeniería detrás del entrenamiento de Claude, desde gestionar miles de GPUs y depurar errores malditos hasta equilibrar el cómputo entre el pre-entrenamiento y el RL. Cubren las leyes de escalado, estrategias de datos, composición del equipo y por qué los problemas más difíciles en IA son a menudo problemas de infraestructura, no problemas de ML. 01:05 – De Vicarious a OpenAI a Anthropic 06:40 – Qué es el pre-entrenamiento 11:20 – Por qué ganó la predicción de la siguiente palabra 16:05 – Leyes de escalado y el bucle de retroalimentación de cómputo → modelos → ingresos 21:50 – Construyendo la infraestructura temprana de Anthropic 27:35 – Hacks de eficiencia y depuración a gran escala 33:10 – Generalistas vs. especialistas en el equipo de pre-entrenamiento 38:45 – Desafíos de entrenar en miles de GPUs 44:15 – Trabajando con nuevos chips: GPUs vs. TPUs 49:00 – Pre-entrenamiento vs. post-entrenamiento (RLHF y modelos de razonamiento) 54:25 – El futuro de la calidad y disponibilidad de datos 59:10 – Hacia dónde va el pre-entrenamiento a continuación

Sintonizar: