3 mejores prácticas para escribir evaluaciones de IA: 1. Equilibra la velocidad y el rigor Comience con una docena de casos de prueba e itere desde allí. No construyas 100 cuando todavía estás haciendo cambios importantes y rápidos. Identifique y corrija los modos de falla más grandes, luego amplíe la cobertura. 2. Obsesionarse con los criterios de evaluación y las etiquetas manuales Sus criterios de evaluación y su conjunto de datos de oro son la base de todo lo demás. No hay forma de evitar hacer este trabajo manual en hojas de cálculo: obsesionarse con hacer que sus etiquetas humanas sean buenas. 3. No escale el juicio de LLM prematuramente Apunte a una alineación de ~ 80% entre su juez de LLM y los etiquetadores humanos antes de escalar. Audite los resultados con regularidad, no asuma que siempre es correcto. Mañana, compartiré una guía para principiantes sobre evaluaciones de IA que recorre un ejemplo paso a paso que cualquiera puede seguir. 📌 Regístrate para recibirlo en tu bandeja de entrada: (P.D. Así es como me imagino cómo es un juez de LLM)