3 osvědčené postupy pro psaní hodnocení AI: 1. Vyvažte rychlost a přísnost Začněte s tuctem testovacích případů a iterujte odtud. Nevytvářejte stovky, když stále děláte velké změny. Identifikujte a opravte největší způsoby selhání a poté rozšiřte pokrytí. 2. Posedlost hodnotnými kritérii a manuálovými štítky Vaše kritéria hodnocení a zlatá datová sada jsou základem všeho ostatního. Nelze se vyhnout této ruční práci v tabulkových procesorech - posedlost tím, aby vaše lidské štítky byly dobré. 3. Neškálujte LLM soudce předčasně Před škálováním se zaměřte na ~80% soulad mezi vaším LLM soudcem a lidskými štítkovači. Pravidelně kontrolujte výsledky - nepředpokládejte, že je to vždy správné. Zítra se s vámi podělím o průvodce pro začátečníky o hodnocení AI, který vás provede příkladem krok za krokem, který může sledovat každý. 📌 Zaregistrujte se a dostávejte jej do své e-mailové schránky: (P.S. Takhle nějak si představuji, jak vypadá LLM soudce)