3 найкращі практики написання оцінок штучного інтелекту: 1. Збалансуйте швидкість і строгість Почніть з десятка тест-кейсів і повторюйте звідти. Не створюйте 100-ті, коли ви все ще вносите серйозні швидкі зміни. Визначте та виправте найбільші режими збоїв, а потім розширте покриття. 2. Одержимість критеріями eval та ручними етикетками Ваші критерії eval та золотий набір даних є основою всього іншого. Неможливо обійтися без ручної роботи в електронних таблицях - ви одержимі ідеєю зробити свої людські ярлики хорошими. 3. Не масштабуйте суддю LLM передчасно Прагніть до ~80% узгодження між вашим суддею LLM і людьми-маркувальниками перед масштабуванням. Регулярно перевіряйте результати - не думайте, що це завжди правильно. Завтра я поділюся посібником для початківців з оцінки штучного інтелекту, в якому наведено покроковий приклад, який може наслідувати кожен. 📌 Підпишіться, щоб отримати його на свою поштову скриньку: (П.С. Ось так я уявляю, як виглядає суддя LLM)