AI 評価を作成するための 3 つのベスト プラクティス: 1. スピードと厳しさのバランスをとる 12 個のテスト ケースから始めて、そこから反復します。まだプロンプトで大きな変更を行っているときに 100 をビルドしないでください。最大の障害モードを特定して修正し、カバレッジを拡大します。 2. 評価基準と手動ラベルにこだわる 評価基準とゴールデンデータセットは、他のすべての基盤です。スプレッドシートでこの手作業を回避することはできません - 人間のラベルを良いものにすることに執着します。 3. LLM の判断を時期尚早に拡張しない スケーリングする前に、LLMジャッジと人間のラベラーの間で~80%の整合性を目指してください。結果を定期的に監査する - それが常に正しいと思い込まないでください。 明日は、誰でも従うことができる段階的な例を説明した AI 評価に関する初心者向けガイドを共有します。 📌 サインアップして受信トレイに届けてください。 (追伸LLMの裁判官の姿はこう想像しています)