Vi testade om kodningsagenter med CLI-verktyg är allt du behöver för komplexa dokumentsöknings- och analysuppgifter 🧪 Vårt nya SemTools-benchmark använde 1000 @arxiv papper för att jämföra agenter med och utan semantiska sökfunktioner: 🔍 Agenter med semantisk sökning gav mer detaljerade och omfattande svar för alla frågetyper ⚡ CLI-baserad metod visar sig vara otroligt kraftfull i förhållande till ansträngningen – Unix-verktyg ger agenter grep, hitta och filsystemnavigering direkt 📊 Komplexa korsreferenser och temporala analysuppgifter visade den största förbättringen med semantiska sökverktyg 🛠️ SemTools lägger till funktioner för parsning (via LlamaParse) och semantisk sökning direkt till kommandoradsagenter som @claudeai Code och Gemini CLI Kombinationen av befintliga Unix-verktyg plus semantiska sökfunktioner kan ofta ersätta mer komplexa RAG-inställningar samtidigt som de är snabbare att implementera och mer flexibla att använda. Läs de fullständiga benchmarkresultaten och metodiken: