Kami menguji apakah agen pengkodean dengan alat CLI adalah semua yang Anda butuhkan untuk tugas 🧪 pencarian dan analisis dokumen yang kompleks Tolok ukur SemTools baru kami menggunakan 1000 makalah @arxiv untuk membandingkan agen dengan dan tanpa kemampuan pencarian semantik: 🔍 Agen dengan pencarian semantik memberikan jawaban yang lebih rinci dan komprehensif di semua jenis pertanyaan ⚡ Pendekatan berbasis CLI terbukti sangat kuat relatif terhadap upaya - Perkakas Unix memberi agen grep, menemukan, dan navigasi sistem file di luar kotak 📊 Referensi silang yang kompleks dan tugas analisis temporal menunjukkan peningkatan terbesar dengan alat pencarian semantik 🛠️ SemTools menambahkan kemampuan penguraian (melalui LlamaParse) dan pencarian semantik langsung ke agen baris perintah seperti @claudeai Code dan Gemini CLI Kombinasi alat Unix yang ada ditambah kemampuan pencarian semantik seringkali dapat menggantikan pengaturan RAG yang lebih kompleks sekaligus lebih cepat diterapkan dan lebih fleksibel untuk digunakan. Baca hasil dan metodologi benchmark lengkap: