我們測試了使用 CLI 工具的編碼代理是否足以應對複雜的文檔搜索和分析任務 🧪 我們的新 SemTools 基準使用了 1000 篇 @arxiv 論文來比較具有和不具有語義搜索能力的代理: 🔍 具有語義搜索的代理在所有問題類型中提供了更詳細、全面的答案 ⚡ 基於 CLI 的方法相對於所需的努力證明了其強大的能力 - Unix 工具使代理能夠即時使用 grep、find 和文件系統導航 📊 複雜的交叉引用和時間分析任務在使用語義搜索工具時顯示出最大的改進 🛠️ SemTools 直接將解析(通過 LlamaParse)和語義搜索能力添加到像 @claudeai Code 和 Gemini CLI 的命令行代理中 現有的 Unix 工具加上語義搜索能力的組合,通常可以取代更複雜的 RAG 設置,同時實施更快且使用更靈活。 閱讀完整的基準結果和方法論: