Мы протестировали, достаточно ли кодирующих агентов с инструментами CLI для сложных задач поиска и анализа документов 🧪 Наш новый бенчмарк SemTools использовал 1000 статей из @arxiv для сравнения агентов с и без возможностей семантического поиска: 🔍 Агенты с семантическим поиском предоставили более детализированные и полные ответы на все типы вопросов ⚡ Подход на основе CLI оказался невероятно мощным по сравнению с затраченными усилиями - инструменты Unix предоставляют агентам grep, find и навигацию по файловой системе из коробки 📊 Сложные задачи перекрестной ссылки и временного анализа показали наибольшее улучшение с инструментами семантического поиска 🛠️ SemTools добавляет парсинг (через LlamaParse) и возможности семантического поиска непосредственно к командным агентам, таким как @claudeai Code и Gemini CLI Сочетание существующих инструментов Unix и возможностей семантического поиска часто может заменить более сложные настройки RAG, при этом будучи быстрее в реализации и более гибкими в использовании. Читать полные результаты бенчмарка и методологию: