Ми перевірили, чи достатньо кодувальників з інструментами CLI для складних завдань 🧪 пошуку та аналізу документів Наш новий бенчмарк SemTools використовував 1000 @arxiv статей для порівняння агентів з можливостями семантичного пошуку та без них: 🔍 Агенти з семантичним пошуком надавали більш детальні, вичерпні відповіді на всі типи питань ⚡ Підхід, заснований на CLI, виявляється неймовірно потужним у порівнянні з зусиллями - інструменти Unix надають агентам grep, find і навігацію по файловій системі з коробки 📊 Складні завдання з перехресними посиланнями та часовим аналізом показали найбільше покращення з інструментами семантичного пошуку 🛠️ SemTools додає можливості парсингу (через LlamaParse) і семантичного пошуку безпосередньо до агентів командного рядка, таких як @claudeai Code і Gemini CLI Комбінація існуючих інструментів Unix і можливостей семантичного пошуку часто може замінити більш складні налаштування RAG, будучи при цьому швидшою в реалізації та більш гнучкою у використанні. Ознайомтеся з повними результатами бенчмарку та методологією: