Я виявив, що розробляю свої інструменти штучного інтелекту задом наперед. Наведемо приклад. Це був мій ланцюжок обробки розсилок: читання електронних листів, дзвінок обробнику розсилок, видобуток компаній, а потім додавання їх до CRM. Це включало чотири різні етапи, які коштували $3,69 за кожну тисячу оброблених інформаційних бюлетенів. Раніше: Ланцюжок обробки інформаційних бюлетенів (перше зображення) Потім я створив уніфікований інструмент для розсилки новин, який об'єднав у собі все, використовуючи Google Agent Development Kit, фреймворк Google для створення інструментів AI agent виробничого класу: (друге зображення) Чому інструмент єдиної розсилки новин складніший? Він включає кілька дій в одному інтерфейсі (процес, пошук, вилучення, перевірка), реалізує управління станами, яке відстежує шаблони використання та кешує результати, має вбудоване обмеження швидкості, а також створює структуровані виходи JSON з метаданими замість простого тексту. Але ось парадоксальна частина: незважаючи на те, що він складніший всередині, уніфікований інструмент простіший у використанні для LLM, оскільки він забезпечує послідовні, структуровані виходи, які легше аналізувати, навіть якщо ці виходи довші. Щоб зрозуміти вплив, ми провели тести по 30 ітерацій на кожен сценарій. Результати показують вплив нової архітектури : (третє зображення) Ми змогли скоротити токени на 41% (p=0,01, статистично значуще), що лінійно перетворилося на економію коштів. Показник успіху покращився на 8% (p=0,03), і ми змогли потрапити в кеш у 30% випадків, що є ще однією економією коштів. У той час як окремі інструменти давали коротші та «чистіші» відповіді, вони змушували LLM працювати старанніше, аналізуючи несумісні формати. Структуровані, всебічні виходи з уніфікованих інструментів забезпечили більш ефективну обробку LLM, незважаючи на те, що вони довші. Мій робочий процес спирався на десятки спеціалізованих інструментів Ruby для електронної пошти, досліджень та управління завданнями. Кожен інструмент мав власний інтерфейс, обробку помилок і формат виведення. Об'єднавши їх у мета-інструменти, кінцева продуктивність стає кращою, а також ви отримуєте величезну економію коштів. Ви можете знайти повну архітектуру на GitHub.