Am descoperit că îmi proiectam instrumentele AI invers. Iată un exemplu. Acesta a fost lanțul meu de procesare a buletinelor informative: citirea e-mailurilor, apelarea unui procesator de buletine informative, extragerea companiilor și apoi adăugarea lor la CRM. Acest lucru a implicat patru pași diferiți, costând 3,69 USD pentru fiecare mie de buletine informative procesate. Înainte: Lanțul de procesare a buletinelor informative (prima imagine) Apoi am creat un instrument de newsletter unificat care a combinat totul folosind Google Agent Development Kit, cadrul Google pentru construirea instrumentelor de agent AI de nivel de producție: (a doua imagine) De ce este instrumentul de newsletter unificat mai complicat? Include mai multe acțiuni într-o singură interfață (procesare, căutare, extragere, validare), implementează managementul stării care urmărește modelele de utilizare și memorează rezultatele în cache, are limitarea ratei încorporate și produce ieșiri JSON structurate cu metadate în loc de text simplu. Dar iată partea contraintuitivă: în ciuda faptului că este mai complex intern, instrumentul unificat este mai simplu de utilizat pentru LLM, deoarece oferă rezultate consistente, structurate, care sunt mai ușor de analizat, chiar dacă acele ieșiri sunt mai lungi. Pentru a înțelege impactul, am rulat teste de 30 de iterații pe scenariu de testare. Rezultatele arată impactul noii arhitecturi: (a treia imagine) Am reușit să reducem token-urile cu 41% (p=0,01, semnificativ statistic), ceea ce s-a tradus liniar în economii de costuri. Rata de succes s-a îmbunătățit cu 8% (p=0.03) și am reușit să atingem cache-ul în 30% din timp, ceea ce este o altă economie de costuri. În timp ce instrumentele individuale produceau răspunsuri mai scurte și mai "curate", ele au forțat LLM să lucreze mai mult pentru a analiza formatele inconsecvente. Rezultatele structurate și cuprinzătoare ale instrumentelor unificate au permis o procesare LLM mai eficientă, în ciuda faptului că sunt mai lungi. Fluxul meu de lucru s-a bazat pe zeci de instrumente Ruby specializate pentru e-mail, cercetare și gestionarea sarcinilor. Fiecare instrument avea propria interfață, gestionarea erorilor și formatul de ieșire. Prin rularea lor în metainstrumente, performanța finală este mai bună și există economii uriașe de costuri. Puteți găsi arhitectura completă pe GitHub.