Siitä, miten käytämme tekoälyä ja @lancedb sisäisesti!

Huomasin, että suunnittelin tekoälytyökalujani takaperin. Tässä on esimerkki. Tämä oli uutiskirjeiden käsittelyketjuni: sähköpostien lukeminen, uutiskirjeiden käsittelijän soittaminen, yritysten poimiminen ja niiden lisääminen CRM:ään. Tämä sisälsi neljä eri vaihetta, jotka maksoivat 3,69 dollaria jokaista tuhatta käsiteltyä uutiskirjettä kohden. Ennen: Uutiskirjeen käsittelyketju (ensimmäinen kuva) Sitten loin yhtenäisen uutiskirjetyökalun, joka yhdisti kaiken käyttämällä Google Agent Development Kitiä, Googlen kehystä tuotantoluokan tekoälyagenttityökalujen rakentamiseen: (toinen kuva) Miksi yhtenäinen uutiskirjetyökalu on monimutkaisempi? Se sisältää useita toimintoja yhdessä käyttöliittymässä (prosessi, haku, poiminta, validointi), toteuttaa tilanhallinnan, joka seuraa käyttötapoja ja tallentaa tulokset välimuistiin, siinä on sisäänrakennettu nopeuden rajoitus ja se tuottaa strukturoituja JSON-tulosteita, joissa on metatietoja pelkän tekstin sijaan. Mutta tässä on intuitiivisen vastainen osa: vaikka yhtenäinen työkalu on sisäisesti monimutkaisempi, LLM:n käyttö on yksinkertaisempaa, koska se tarjoaa johdonmukaisia, jäsenneltyjä tulosteita, joita on helpompi jäsentää, vaikka nämä lähdöt ovat pidempiä. Vaikutuksen ymmärtämiseksi suoritimme testejä 30 iteraatiota testiskenaariota kohden. Tulokset osoittavat uuden arkkitehtuurin vaikutuksen: (kolmas kuva) Pystyimme vähentämään tokeneita 41 % (p=0,01, tilastollisesti merkitsevä), mikä johti lineaarisesti kustannussäästöihin. Onnistumisprosentti parani 8 % (p = 0,03), ja pystyimme osumaan välimuistiin 30 % ajasta, mikä on toinen kustannussäästö. Vaikka yksittäiset työkalut tuottivat lyhyempiä, "puhtaampia" vastauksia, ne pakottivat LLM:n työskentelemään kovemmin epäjohdonmukaisten formaattien jäsentämiseksi. Yhtenäisten työkalujen jäsennellyt, kattavat tuotokset mahdollistivat tehokkaamman LLM-käsittelyn, vaikka se oli pidempi. Työnkulkuni perustui kymmeniin erikoistuneisiin Ruby-työkaluihin sähköpostiin, tutkimukseen ja tehtävien hallintaan. Jokaisella työkalulla oli oma käyttöliittymänsä, virheenkäsittely ja tulostusmuotonsa. Kun ne yhdistetään metatyökaluiksi, lopullinen suorituskyky on parempi, ja kustannussäästöt ovat valtavat. Löydät koko arkkitehtuurin GitHubista.

"Tapa tehdä kirjoitus on kolme tai neljä kertaa, ei koskaan kerran." Kirjoittaminen on vaikeaa. John McPhee, joka keksi kirjallisen tietokirjallisuuden, joka luetaan kuin romaani, kehitti neljän luonnoksen kirjoitusmenetelmän, joka muuttaa kaoottiset ideat kiehtoviksi kertomuksiksi. McPhee oli luovan tietokirjallisuuden edelläkävijä The New Yorkerissa kirjoittamalla kirjoja, kuten Oranges & Coming into the Country, jotka tekivät monimutkaisista aiheista kiehtovia tarinankerronnan kautta. Hänen lähestymistapansa eroaa perinteisestä journalismista sisällyttämällä fiktiotekniikoita säilyttäen samalla tosiasiallisen tarkkuuden. Hänen proosassaan yhdistyvät elävä kuvasto ja taloudellisuus: "Lääkäri kuuntelee stetoskoopilla ja kuulee sotapolun intiaanirummun ääniä." Hän suosi suoruutta: "Hän halusi mennä paikasta A paikkaan B keksimättä kirjaimia väliin." Genrestään McPhee sanoi: "Tietokirjallisuus – mitä, se sanoo vain, että tämä on ei-greippiä, jota syömme tänä aamuna." McPhee kodifioi myöhemmin lähestymistapansa Luonnoksessa nro 4: Kirjoitusprosessista, jossa hän jakoi vuosikymmenten kirjoitusviisauden. Hänen organisaatiofilosofiansa muokkaa kaikkea: "Rakenne voidaan rakentaa niin, että se saa ihmiset haluamaan jatkuvasti sivuja. Tietokirjallisuuden kiehtovalla rakenteella voi olla houkutteleva vaikutus, joka on analoginen kaunokirjallisuuden tarinan kanssa. Lukijoiden ei pitäisi huomata rakennetta. Sen on tarkoitus olla suunnilleen yhtä näkyvä kuin jonkun luut." McPheen neljän luonnoksen kehys: 1. Brain dump draft - Tallenna kaikki mahdolliset ideat, faktat ja näkökulmat ilman muokkausta tai tuomitsemista 2. Rakenneluonnos - Järjestä ideat loogisiin sarjoihin ja tunnista keskeinen kerronnallinen lanka 3. Häikäilemätön leikkausluonnos - Poista kaikki, mikä ei palvele ensisijaista viestiä tai hämmennä lukijaa 4. Puolalainen luonnos - Tarkenna proosaa, korjaa kielioppia ja varmista, että jokainen lause vie kohti tavoitettasi Tämä on yksi parhaista tekniikoista, joita olen löytänyt kirjoittamiseen. Menetelmä toimii, koska se erottaa luovan ajattelun kriittisestä arvioinnista. Kun yrität kirjoittaa täydellistä proosaa samalla kun luot ideoita, on helppo joutua luovaan esteeseen. Jokaisesta luonnoksesta tulee perusta seuraavalle, mikä luo rekursiivisen prosessin, joka muuttaa kaoottiset ajatukset jäsennellyiksi kertomuksiksi. Kuin appelsiinin kerrosten kuoriminen paljastaakseen sisällä olevan hedelmän, jokainen luonnos riisuu pois sen, mikä ei kuulu sinne, paljastaen olennaisen tarinan, joka oli aina olemassa odottamassa löytämistä.