Wie wir AI & @lancedb intern nutzen!

Ich habe entdeckt, dass ich meine AI-Tools rückwärts entworfen habe. Hier ist ein Beispiel. Dies war meine Newsletter-Verarbeitungskette: E-Mails lesen, einen Newsletter-Prozessor aufrufen, Unternehmen extrahieren und sie dann zum CRM hinzufügen. Dies umfasste vier verschiedene Schritte und kostete 3,69 $ für jede tausend verarbeiteten Newsletter. Vorher: Newsletter-Verarbeitungskette (erstes Bild) Dann habe ich ein einheitliches Newsletter-Tool erstellt, das alles kombiniert, indem ich das Google Agent Development Kit, Googles Framework zum Erstellen von produktionsreifen AI-Agenten-Tools, verwendet habe: (zweites Bild) Warum ist das einheitliche Newsletter-Tool komplizierter? Es umfasst mehrere Aktionen in einer einzigen Schnittstelle (verarbeiten, suchen, extrahieren, validieren), implementiert ein Zustandsmanagement, das Nutzungsmuster verfolgt und Ergebnisse zwischenspeichert, hat eine eingebaute Ratenbegrenzung und produziert strukturierte JSON-Ausgaben mit Metadaten anstelle von einfachem Text. Aber hier ist der kontraintuitive Teil: Trotz der internen Komplexität ist das einheitliche Tool einfacher für das LLM zu verwenden, da es konsistente, strukturierte Ausgaben liefert, die leichter zu parsen sind, auch wenn diese Ausgaben länger sind. Um die Auswirkungen zu verstehen, haben wir Tests mit 30 Iterationen pro Testszenario durchgeführt. Die Ergebnisse zeigen die Auswirkungen der neuen Architektur: (drittes Bild) Wir konnten die Tokens um 41 % reduzieren (p=0,01, statistisch signifikant), was sich linear in Kosteneinsparungen übersetzte. Die Erfolgsquote verbesserte sich um 8 % (p=0,03), und wir konnten in 30 % der Fälle auf den Cache zugreifen, was eine weitere Kosteneinsparung darstellt. Während einzelne Tools kürzere, "sauberere" Antworten produzierten, zwangen sie das LLM, härter zu arbeiten, um inkonsistente Formate zu parsen. Strukturierte, umfassende Ausgaben von einheitlichen Tools ermöglichten eine effizientere LLM-Verarbeitung, obwohl sie länger waren. Mein Workflow basierte auf Dutzenden von spezialisierten Ruby-Tools für E-Mail, Forschung und Aufgabenmanagement. Jedes Tool hatte seine eigene Schnittstelle, Fehlerbehandlung und Ausgabeformat. Durch die Zusammenführung in Meta-Tools ist die letztliche Leistung besser, und es gibt enorme Kosteneinsparungen. Die vollständige Architektur finden Sie auf GitHub.

„Der Weg, ein Stück zu schreiben, ist drei- oder viermal darüber, niemals einmal.“ Schreiben ist schwer. John McPhee, der literarische Nonfiction erfand, die wie ein Roman gelesen wird, entwickelte eine Vier-Entwurf-Schreibmethode, die chaotische Ideen in fesselnde Erzählungen verwandelt. McPhee war Pionier der kreativen Nonfiction bei The New Yorker und schrieb Bücher wie Oranges & Coming into the Country, die komplexe Themen durch Geschichtenerzählen faszinierend machten. Sein Ansatz unterscheidet sich von traditionellem Journalismus, indem er Fiktionstechniken integriert und gleichzeitig die faktische Genauigkeit wahrt. Seine Prosa kombiniert lebendige Bilder mit Ökonomie : „Der Arzt hört mit einem Stethoskop zu und hört die Geräusche eines Kriegs-Pfad-Indianertrommels.“ Er bevorzugte Direktheit : „Er wollte von A nach B gehen, ohne Buchstaben dazwischen zu erfinden.“ Über sein Genre sagte McPhee : „Nonfiction – was zur Hölle, das sagt einfach, das ist kein Grapefruit, die wir heute Morgen haben.“ McPhee kodifizierte später seinen Ansatz in Draft No. 4: On the Writing Process und teilte Jahrzehnte an Schreibweisheiten. Seine organisatorische Philosophie prägt alles : „Man kann eine Struktur so aufbauen, dass sie die Menschen dazu bringt, weiterzublättern. Eine fesselnde Struktur in der Nonfiction kann eine anziehende Wirkung haben, die einer Handlung in der Fiktion ähnlich ist. Die Leser sollen die Struktur nicht bemerken. Sie soll so sichtbar sein wie jemandes Knochen.“ McPhees Vier-Entwurf-Rahmen : 1. Brain dump draft - Erfasse jede mögliche Idee, Tatsache und Perspektive ohne Bearbeitung oder Urteil 2. Struktur-Entwurf - Organisiere Ideen in logische Abfolgen und identifiziere den zentralen Erzählfaden 3. Ruthless cut draft - Entferne alles, was der primären Botschaft nicht dient oder den Leser verwirrt 4. Polish draft - Verfeinere die Prosa, behebe Grammatikfehler und stelle sicher, dass jeder Satz auf dein Ziel hinarbeitet Dies ist eine der besten Techniken, die ich zum Schreiben gefunden habe. Die Methode funktioniert, weil sie kreatives Denken von kritischer Bewertung trennt. Wenn du versuchst, perfekte Prosa zu schreiben, während du Ideen generierst, ist es leicht, in eine kreative Blockade zu fallen. Jeder Entwurf wird zur Grundlage für den nächsten und schafft einen rekursiven Prozess, der chaotische Gedanken in strukturierte Erzählungen verwandelt. Wie das Schälen der Schichten einer Orange, um die Frucht darin zu enthüllen, entfernt jeder Entwurf, was nicht dazugehört, und offenbart die wesentliche Geschichte, die immer darauf gewartet hat, entdeckt zu werden.