Sur la façon dont nous utilisons l'IA et @lancedb en interne !

J'ai découvert que je concevais mes outils d'IA à l'envers. Voici un exemple. Voici ma chaîne de traitement de newsletter : lire les e-mails, appeler un processeur de newsletter, extraire des entreprises, puis les ajouter au CRM. Cela impliquait quatre étapes différentes, coûtant 3,69 $ pour chaque mille newsletters traitées. Avant : Chaîne de traitement de newsletter (première image) Ensuite, j'ai créé un outil de newsletter unifié qui combinait tout en utilisant le Google Agent Development Kit, le cadre de Google pour construire des outils d'agent IA de qualité production : (deuxième image) Pourquoi l'outil de newsletter unifié est-il plus compliqué ? Il inclut plusieurs actions dans une seule interface (traiter, rechercher, extraire, valider), implémente une gestion d'état qui suit les modèles d'utilisation et met en cache les résultats, a une limitation de taux intégrée, et produit des sorties JSON structurées avec des métadonnées au lieu de texte brut. Mais voici la partie contre-intuitive : malgré sa complexité interne, l'outil unifié est plus simple à utiliser pour le LLM car il fournit des sorties cohérentes et structurées qui sont plus faciles à analyser, même si ces sorties sont plus longues. Pour comprendre l'impact, nous avons effectué des tests de 30 itérations par scénario de test. Les résultats montrent l'impact de la nouvelle architecture : (troisième image) Nous avons pu réduire les tokens de 41 % (p=0,01, statistiquement significatif), ce qui s'est traduit linéairement par des économies de coûts. Le taux de réussite a augmenté de 8 % (p=0,03), et nous avons pu atteindre le cache 30 % du temps, ce qui représente une autre économie de coûts. Bien que les outils individuels produisent des réponses plus courtes et "plus propres", ils forçaient le LLM à travailler plus dur pour analyser des formats incohérents. Des sorties structurées et complètes provenant d'outils unifiés ont permis un traitement LLM plus efficace, malgré leur longueur. Mon flux de travail reposait sur des dizaines d'outils Ruby spécialisés pour les e-mails, la recherche et la gestion des tâches. Chaque outil avait sa propre interface, gestion des erreurs et format de sortie. En les regroupant en méta-outils, la performance ultime est meilleure, et il y a d'énormes économies de coûts. Vous pouvez trouver l'architecture complète sur GitHub.

« La façon de rédiger un texte, c'est de le faire trois ou quatre fois, jamais une seule. » Écrire est difficile. John McPhee, qui a inventé le non-fiction littéraire qui se lit comme un roman, a développé une méthode d'écriture en quatre brouillons qui transforme des idées chaotiques en récits captivants. McPhee a été un pionnier de la non-fiction créative au New Yorker, écrivant des livres comme Oranges et Coming into the Country qui ont rendu des sujets complexes fascinants grâce à la narration. Son approche diffère du journalisme traditionnel en incorporant des techniques de fiction tout en maintenant une précision factuelle. Sa prose combine des images vives avec économie : « Le médecin écoute avec un stéthoscope et entend les sons d'un tambour indien en guerre. » Il favorisait la directivité : « Il aimait aller de A à B sans inventer de lettres entre. » À propos de son genre, McPhee a dit : « Non-fiction—qu'est-ce que ça veut dire, cela dit juste, c'est du non-pamplemousse que nous avons ce matin. » McPhee a ensuite codifié son approche dans Draft No. 4 : On the Writing Process, partageant des décennies de sagesse en écriture. Sa philosophie organisationnelle façonne tout : « Vous pouvez construire une structure de telle manière qu'elle incite les gens à vouloir continuer à tourner les pages. Une structure captivante en non-fiction peut avoir un effet d'attraction analogue à une intrigue dans la fiction. Les lecteurs ne sont pas censés remarquer la structure. Elle est censée être aussi visible que les os de quelqu'un. » Le cadre des quatre brouillons de McPhee : 1. Brouillon de déversement d'idées - Capturer chaque idée, fait et angle possible sans éditer ni juger 2. Brouillon de structure - Organiser les idées en séquences logiques et identifier le fil narratif central 3. Brouillon de coupe impitoyable - Supprimer tout ce qui ne sert pas le message principal ou qui confond le lecteur 4. Brouillon de polissage - Affiner la prose, corriger la grammaire et s'assurer que chaque phrase mène à votre objectif C'est l'une des meilleures techniques que j'ai trouvées pour écrire. La méthode fonctionne parce qu'elle sépare la pensée créative de l'évaluation critique. Lorsque vous essayez d'écrire une prose parfaite tout en générant des idées, il est facile de tomber dans un blocage créatif. Chaque brouillon devient la base du suivant, créant un processus récursif qui transforme des pensées chaotiques en récits structurés. Comme peler les couches d'une orange pour révéler le fruit à l'intérieur, chaque brouillon élimine ce qui n'appartient pas, révélant l'histoire essentielle qui était toujours là, attendant d'être découverte.