¡Sobre cómo estamos usando la IA y @lancedb internamente!

Descubrí que estaba diseñando mis herramientas de IA al revés. Aquí hay un ejemplo. Esta era mi cadena de procesamiento de boletines: leer correos electrónicos, llamar a un procesador de boletines, extraer empresas y luego agregarlas al CRM. Esto implicó cuatro pasos diferentes, con un costo de $ 3.69 por cada mil boletines procesados. Antes: Cadena de procesamiento de boletines informativos (primera imagen) Luego creé una herramienta de boletín unificada que combinaba todo usando el Kit de desarrollo de agentes de Google, el marco de Google para crear herramientas de agentes de IA de grado de producción: (segunda imagen) ¿Por qué es más complicada la herramienta de boletines unificados? Incluye múltiples acciones en una sola interfaz (procesar, buscar, extraer, validar), implementa la gestión de estado que rastrea los patrones de uso y almacena en caché los resultados, tiene limitación de velocidad incorporada y produce salidas JSON estructuradas con metadatos en lugar de texto sin formato. Pero aquí está la parte contraria a la intuición: a pesar de ser más compleja internamente, la herramienta unificada es más simple de usar para el LLM porque proporciona salidas consistentes y estructuradas que son más fáciles de analizar, aunque esas salidas son más largas. Para comprender el impacto, realizamos pruebas de 30 iteraciones por escenario de prueba. Los resultados muestran el impacto de la nueva arquitectura: (tercera imagen) Pudimos reducir los tokens en un 41% (p = 0,01, estadísticamente significativo), lo que se tradujo linealmente en ahorros de costos. La tasa de éxito mejoró en un 8% (p = 0.03), y pudimos alcanzar el caché el 30% de las veces, lo que es otro ahorro de costos. Si bien las herramientas individuales produjeron respuestas más cortas y "limpias", obligaron al LLM a trabajar más duro analizando formatos inconsistentes. Los resultados estructurados y completos de herramientas unificadas permitieron un procesamiento de LLM más eficiente, a pesar de ser más largo. Mi flujo de trabajo se basaba en docenas de herramientas Ruby especializadas para correo electrónico, investigación y gestión de tareas. Cada herramienta tenía su propia interfaz, manejo de errores y formato de salida. Al agruparlos en herramientas meta, el rendimiento final es mejor y hay un tremendo ahorro de costos. Puede encontrar la arquitectura completa en GitHub.

"La forma de escribir es tres o cuatro veces, nunca una vez". Escribir es difícil. John McPhee, quien inventó la no ficción literaria que se lee como una novela, desarrolló un método de escritura de cuatro borradores que transforma ideas caóticas en narrativas convincentes. McPhee fue pionera en la no ficción creativa en The New Yorker, escribiendo libros como Oranges & Coming into the Country que hicieron que los temas complejos fueran fascinantes a través de la narración. Su enfoque difiere del periodismo tradicional al incorporar técnicas de ficción mientras mantiene la precisión de los hechos. Su prosa combina imágenes vívidas con economía: "El médico escucha con un estetoscopio y escucha los sonidos de un tambor indio en pie de guerra". Favoreció la franqueza: "Le gustaba ir de A a B sin inventar letras entre ellas". Sobre su género, McPhee dijo: "No ficción, qué diablos, eso solo dice, esto no es toronja lo que vamos a comer esta mañana". Más tarde, McPhee codificó su enfoque en el Borrador No. 4: Sobre el proceso de escritura, compartiendo décadas de sabiduría de escritura. Su filosofía organizativa lo da todo: "Puedes construir una estructura de tal manera que haga que la gente quiera seguir pasando páginas. Una estructura convincente en la no ficción puede tener un efecto de atracción análogo a una historia en la ficción. Se supone que los lectores no deben notar la estructura. Está destinado a ser tan visible como los huesos de alguien". Marco de cuatro borradores de McPhee: 1. Borrador de volcado de cerebro: capture todas las ideas, hechos y ángulos posibles sin editar ni juzgar 2. Borrador de estructura: organice las ideas en secuencias lógicas e identifique el hilo narrativo central 3. Borrador de corte despiadado: elimine todo lo que no sirva al mensaje principal o confunda al lector 4. Pulir el borrador: refina la prosa, corrige la gramática y asegúrate de que cada oración se dirija hacia tu objetivo Esta es una de las mejores técnicas que he encontrado para escribir. El método funciona porque separa el pensamiento creativo de la evaluación crítica. Cuando intentas escribir una prosa perfecta mientras generas ideas, es fácil caer en un bloqueo creativo. Cada borrador se convierte en la base del siguiente, creando un proceso recursivo que transforma los pensamientos caóticos en narrativas estructuradas. Como pelar las capas de una naranja para revelar la fruta que contiene, cada borrador elimina lo que no pertenece, revelando la historia esencial que siempre estuvo ahí esperando ser descubierta.