Tôi phát hiện ra rằng tôi đang thiết kế các công cụ AI của mình theo cách ngược lại. Đây là một ví dụ. Đây là quy trình xử lý bản tin của tôi: đọc email, gọi một trình xử lý bản tin, trích xuất các công ty, và sau đó thêm chúng vào CRM. Điều này bao gồm bốn bước khác nhau, tốn 3,69 đô la cho mỗi nghìn bản tin được xử lý. Trước: Quy trình xử lý bản tin (hình ảnh đầu tiên) Sau đó, tôi đã tạo ra một công cụ bản tin thống nhất kết hợp mọi thứ bằng cách sử dụng Bộ phát triển tác nhân Google, khung của Google để xây dựng các công cụ tác nhân AI chất lượng sản xuất: (hình ảnh thứ hai) Tại sao công cụ bản tin thống nhất lại phức tạp hơn? Nó bao gồm nhiều hành động trong một giao diện duy nhất (xử lý, tìm kiếm, trích xuất, xác thực), thực hiện quản lý trạng thái theo dõi các mẫu sử dụng và lưu trữ kết quả, có giới hạn tỷ lệ tích hợp, và sản xuất đầu ra JSON có cấu trúc với siêu dữ liệu thay vì văn bản thuần túy. Nhưng đây là phần ngược lại với trực giác: mặc dù phức tạp hơn bên trong, công cụ thống nhất lại đơn giản hơn cho LLM sử dụng vì nó cung cấp đầu ra nhất quán, có cấu trúc dễ phân tích, mặc dù những đầu ra đó dài hơn. Để hiểu tác động, chúng tôi đã thực hiện các bài kiểm tra với 30 lần lặp cho mỗi kịch bản thử nghiệm. Kết quả cho thấy tác động của kiến trúc mới: (hình ảnh thứ ba) Chúng tôi đã giảm được 41% token (p=0.01, có ý nghĩa thống kê), điều này đã chuyển đổi tuyến tính thành tiết kiệm chi phí. Tỷ lệ thành công cải thiện 8% (p=0.03), và chúng tôi đã có thể truy cập bộ nhớ đệm 30% thời gian, điều này cũng là một khoản tiết kiệm chi phí. Trong khi các công cụ riêng lẻ tạo ra các phản hồi ngắn hơn, "sạch hơn", chúng đã buộc LLM phải làm việc chăm chỉ hơn để phân tích các định dạng không nhất quán. Các đầu ra có cấu trúc, toàn diện từ các công cụ thống nhất đã cho phép xử lý LLM hiệu quả hơn, mặc dù dài hơn. Quy trình làm việc của tôi dựa vào hàng chục công cụ Ruby chuyên biệt cho email, nghiên cứu và quản lý tác vụ. Mỗi công cụ có giao diện, xử lý lỗi và định dạng đầu ra riêng. Bằng cách gộp chúng lại thành các công cụ meta, hiệu suất cuối cùng tốt hơn, và có sự tiết kiệm chi phí to lớn. Bạn có thể tìm thấy kiến trúc hoàn chỉnh trên GitHub.