Gabriel ed io abbiamo avviato questa attività programmando in un piccolo ufficio per un anno intero. Siamo partiti dall'idea che i sistemi di intelligenza artificiale devono essere in grado di apprendere dall'esperienza del mondo reale per risolvere problemi reali. Alla fine è diventato chiaro che si trattava molto più di un problema di sistemi e dati piuttosto che di un problema di apprendimento automatico. La soluzione doveva essere un software di livello industriale, disponibile gratuitamente e facile da adottare per i singoli sviluppatori, ma che potesse scalare per soddisfare le esigenze delle grandi organizzazioni. Così abbiamo reso open source il progetto e abbiamo detto ai nostri primi utenti di smettere di pagarci. Sembrava pazzesco. Oggi, stiamo girando un angolo. Abbiamo un piccolo ma incredibile team tecnico: Aaron (mantenitore del compilatore Rust, Svix, AWS), @anndvision (postdoc a Columbia, PhD a Oxford) e Alan (PhD alla CMU, VP presso JPM AI Research) che presto sarà raggiunto da Shuyang (SWE staff su infrastruttura LLM presso Google, Palantir) e Cole (Cognition, Windsurf, Stanford). La nostra comunità è attiva e in crescita (presto a 10k stelle!). C'è un chiaro percorso verso la costruzione dell'agente che ottimizza ogni distribuzione di TensorZero in base al feedback reale che raccoglie. Se mi avessi detto quando ho iniziato il mio dottorato che un giorno molte aziende avrebbero volontariamente iniziato a memorizzare le traiettorie RL in un modello di dati che ho aiutato a costruire affinché potessimo ottimizzare le loro politiche in base ai premi che a loro interessano, sarei rimasto stupito. Presto, questo non sarà fatto a mano.
TensorZero
TensorZero19 ago, 04:14
Annunciamo il nostro round di finanziamento seed da 7,3 milioni di dollari! TensorZero abilita un volano di dati e apprendimento per ottimizzare le applicazioni LLM: un ciclo di feedback che trasforma le metriche di produzione e il feedback umano in modelli e agenti più intelligenti, veloci ed economici. Oggi, forniamo uno stack open-source per costruire applicazioni LLM di livello industriale che unifica un gateway LLM, osservabilità, ottimizzazione, valutazione e sperimentazione. Puoi prendere ciò di cui hai bisogno, adottare in modo incrementale e completare con altri strumenti. Nel tempo, questi componenti ti consentono di impostare un ciclo di feedback principled per la tua applicazione LLM. I dati che raccogli sono legati ai tuoi KPI, portano attraverso fornitori di modelli e si accumulano in un vantaggio competitivo per la tua azienda. La nostra visione è automatizzare gran parte dell'ingegneria LLM. Stiamo ponendo le basi per questo con TensorZero open-source. Ad esempio, con il nostro modello di dati e il flusso di lavoro end-to-end, saremo in grado di suggerire proattivamente nuove varianti (ad es. un nuovo modello fine-tuned), testarlo retroattivamente su dati storici (ad es. utilizzando tecniche diverse dall'apprendimento per rinforzo), abilitare un test A/B graduale e dal vivo, e ripetere il processo. Con uno strumento come questo, gli ingegneri possono concentrarsi su flussi di lavoro di livello superiore — decidendo quali dati entrano ed escono da questi modelli, come misurare il successo, quali comportamenti incentivare e disincentivare, e così via — e lasciare i dettagli di implementazione di basso livello a un sistema automatizzato. Questo è il futuro che vediamo per l'ingegneria LLM come disciplina. Recentemente, TensorZero ha raggiunto il primo repository in tendenza della settimana a livello globale su GitHub (& stiamo per superare i 10k stelle). Siamo fortunati ad aver ricevuto contributi da decine di sviluppatori in tutto il mondo, ed è emozionante vedere TensorZero già alimentare prodotti LLM all'avanguardia in startup AI di frontiera e grandi organizzazioni, inclusa una delle banche più grandi d'Europa. Siamo entusiasti di condividere che abbiamo raccolto 7,3 milioni di dollari per accelerare gli sforzi di TensorZero nel costruire un'infrastruttura open-source di classe mondiale per gli ingegneri LLM (stiamo assumendo!). Il round è stato guidato da @FirstMarkCap, con la partecipazione di @BessemerVP, @bedrock, @DRWTrading, @coalitionvc e decine di angeli strategici.
25,84K