Gabriel e eu começamos este negócio programando em um pequeno escritório durante um ano inteiro. Começamos com a ideia de que os sistemas de IA devem ser capazes de aprender com a experiência do mundo real para resolver problemas do mundo real. Eventualmente, ficou claro que isso era muito mais um problema de sistemas e dados do que um problema de aprendizado de máquina. A solução precisava ser um software de nível industrial que fosse amplamente disponível e fácil de adotar para desenvolvedores individuais, mas que pudesse escalar para atender às necessidades de grandes organizações. Então, abrimos o projeto e dissemos aos nossos primeiros usuários para pararem de nos pagar. Parecia loucura. Hoje em dia, estamos virando a esquina. Temos uma equipe técnica pequena, mas incrível: Aaron (mantenedor do compilador Rust, Svix, AWS), @anndvision (pós-doutorado em Columbia, PhD em Oxford) e Alan (PhD na CMU, VP na JPM AI Research), que em breve será juntado por Shuyang (engenheiro de software na infraestrutura LLM do Google, Palantir) e Cole (Cognition, Windsurf, Stanford). Nossa comunidade está ativa e crescendo (em breve 10k estrelas!). Há um caminho claro para construir o agente que otimiza cada implantação do TensorZero com base no feedback do mundo real que coleta. Se você me dissesse quando comecei meu PhD que um dia muitas empresas começariam voluntariamente a armazenar trajetórias de RL em um modelo de dados que ajudei a construir para que pudéssemos otimizar suas políticas em relação às recompensas que elas valorizam, eu teria ficado surpreso. Em breve, isso não será feito manualmente.
TensorZero
TensorZero19/08, 04:14
Announcing our $7.3M seed round! TensorZero enables a data and learning flywheel for optimizing LLM applications: a feedback loop that turns production metrics and human feedback into smarter, faster, and cheaper models and agents. Today, we provide an open-source stack for building industrial-grade LLM applications that unifies an LLM gateway, observability, optimization, evaluation, and experimentation. You can take what you need, adopt incrementally, and complement with other tools. Over time, these components enable you to set up a principled feedback loop for your LLM application. The data you collect is tied to your KPIs, ports across model providers, and compounds into a competitive advantage for your business. Our vision is to automate much of LLM engineering. We're laying the foundation for that with open-source TensorZero. For example, with our data model and end-to-end workflow, we will be able to proactively suggest new variants (e.g. a new fine-tuned model), backtest it on historical data (e.g. using diverse techniques from reinforcement learning), enable a gradual, live A/B test, and repeat the process. With a tool like this, engineers can focus on higher-level workflows — deciding what data goes in and out of these models, how to measure success, which behaviors to incentivize and disincentivize, and so on — and leave the low-level implementation details to an automated system. This is the future we see for LLM engineering as a discipline. Recently, TensorZero reached #1 trending repository of the week globally on GitHub (& we're about to cross 10k stars). We're fortunate to have received contributions from dozens of developers worldwide, and it's exciting to see TensorZero already powering cutting-edge LLM products at frontier AI startups and large organizations, including one of Europe's largest banks. We're excited to share that we've raised $7.3M to accelerate TensorZero's efforts to build best-in-class open-source infrastructure for LLM engineers (we're hiring!). The round was led by @FirstMarkCap, with participation from @BessemerVP, @bedrock, @DRWTrading, @coalitionvc, and dozens of strategic angels.
26,02K