Ok for mange drittinnlegg i det siste, la oss gjøre litt innhold med høyt signal saken med RL-miljøer er at de til syvende og sist bare er programvare som følger en bestemt spesifikasjon. skalering av RL ser ut som å skalere et programvareøkosystem rundt den spesifikasjonen. Programvaren må være *god*, men jeg ser mange mennesker som blander dette sammen med programvare som må være utrolig *komplisert* Tusenvis av hyperforseggjorte skreddersydde fullstack-simmer for engangsoppgaver er sannsynligvis ikke veien Å definere utrolig presise belønningsfunksjoner med bazillioner av if-utsagn og øyeepler er sannsynligvis ikke måten å definere utrolig presise belønningsfunksjoner på Jeg tror videospill er en ganske passende analogi -- gode spill har et visst nivå av kompleksitet, ja, men å lage mange gode videospill krever gode spillmotorer, gode designverktøy, gode insentiver, gode tilbakemeldingssløyfer, gode aktivabiblioteker, gode testprogrammer Eller tenk på alle grensesnittene uten kode som WordPress og Shopify og Squarespace som driver millioner av nyttige nettsteder. brukergrensesnittene er mindre prangende, jada, men generelt er disse nettstedene *bedre programvare for sluttbrukere* enn ettermiddagens vibekodede apper, fordi de sitter på toppen av mye mer solide grunnlag. Hvis du bygger for programvareøkosystemet, og for komposisjonalitet og arv og robusthet, gjør du den vanskelige delen – å faktisk designe en oppgave – betydelig enklere og raskere å skalere