Гаразд, останнім часом забагато гівняних постів, давайте зробимо контент з високим рівнем сигналу Особливість RL-середовищ полягає в тому, що в кінцевому підсумку це просто програмне забезпечення, яке слідує певній специфікації. масштабування RL виглядає як масштабування екосистеми програмного забезпечення навколо цієї специфікації. програмне забезпечення має бути *хорошим*, але я бачу, що багато людей поєднують це з програмним забезпеченням, яке має бути неймовірно *складним* Тисячі гіпер-складних симуляторів з повним стеком на замовлення для одноразових завдань – це, мабуть, не шлях Детальне визначення неймовірно точних функцій винагороди за допомогою базильйонів if-висловлювань і поплавців з очними яблуками, ймовірно, не є правильним шляхом Я думаю, що відеоігри – це досить влучна аналогія – хороші ігри, звичайно, мають певний рівень складності, але для створення великої кількості чудових відеоігор потрібні хороші ігрові двигуни, хороші інструменти дизайну, хороші стимули, хороші цикли зворотного зв'язку, хороші бібліотеки активів, хороші тестові програми Або подумайте про всі no-code інтерфейси, такі як WordPress, Shopify та Squarespace, на яких працюють мільйони корисних веб-сайтів. інтерфейс користувача, звичайно, менш яскравий, але в цілому ці сайти є кращим програмним забезпеченням для кінцевих користувачів, ніж післяобідні додатки з Vibecoded, тому що вони розташовані на набагато міцнішій основі. Якщо ви створюєте для екосистеми програмного забезпечення, а також для композиційності, спадковості та надійності, то ви значно спрощуєте складну частину – власне проектування завдання – і масштабуєте його швидше