Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Хотів би, щоб це також сталося. Але на практиці я не знаю, як реалізувати щось подібне.
Чи уряд ФРС просто субсидує витрати на те, щоб відкриті лабораторії купували це обладнання? Це буде постійна субсидія (зараз часто потрібне нове обладнання), і як вибрати, які лабораторії отримують субсидію? Математика серветок для 10K H200s, ймовірно, перевищує 300 мільйонів доларів, якщо ми використовуємо просте припущення ~30 тисяч доларів на H200. І це лише придбання апаратного забезпечення GPU. Вам потрібно десь запускати їх разом з операційними витратами для їх обслуговування.
Якщо ви змусите нинішніх власників комп'ютерів виділити певну суму своїх запасів для цих лабораторій, їм також знадобиться певна форма субсидії. Більшість із цих компаній заявляють, що зараз вони також обмежені в поставках.
У будь-якому випадку, схоже, що ми рухаємося до створення нової парадигми обчислень. Досі парадигма оберталася навколо масштабування спільно розташованих обчислень. Без сумніву, в США та інших країнах все ще будуть побудовані дата-центри розміром з Манхеттен. Але також будуть менші обчислювальні острови різного розміру, які з'єднані з волокном тощо. Коли це будуть нові/стандартні обмеження та фундаментальні обмеження, це підштовхне ширшу спільноту дослідників штучного інтелекту в нових, невивчених напрямках.
Негативний вплив цього може означати велику і зростаючу розбіжність між дослідженнями, архітектурою моделей, економікою і т.д. між найбільшими, закритими лабораторіями штучного інтелекту (ті, що працюють з фактично масивними єдиними центрами обробки даних) і тими (ймовірно, науковцями та децентралізованими компаніями зі штучним інтелектом), які використовують більш розподілені обчислювальні кластери (тобто невеликі, але численні обчислювальні острови). Незрозуміло, як це обернеться для обох сторін (і, зрештою, для споживачів моделей, що випускаються кожною з них), але схоже, що все рухається в напрямку.
Можна навіть заперечити, що ми вже бачили проблиски цього. Китайські лабораторії мають принципово інші обчислювальні обмеження, ніж, наприклад, у OpenAI. Через це цим китайським лабораторіям довелося впроваджувати інновації в методи навчання/виведення. Не ідеальна аналогія, але, можливо, вона може допомогти з'ясувати, як виглядають «маленькі кроки» до нової парадигми, і з часом ці маленькі кроки доповнюються і виробляють щось, що виглядає/функціонує зовсім інакше, ніж те, що продукує інший шлях.

4 серп., 22:08
To solve this, the key resource threshold is to have multiple open labs with 10000+ GPUs each.
Multiple labs makes it so we are not beholden to big technology co's good graces to want to release models. These institutions increases innovation + derisks this crucial technology.
849
Найкращі
Рейтинг
Вибране