Pasar pelatihan AI global sebenarnya tidak global. Himanshu Tyagi (@hstyagi), pendiri @SentientAGI, tentang mengapa pembangun AI berdaulat, bukan pelanggan global, adalah pembeli utama pelatihan skala besar saat ini. "Anda tidak bisa duduk di AS dan berlatih di India. Ada hal-hal peraturan di sekitarnya - siapa yang menjalankannya, di mana ia berjalan." Dan masalah ekonomi: "Ini adalah investasi $ 20 juta. Anda bisa mendapatkan pengembalian global jika pasar global terbuka. Tapi hari ini, mereka tidak." "Di ruang saat ini, pembangun AI berdaulatlah yang menjadi pembeli utama." Dan banyak pemerintah mengamanatkan pelatihan lokal: "Negara-negara seperti Korea dan India hanya mengizinkan cloud lokal ketika mereka membangun model lokal mereka. Ini untuk mem-bootstrap ekosistem mereka, dan itu terjadi dengan cepat."

Setelah mengumpulkan $2 miliar, @MishaLaskin, CEO @reflection_ai, tentang ke mana perusahaan akan menuju selanjutnya: "Kami telah memanfaatkan untuk mendapatkan komputasi yang diperlukan untuk pra-melatih dan pasca-melatih model terbuka Amerika yang dapat kami ekspor ke seluruh dunia." Mereka juga telah mengumpulkan apa yang Laskin sebut bangku bakat laboratorium perbatasan: "Kami memiliki massa kritis orang yang memimpin pekerjaan ini di laboratorium perbatasan — pemodelan dan data pra-pelatihan, penalaran pasca-pelatihan, pengkodean, RLHF — kami telah membangun tim di seluruh tumpukan." Refleksi sekarang berada dalam fase yang harus dilalui oleh setiap laboratorium perbatasan yang serius: "Kami berada di tangga penskalaan, secara metodis melatih model dari kecil ke besar, karena pada setiap skala hal-hal pecah dengan cara baru." Dan Laskin menarik garis tajam antara pra-pelatihan dan pasca-pelatihan: "Orang-orang berbicara tentang YOLO berjalan di AI, tetapi itu hanya berhasil di pasca-pelatihan. Seperti yang dikatakan salah satu anggota tim kami: Anda tidak dapat melakukan pra-pelatihan YOLO, itu harus sangat tepat dan metodis." Di mana keadaan saat ini: "Kami sedang melalui tangga penskalaan sekarang. Kami melihat hasil awal yang menarik, dan kami akan merilis model hebat tahun depan."

AI terdesentralisasi tidak akan terlihat seperti yang kita kira. Himanshu Tyagi (@hstyagi), pendiri @SentientAGI, menjelaskan mengapa pelatihan terdesentralisasi lebih realistis daripada yang diasumsikan orang: "Orang-orang berpikir pelatihan desentralisasi tidak mungkin, bahwa Anda harus menyebarkannya ke jutaan perangkat kecil. Tapi bukan itu yang harus dikerjakan." "Saya mengerjakan pembelajaran federasi dalam kehidupan akademik saya. Saya dulu percaya pembelajaran terdesentralisasi tidak akan pernah nyata. Tapi saya melewatkan poin penting: Anda tidak harus mendesentralisasi sepenuhnya." Wawasan kuncinya: "Kluster – bukan perangkat – adalah unit desentralisasi. Pod 500 GPU tidak terlalu sulit didapat. Banyak orang bisa memasangnya. Ini seperti proyek real estat yang bagus." Dan pemain besar sudah melakukannya: "Google dan lainnya mendesentralisasi secara internal dengan cara ini. Desentralisasi semacam itu dimungkinkan." Jadi apa penghalang sebenarnya? "Bagian yang sulit bukanlah metode pelatihan, ini adalah kerangka peraturan dan tarif seputar distribusi chip itu sendiri."