Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
hardmaru
Construindo @SakanaAILabs 🧠
O alto custo necessário para treinar grandes modelos de base torna-os o ativo que mais rapidamente se deprecia na história da humanidade.
24/08, 12:04
Os modelos de fronteira proprietários de hoje são artefatos efémeros. Essencialmente, castelos de areia muito caros. Destinados a serem levados pela maré crescente da replicação de código aberto (primeiro) e da disrupção algorítmica (depois).
115,96K
hardmaru republicou
Conseguimos reproduzir as fortes conclusões do artigo HRM sobre o ARC-AGI-1.
Além disso, realizamos uma série de experimentos de ablação para entender o que está por trás disso.
Principais conclusões:
1. A própria arquitetura do modelo HRM (o centro do artigo) não é um fator importante.
2. O ciclo de refinamento externo (pouco mencionado no artigo) é o principal motor de desempenho.
3. O aprendizado de transferência entre tarefas não é muito útil. O que importa é treinar nas tarefas que você irá testar.
4. Você pode usar muito menos aumentos de dados, especialmente no momento da inferência.
As conclusões 2 e 3 significam que esta abordagem é um caso de *treinamento em tempo de teste sem pré-treinamento*, semelhante ao artigo recentemente publicado "ARC-AGI sem pré-treinamento" de Liao et al.
332,84K
Top
Classificação
Favoritos