Um caso de uso realmente bom para modelos locais seria um modelo treinado intensivamente em RL para ser bom em uma coisa: descobrir o contexto adequado (arquivos, trechos) necessários para resolver uma tarefa específica. (Muitos I/O locais, leituras paralelas de arquivos, etc.) Depois, use o modelo remoto para planejar + codificar.
4,08K