Ero uno dei 16 sviluppatori in questo studio. Volevo esprimere le mie opinioni sulle cause e sulle strategie di mitigazione del rallentamento degli sviluppatori. Dirò come un "perché ascoltarti?" che ho riscontrato un aumento dell'accelerazione dell'IA del -38% sui problemi che mi sono stati assegnati. Penso che la trasparenza aiuti la comunità.

In primo luogo, penso che l'accelerazione dell'IA sia molto debolmente correlata all'abilità di chiunque come sviluppatore. Tutti gli sviluppatori in questo studio sono molto bravi. Penso che abbia più a che fare con il cadere in modalità di fallimento, sia nell'abilità dell'LLM che nel flusso di lavoro dell'uomo. Lavoro con un sacco di fantastici sviluppatori di pre-formazione e penso che le persone affrontino molti degli stessi problemi. Ci piace dire che gli LLM sono strumenti, ma li trattiamo più come una bacchetta magica. Letteralmente qualsiasi sviluppatore può attestare la soddisfazione di aver finalmente eseguito il debug di un problema spinoso. Gli LLM sono un grande pulsante di scelta rapida per la dopamina che può risolvere il tuo problema. Continui a premere il pulsante che ha l'1% di possibilità di riparare tutto? È molto più divertente dell'estenuante alternativa, almeno per me.

Penso che i casi di uso eccessivo di LLM possano verificarsi perché è facile ottimizzare il piacere percepito piuttosto che il tempo per la soluzione mentre si lavora. Io premo tab nel cursore per 5 ore invece di eseguire il debug per 1:

In terzo luogo, è facilissimo distrarsi durante i tempi di inattività durante la generazione di LLM. L'economia dell'attenzione dei social media è brutale e penso che le persone passino 30 minuti a scorrere mentre "aspettano" la loro generazione di 30 secondi. Tutto quello che posso dire su questo è che dovremmo conoscere le nostre insidie e cercare di riempire questo tempo di generazione LLM in modo produttivo: - Se l'attività richiede un'elevata concentrazione, dedica questo tempo a lavorare su un'attività secondaria o a pensare alle domande di follow-up. Anche se la modella risponde alla tua domanda, cos'altro non capisco? - Se l'attività richiede una scarsa concentrazione, nel frattempo fai un'altra piccola attività (rispondi all'e-mail/rallenta, leggi o modifica un altro paragrafo, ecc.). Come sempre, piccoli accorgimenti di igiene digitale aiutano in questo (blocchi dei siti web, telefono su dnd, ecc.). Mi dispiace essere un nonno, ma funziona per me :)

Some final statements: - METR is a wonderful organization to work with, and they are strong scientists. I've loved both participating in this study and reading their results. - I am not some LLM guru trying to preach. Think of this as me publishing a personal diary entry, and hoping that others can benefit from my introspection.