Olin yksi tämän tutkimuksen 16 kehittäjästä. Halusin puhua mielipiteistäni kehityksen hidastumisen syistä ja lieventämisstrategioista. Sanon "miksi kuunnella sinua?" -koukkuna, että koin -38 % tekoälyn nopeutumisen määrätyissä ongelmissani. Uskon, että läpinäkyvyys auttaa yhteisöä.
METR
METR11.7.2025
Suoritimme satunnaistetun kontrolloidun kokeen nähdäksemme, kuinka paljon tekoälyn koodaustyökalut nopeuttavat kokeneita avoimen lähdekoodin kehittäjiä. Tulokset yllättivät meidät: Kehittäjät luulivat olevansa 20 % nopeampia tekoälytyökalujen kanssa, mutta todellisuudessa he olivat 19 % hitaampia tekoälyn kanssa kuin silloin, kun heillä ei ollut.
Ensinnäkin uskon, että tekoälyn nopeuttaminen korreloi hyvin heikosti kenenkään kyvyn kanssa kehittäjänä. Kaikki tämän tutkimuksen kehittäjät ovat erittäin hyviä. Luulen, että se liittyy enemmän epäonnistumistiloihin putoamiseen, sekä LLM:n kyvyissä että ihmisen työnkulussa. Työskentelen monien mahtavien esikoulutuskehittäjien kanssa, ja uskon, että ihmiset kohtaavat monia samoja ongelmia. Haluamme sanoa, että LLM:t ovat työkaluja, mutta kohtelemme niitä enemmän kuin taikaluotia. Kirjaimellisesti kuka tahansa kehittäjä voi todistaa tyytyväisyytensä hankalan ongelman vihdoin virheenkorjauksesta. LLM:t ovat iso dopamiinin pikanäppäin, joka voi ratkaista ongelmasi yhdellä kertaa. Painatko jatkuvasti painiketta, jolla on 1 %:n mahdollisuus korjata kaikki? Se on paljon nautinnollisempaa kuin uuvuttava vaihtoehto, ainakin minulle.
Luulen, että LLM:n liikakäyttöä voi tapahtua, koska se on helppo optimoida koetun nautinnon mukaan sen sijaan, että se kestäisi aikaa ratkaisuun työskentelyn aikana. Painan kohdistimen sarkainta 5 tuntia virheenkorjauksen sijaan 1:
Kolmanneksi on erittäin helppoa häiriintyä seisokkien aikana, kun LLM:t luovat. Sosiaalisen median huomiotalous on brutaali, ja luulen, että ihmiset viettävät 30 minuuttia vierittäen "odottaen" 30 sekunnin sukupolveaan. Voin vain sanoa tästä, että meidän pitäisi tietää omat sudenkuopat ja yrittää täyttää tämä LLM-sukupolven aika tuottavasti: - Jos tehtävä vaatii suurta keskittymistä, käytä tämä aika joko alitehtävän parissa työskentelemiseen tai jatkokysymysten miettimiseen. Vaikka malli vastaisi kysymyksesi yhdellä laukauksella, mitä muuta en ymmärrä? - Jos tehtävä vaatii vähäistä keskittymistä, tee sillä välin toinen pieni tehtävä (vastaa sähköpostiin/löysästi, lue tai muokkaa toista kappaletta jne.). Kuten aina, pienet digitaaliset hygieniavaiheet auttavat tässä (verkkosivustojen estäjät, puhelin dnd:ssä jne.). Anteeksi, että olen grampy, mutta se toimii minulle :)
Joitakin loppulausuntoja: - METR on hieno organisaatio työskennellä, ja he ovat vahvoja tutkijoita. Olen rakastanut sekä osallistua tähän tutkimukseen että lukea heidän tuloksiaan. - En ole mikään LLM-guru, joka yrittää saarnata. Ajattele tätä niin, että julkaisen henkilökohtaisen päiväkirjamerkinnän ja toivon, että muut voivat hyötyä itsetutkiskelustani.
1,96M