Przeprowadziliśmy randomizowane, kontrolowane badanie, aby sprawdzić, jak bardzo narzędzia do kodowania AI przyspieszają doświadczonych programistów open source. Wyniki nas zaskoczyły: programiści myśleli, że są o 20% szybsi dzięki narzędziom AI, ale w rzeczywistości byli o 19% wolniejsi, gdy mieli dostęp do AI, niż gdy go nie mieli.

Zrekrutowaliśmy 16 doświadczonych programistów open-source do pracy nad 246 rzeczywistymi zadaniami we własnych repozytoriach (średnio 22k+ gwiazdek, 1 mln+ linii kodu). Losowo przypisaliśmy każde zadanie tak, aby zezwalało SI (zazwyczaj Cursor Pro z Claude 3.5/3.7) lub nie zezwalało na pomoc SI.

Na początku badania deweloperzy prognozowali, że zostaną one przyspieszone o 24%. Po faktycznym wykonaniu pracy oszacowali, że zostali przyspieszeni o 20%. Okazało się jednak, że w rzeczywistości zostały one spowolnione o 19%.

Gdy sztuczna inteligencja jest dozwolona, programiści spędzają mniej czasu na aktywnym kodowaniu i wyszukiwaniu informacji, a zamiast tego spędzają czas na podpowiadaniu sztucznej inteligencji, czekaniu/przeglądaniu wyników sztucznej inteligencji i bezczynności. Nie znaleźliśmy jednego powodu spowolnienia – jest ono spowodowane kombinacją czynników.

Dlaczego przeprowadziliśmy to badanie? Testy porównawcze agentów AI mają ograniczenia — są samowystarczalne, używają oceny algorytmicznej i nie mają interakcji z człowiekiem na żywo. Może to utrudnić bezpośrednie wywnioskowanie wpływu na świat rzeczywisty. Jeśli chcemy systemu wczesnego ostrzegania o tym, czy badania i rozwój w zakresie sztucznej inteligencji są przyspieszane przez samą sztuczną inteligencję, czy nawet zautomatyzowane, przydatna byłaby możliwość bezpośredniego pomiaru tego w rzeczywistych badaniach inżynierskich, zamiast polegania na wskaźnikach zastępczych, takich jak benchmarki, lub jeszcze bardziej hałaśliwych informacjach, takich jak anegdoty.

Co zabieramy? 1. Wydaje się prawdopodobne, że w przypadku niektórych ważnych ustawień najnowsze narzędzia AI nie zwiększyły produktywności (a w rzeczywistości mogą ją zmniejszyć). 2. Samodzielne raporty o przyspieszeniu są niewiarygodne — aby zrozumieć wpływ sztucznej inteligencji na produktywność, potrzebujemy eksperymentów w środowisku naturalnym.