Мы провели рандомизированное контролируемое исследование, чтобы увидеть, насколько инструменты программирования ИИ ускоряют опытных разработчиков с открытым исходным кодом. Результаты нас удивили: разработчики думали, что они работают на 20% быстрее с инструментами искусственного интеллекта, но на самом деле они были на 19% медленнее, когда у них был доступ к искусственному интеллекту, чем когда его не было.

Мы наняли 16 опытных разработчиков с открытым исходным кодом для работы над 246 реальными задачами в их собственных репозиториях (в среднем 22k+ звезд, 1M+ строк кода). Мы случайным образом распределили каждую задачу: либо разрешить ИИ (обычно Cursor Pro с Клодом 3.5/3.7), либо запретить помощь ИИ.

В начале исследования разработчики прогнозировали, что они ускорятся на 24%. После фактического выполнения работы они подсчитали, что их скорость увеличилась на 20%. Но оказалось, что на самом деле они замедлились на 19%.

Когда ИИ разрешен, разработчики тратят меньше времени на активное кодирование и поиск информации, а вместо этого тратят время на запросы ИИ, ожидание или проверку выходных данных ИИ и бездействие. Мы не находим единой причины для замедления — оно вызвано сочетанием факторов.

Почему мы провели это исследование? Тесты производительности агентов ИИ имеют ограничения — они самодостаточны, используют алгоритмическую оценку и не имеют реального взаимодействия с человеком. Это может затруднить прямой вывод о влиянии на реальный мир. Если мы хотим создать систему раннего предупреждения о том, ускоряются ли исследования и разработки в области ИИ самим ИИ или даже автоматизированы, было бы полезно иметь возможность напрямую измерять это в реальных инженерных испытаниях, а не полагаться на косвенные данные, такие как эталонные тесты, или даже на более зашумленную информацию, такую как анекдоты.

Что мы уносим? 1. Кажется вероятным, что для некоторых важных настроек последние инструменты ИИ не увеличили производительность (а на самом деле могут ее снизить). 2. Самоотчеты об ускорении ненадежны — чтобы понять, как ИИ влияет на производительность, нам нужны эксперименты в дикой природе.