Як повідомляє звіт Devographics The 2025 State of Web Dev AI, майже сім з десяти опитаних розробників використовують інструменти штучного інтелекту для написання або доопрацювання коду щотижня. Однак багато з них мають негативний досвід роботи з такими системами.

Користувачі Claude, Supermaven і Cursor набагато частіше говорять про позитивний досвід, ніж користувачі інших інструментів ШІ для розробників. Користувачі Gemini, JetBrains AI та Llama набагато рідше повідомляють про позитивний досвід роботи з цими технологіями.

Звіт ґрунтується на більш ніж 4000 відповідях, зібраних у лютому та березні. Респондентами були в основному веб-розробники, які раніше взяли участь в опитуваннях JavaScript, React та інших тем, проведених командою Devographics.

Учасникам опитування було задано низку відкритих питань про больові точки, пов'язані з використанням різних типів ШІ для розробки. Різні види проблем були визначені за допомогою ключових слів як при автоматизованій, так і при ручній обробці даних. Найчастіше згадувалися галюцинації та неточності при використанні моделей ШІ та асистентів з кодування. Ось дві релевантні цитати:

• «Галюцинації — навіть найкращим моделям потрібно трохи контролю, оскільки вони можуть бути надмірно впевнені у своїй правоті».

• «Copilot постійно вклинювався в мій потік, причому в 95% випадків це були неправильні пропозиції».

Проблеми, пов'язані з контекстом та обмеженнями пам'яті, найчастіше згадувалися учасниками опитування, які використовують IDE або редактори, орієнтовані на ШІ. Ця проблема зайняла друге місце як для моделей, так і для помічників з кодування. Також було висловлено скарги на нав'язливі пропозиції під час використання як асистентів з кодування, і IDE.

«Налаштування контексту. Після першої чи другої підказки будь-яка модель ШІ дуже важко коригується, коли ви уточнюєте чи встановлюєте додаткові параметри. Вона починає все більше і більше помилятися при кожній відповіді, перетворюючи всю дискусію на чистий шум, який у якийсь момент просто неможливо виправити».

«Немає глибокої інтеграції з класичними функціями рефакторингу. Перейменування файлу повинно приводити до перевірки всіх операторів імпорту. Те саме стосується переміщення файлів. Проте агенти з кодування навіть не знали про такі оновлення контексту, якщо я робив їх вручну».

«Ці помічники часто допомагають із завданнями надто агресивно, і це постійне нав'язування різних підходів та ідей під час роботи неймовірно відволікає».

«Втрата контексту – найбільша проблема. Зараз у Cursor це відбувається рідко, але коли це відбувається, це дуже дратує. ChatGPT у браузері просто втрачає цілі фрагменти розмов, часто в середині розмови. Термінал Warp – найгірший варіант: один випадковий бекспейс або Ctrl-C – і ви втратили 30 хвилин листування».

Низька якість − найпоширеніша проблема при використанні цих інструментів для створення коду. Наприклад, один з респондентів зазначив, що всі генератори коду ШІ створюють велику купу коду, що не підтримується і не тестується, який може працювати тільки в той момент, коли він видається, для конкретної інтерпретації, яка була у ШІ в той момент. Притому ШІ не генерують код, який був би хоч віддалено близьким до того, що можна було б відправити у виробництво.