Близько 50 ліцензованих лікарів взяли участь у дослідженні, мета якого була перевірити, чи покращив ChatGPT їхні діагнози. Як виявилося, лікарі, що використовували ChatGPT-4 разом із звичайними ресурсами, показали лише трохи кращі результати, ніж лікарі, які не мали доступу до ШІ. Притому, на подив дослідників, ChatGPT в режимі роботи окремо від інших засобів перевершив лікарів. Так, ChatGPT-4 набрав у середньому 90 відсотків під час діагностики захворювання на основі звіту про випадок і пояснення причин. Лікарі, випадково обрані для застосування чат-боту, отримали середній бал 76 відсотків. Ті, кто взагалі обходився без використання чат-боту, мали середній бал 74 відсотки.
Дослідження показало більше чудову продуктивність чат-бота. Але одночасно проявило інколи непохитну віру лікарів у діагноз, який вони поставили, навіть якщо чат-бот потенційно пропонує інший.
Також дослідження показало, що хоча лікарі і працюють з інструментами штучного інтелекту, мало хто знає, як правильно та в повну силу використовувати можливості чат-ботів. У результаті їм не вдалося використати здатність систем ШІ вирішувати складні діагностичні проблеми та пропонувати пояснення їх діагнозів. Притому результати були подібними в підгрупах з різним рівнем підготовки та досвідом роботи з чат-ботом. Це говорить про те, що сам по собі доступ до ШІ не покращить в значній мірі загальну діагностичну аргументацію лікаря на практиці.
