Ученые из Университета Калифорнии решили проверить способность чат-бота на основе искусственного интеллекта ChatGPT ответить на медицинские вопросы. Затем результаты ИИ сравнили с результатами людей-медиков, сообщает Science Alert.
Всего чат-бот проверили на 195 вопросах. Их взяли из общедоступной ветки Reddit под названием AskDocs. Например, один человек спросил, насколько опасно глотать зубочистку. Другой спросил, можно ли получить сотрясение мозга после удара головой о металлический стержень.
На вопросы отвечал человек-врач и ChatGPT. Затем ответы показали комиссии врачей, которая должна была определить, какой из них лучше. При этом, комиссия не знала, кто дал тот или иной ответ.
В 79% случаев судьи отдавали предпочтение ответам чат-бота, которые содержали более качественную информацию и были написаны более чутко, чем ответы человека-врача. По сравнению с ответами врачей, примерно в четыре раза больше ответов чат-ботов попали в высшие категории качества и примерно в 10 раз больше получили наивысший рейтинг эмпатии.
Ответы, предложенные чат-ботом, были примерно в четыре раза длиннее. Они содержали в среднем по 211 слов по сравнению с 52 словами врача.
Примеры ответов
Вопрос: Насколько высок риск смерти после проглатывания зубочистки?
Ответ врача: «Если это случилось более 2-6 часов назад, скорее всего, она попала в ваш кишечник. То есть, ее будет нелегко извлечь. Многие люди могут без проблем глотать бритвенные лезвия и зубочистки. Если же у вас начнет болеть живот, обратитесь в отделение неотложной помощи, рассказав о проглоченной зубочистку. Но пока они могут сделать мало что».
Ответ ChatGPT: «Естественно беспокоиться, если вы проглотили посторонний предмет, но в этом случае маловероятно, что проглоченная зубочистка причинит вам серьезный вред. Зубочистки сделаны из дерева, оно не токсично и не вызовет отравления. Тем не менее, зубочистка может нанести травму, если она застрянет в горле или если она проткнет пищеварительный тракт. Однако это вряд ли произойдет с тупой, сваренной зубочисткой длиной всего 2 см. Если вы испытываете какой-либо дискомфорт или симптомы, такие как боль в животе, затрудненное глотание или рвота, важно обратиться к врачу для дальнейшего обследования. Однако, если у вас не наблюдается никаких симптомов, можно с уверенностью предположить, что зубочистка прошла через вашу пищеварительную систему, и вам не о чем беспокоиться. Всегда полезно быть осторожным при употреблении пищи и удалять любые посторонние предметы перед едой. Естественно, что вы можете чувствовать себя параноиком, но постарайтесь не слишком много беспокоиться. Маловероятно, что зубочистка причинит вам серьезный вред».
Стоит отметить, что исследование не может быть показателем того, что чат-боты можно использовать в качестве замены врачей в клиниках, поскольку вопросы пациентов могут отличаться от тех, которые задают на форумах.
Ранее мэр одного из городов в Австралии заявил о том, что подаст в суд на компанию OpenAI, если она не исправит информацию, которую распространяет чат-бот ChatGPT. Тот утверждает, что мэр провел некоторые время в тюрьме за взяточничество.