Преподаватели права из Университета Миннесоты использовали чат-бот ChatGPT для прохождения выпускных экзаменов по четырем курсам. В результате алгоритм смог набрать необходимое количество баллов для сдачи всех, хоть его результаты нельзя назвать блестящими, сообщает Engadget.
Отмечается, что в этом случае средняя оценка ChatGPT составила С+. А профессор бизнеса из Школы Уортон Университета Пенсильвании Кристиан Тервиш выяснил, что чат-бот может сдать экзамен по менеджменту бизнеса с оценкой В – В-.
Ученые, которые проводили это исследование, отметили, что успехи ChatGPT нельзя назвать постоянными. Он хорошо справляется с «основными правовыми нормами» и обобщает доктрины, но провалился в определении вопросов, которые касаются дел. По словам Тервиша, чат-бот показал «потрясающие» результаты при работе с простыми вопросами управления операциями и анализа процессов, но не мог справиться с сложными вопросами процесса. Кроме того, он делал ошибки в математических вычислениях на уровне 6-го класса.
Вместе с тем, профессора отмечают, что не адаптировали чат-бот к конкретным вопросам и курсам. Это значит, что если студенты захотят использовать ChatGPT для подсказок на экзамене, они смогут улучшить его результаты. По словам Тервиша, бот может менять свои ответы после подсказок человека. ChatGPT может генерировать грубые ответы, а студенты затем немного совершенствовать их и выдавать за собственные.
Обе группы ученых отмечают, что университеты и школы должны ограничить использование технологий, чтобы предотвратить списывание с помощью ChatGPT.
Напомним, ранее студент колледжа из США создал приложение, призванное помочь понять, был написан текст человеком или новым чат-ботом ChatGPT компании OpenAI. Эдвард Тиан назвал свое приложение GPTZero.