Викладачі права з Університету Міннесоти використали чат-бот ChatGPT для проходження випускних іспитів з чотирьох курсів. У результаті алгоритм зміг набрати необхідну кількість балів для здачі всіх, хоч його результати не можна назвати блискучими, повідомляє Engadget.
У цьому випадку середня оцінка ChatGPT склала С+. А професор бізнесу зі Школи Вортон Університету Пенсільванії Крістіан Тервіш з'ясував, що чат-бот може скласти іспит з менеджменту бізнесу з оцінкою В - В-.
Вчені, які проводили це дослідження, наголосили, що успіхи ChatGPT не можна назвати постійними. Він добре справляється з «основними правовими нормами» та узагальнює доктрини, але провалився у визначенні питань, що стосуються справ. За словами Тервіша, чат-бот показав «приголомшливі» результати при роботі з простими питаннями управління операціями та аналізу процесів, але не міг впоратися зі складними питаннями процесу. Крім того, він робив помилки у математичних обчисленнях на рівні 6-го класу.
Водночас, професори зазначають, що не адаптували чат-бот до конкретних питань та курсів. Це означає, що якщо студенти захочуть використовувати ChatGPT для підказок на іспиті, вони зможуть покращити його результати. За словами Тервіша, бот може змінювати свої відповіді після підказок людини. ChatGPT може генерувати грубі відповіді, а студенти потім трохи вдосконалювати їх та видавати за власні.
Обидві групи вчених зазначають, що університети та школи повинні обмежити використання технологій, щоб запобігти списуванню за допомогою ChatGPT.
Нагадаємо, раніше студент коледжу з США створив додаток, покликаний допомогти зрозуміти, чи був написаний текст людиною або новим чат-ботом ChatGPT компанії OpenAI. Едвард Тіан назвав свою програму GPTZero.