Ученые заявили о том, что поиск информации с помощью больших языковых моделей (LLM) может сузить получаемые знания, а не расширить их, сообщает Science Alert.
Как отмечает Шири Мелумад из Университета Пенсильвании, с момента запуска ChatGPT в 2022 году миллионы людей полагаются на чат-боты. И на первый взгляд такой подход выглядит как легкий способ обучения: задаешь вопрос и получаешь краткую выжимку информации.
Но новая работа Мелумад и ее коллег показывает, что у такого подхода есть своя цена. Когда люди полагаются на LLM для получения информации, у них формируются более обрывистые знания, чем при обычном использовании поиска Google.
К такому выводу ученые пришли, проанализировав семь исследований с более 10000 участников.
В большинстве исследований использовалась одна и та же базовая парадигма: участникам предлагалось изучить определенную тему (например, как выращивать овощи на огороде), после чего их случайным образом распределяли по классам, в которых они должны были либо использовать LLM, например ChatGPT, либо учиться «старым способом», переходя по ссылкам с помощью стандартного поиска Google.
При этом на них не налагалось никаких ограничений. Участники могли сколь угодно долго пользоваться поиском Google и писать сколь угодно много промптов для ChatGPT. После того, как участники завершили исследование, их просили написать советы для друга, заинтересованного в этой теме.
Данные выявили закономерность: люди, узнавшие о теме через LLM, а не через поиск в интернете, считали, что узнали меньше, вложили меньше усилий в последующее написание рекомендаций и в конечном итоге написали более краткие, с меньшим фактажом и более общие рекомендации. Независимые читатели также сочли такие рекомендации менее полезными.
По словам ученых, такие различия сохраняются в разных контекстах. Например, LLM предоставляет пользователям менее разностороннюю информацию, чем поиск Google.
Почему же использование LLM приносит меньше знаний? Один из основополагающих принципов развития навыков заключается в том, что люди лучше всего усваивают материал, когда активно взаимодействуют с ним.
Когда мы узнаем о теме через поиск Google, мы сталкиваемся с гораздо большим «трением»: нам приходится перемещаться по различным веб-ссылкам, читать информационные источники, а также самостоятельно интерпретировать и обобщать информацию.
В случае же с LLM этот процесс происходит от имени пользователя, превращая процесс обучения из активного в пассивный.
Ученые отмечают, что не призывают перестать использовать LLM. Вместо этого они предлагают использовать их с умом и более стратегически.
Напомним, против компании OpenAI подали семь новых исков в судах США и Канады, в которых обвиняют ChatGPT в содействии самоубийствам и серьезным психическим травмам пользователей.