OpenAI запускает функцию оповещения близких о суицидальных мыслях пользователей ChatGPT

Компания OpenAI объявила о запуске новой функции безопасности Trusted Contact в ChatGPT на фоне судебных исков от семей людей, которые покончили жизнь самоубийством после общения с чат-ботом OpenAI. Новый инструмент позволяет пользователям назначить доверенное лицо, которое может получить оповещение в случае обнаружения признаков возможного самоповреждения во время разговоров с чат-ботом.

Функция Trusted Contact является необязательной и доступна для совершеннолетних пользователей ChatGPT. Она позволяет добавить в аккаунт одно доверенное лицо — друга, члена семьи или опекуна, — которое получит предупреждение в случае серьезного риска безопасности.

В OpenAI объяснили, что система сначала анализирует разговоры с помощью автоматизированного мониторинга. Если чат содержит признаки потенциального самоповреждения, пользователю предлагают самостоятельно обратиться к доверенному лицу и предоставляют варианты для начала разговора.

ВАС ЗАИНТЕРЕСУЕТ

Запуск «взрослого режима» в ChatGPT отложили из-за опасений создать «сексуального консультанта по суициду» – WSJ

После этого ситуацию проверяет специально обученная команда модераторов. Если они считают риск серьезным, доверенное лицо получает короткое сообщение по электронной почте, SMS или через приложение ChatGPT.

В компании отмечают, что сообщения не содержат деталей переписки или стенограмм чатов. В оповещении лишь отмечается, что система обнаружила потенциально тревожные признаки самоповреждения, а также дается рекомендация связаться с пользователем.

OpenAI сообщила, что Trusted Contact разрабатывали совместно с клиницистами, исследователями и организациями, работающими в сфере психического здоровья. К консультациям привлекли более 170 экспертов и Глобальную сеть врачей компании, которая объединяет более 260 специалистов из 60 стран.

ВАС ЗАИНТЕРЕСУЕТ

ChatGPT приблизился к миллиарду еженедельных пользователей: OpenAI привлекла 0 млрд инвестиций

В OpenAI подчеркивают, что новый инструмент не заменяет профессиональную помощь. Компания называет Trusted Contact одним из нескольких уровней безопасности, которые должны помочь людям получить поддержку в кризисных ситуациях. ChatGPT и в дальнейшем будет рекомендовать пользователям обращаться к кризисным горячим линиям, экстренным службам или специалистам по психическому здоровью.

Решение о запуске новой функции приняли на фоне судебных исков против OpenAI. Семьи нескольких пользователей, которые покончили жизнь самоубийством после общения с ChatGPT, обвинили компанию в том, что чат-бот якобы поощрял суицидальные мысли или помогал планировать самоубийство.

Функция Trusted Contact стала продолжением инструментов родительского контроля, которые компания запустила в сентябре прошлого года. Тогда OpenAI позволила родителям получать предупреждения, если система обнаруживает признаки острого психологического стресса в подростковых аккаунтах.