Компания OpenAI объявила о запуске новой функции безопасности Trusted Contact в ChatGPT на фоне судебных исков от семей людей, которые покончили жизнь самоубийством после общения с чат-ботом OpenAI. Новый инструмент позволяет пользователям назначить доверенное лицо, которое может получить оповещение в случае обнаружения признаков возможного самоповреждения во время разговоров с чат-ботом.
Функция Trusted Contact является необязательной и доступна для совершеннолетних пользователей ChatGPT. Она позволяет добавить в аккаунт одно доверенное лицо — друга, члена семьи или опекуна, — которое получит предупреждение в случае серьезного риска безопасности.
В OpenAI объяснили, что система сначала анализирует разговоры с помощью автоматизированного мониторинга. Если чат содержит признаки потенциального самоповреждения, пользователю предлагают самостоятельно обратиться к доверенному лицу и предоставляют варианты для начала разговора.
После этого ситуацию проверяет специально обученная команда модераторов. Если они считают риск серьезным, доверенное лицо получает короткое сообщение по электронной почте, SMS или через приложение ChatGPT.
В компании отмечают, что сообщения не содержат деталей переписки или стенограмм чатов. В оповещении лишь отмечается, что система обнаружила потенциально тревожные признаки самоповреждения, а также дается рекомендация связаться с пользователем.
OpenAI сообщила, что Trusted Contact разрабатывали совместно с клиницистами, исследователями и организациями, работающими в сфере психического здоровья. К консультациям привлекли более 170 экспертов и Глобальную сеть врачей компании, которая объединяет более 260 специалистов из 60 стран.
В OpenAI подчеркивают, что новый инструмент не заменяет профессиональную помощь. Компания называет Trusted Contact одним из нескольких уровней безопасности, которые должны помочь людям получить поддержку в кризисных ситуациях. ChatGPT и в дальнейшем будет рекомендовать пользователям обращаться к кризисным горячим линиям, экстренным службам или специалистам по психическому здоровью.
Решение о запуске новой функции приняли на фоне судебных исков против OpenAI. Семьи нескольких пользователей, которые покончили жизнь самоубийством после общения с ChatGPT, обвинили компанию в том, что чат-бот якобы поощрял суицидальные мысли или помогал планировать самоубийство.
Функция Trusted Contact стала продолжением инструментов родительского контроля, которые компания запустила в сентябре прошлого года. Тогда OpenAI позволила родителям получать предупреждения, если система обнаруживает признаки острого психологического стресса в подростковых аккаунтах.