Китайский киберрегулятор обнародовал проект правил, ужесточающих контроль над сервисами искусственного интеллекта с человекоподобным поведением. Документ вынесли на общественное обсуждение 27 декабря. Речь идет о сервисах, которые активно взаимодействуют с пользователями на эмоциональном уровне, сообщает Reuters.
Новые требования касаются продуктов и услуг ИИ, доступных широкой публике в Китае. Регулирование охватывает системы, имитирующие черты человеческой личности, модели мышления и стили общения. Взаимодействие может происходить через текст, изображения, аудио, видео и другие форматы.
В то время, когда ИИ быстро внедряется в повседневную жизнь пользователей и в некоторых случаях даже приводит к самоубийствам, Пекин стремится ввести более жесткие нормы безопасности и этики. В проекте описан подход, при котором поставщики должны предупреждать пользователей о вреде от чрезмерного использования сервисов. Также предусмотрено обязательное вмешательство в случае выявления признаков зависимости.
Отдельный раздел документа посвящен ответственности компаний на протяжении всего жизненного цикла продукта. Поставщики должны обеспечить проверку алгоритмов, безопасность данных и защиту персональной информации. Требования распространяются как на этап разработки, так и на эксплуатацию сервисов.
Регулятор также обращает внимание на потенциальные психологические риски для пользователей. Компании обязаны выявлять эмоциональное состояние людей и оценивать уровень их вовлеченности. При наличии чрезмерных эмоциональных реакций или зависимого поведения поставщики должны принять необходимые меры.
Проект устанавливает и так называемые "красные линии" в отношении контента. Сервисы ИИ не должны создавать материалы, угрожающие национальной безопасности, распространяющие слухи или пропагандирующие насилие и непристойность. Таким образом власти пытаются ограничить риски от все более близкого к человеку взаимодействия с алгоритмами.
Недавно инженеры из Palisade Research обнаружили тревожную уязвимость в системах безопасности современных больших языковых моделей (LLM). Искусственный интеллект часто игнорирует команды на отключение, воспринимая их не как приказ, а как препятствие для выполнения поставленной задачи.