В четверг компания Anthropic сообщила, что заблокировала ученых, которые использовали ее модели искусственного интеллекта Claude «способами, которые могли способствовать разработке биологического оружия», сообщает CBS News.
Об этом компания рассказала в обширном отчете, где также описала другие случаи вредоносного использования ИИ, связанные со слежкой, мошенничеством, разработкой обычных вооружений и пропагандой.
По словам Anthropic, приведенные в отчете случаи являются примерами «наиболее заметной и новой угрожающей активности», которую компания выявила на данный момент. Среди субъектов таких угроз были преступники, вероятно поддерживаемые государствами группировки, поставщики шпионского программного обеспечения и государственные пропагандистские структуры.
Anthropic описала пять случаев деятельности, которая потенциально могла способствовать разработке биологического оружия. Компания назвала злоупотребление ИИ в биологической сфере «одним из самых серьезных рисков передовых моделей искусственного интеллекта».
В то же время в компании подчеркнули, что выявленные случаи «свидетельствуют о наличии соответствующих возможностей» у моделей ИИ, но «не могут конкретно продемонстрировать, что такие возможности когда-либо будут использованы для создания биологического оружия в реальном мире».
Люди, причастные к этим случаям, являются профессиональными учёными. Anthropic решила не раскрывать их имена.
Компания также подчеркнула, что не может утверждать, что эти люди намеревались причинить вред.
«Когда мы выявили и расследовали эти случаи, мы заблокировали учетные записи пользователей и учли результаты расследований в системах защиты наших передовых моделей, механизмах контроля и процессах анализа угроз, чтобы в будущем лучше предотвращать такую деятельность, выявлять и пресекать ее», — говорится в отчете.
Более новые и совершенные модели, такие как Claude Fable 5, обладают более мощными механизмами защиты по сравнению с предыдущими моделями и ограничивают доступ к «широкому спектру запросов, связанных с биологическими исследованиями двойного назначения», отмечает Anthropic.
Компания подчеркивает, что возможности ИИ в сфере биологии могут использоваться как в полезных, так и в вредоносных целях.
«Та же самая информация, которую можно использовать для разработки биологического оружия, может также применяться, например, для создания вакцины или лекарства от болезни», — пояснили в Anthropic.
Пропаганда и слежка
Anthropic также сообщила, что обнаружила и удалила учетные записи, которые использовали Claude для проведения операций влияния с целью формирования общественного мнения. Среди них были три аккаунта, связанные с иранскими государственными структурами.
По данным компании, в каждом из этих случаев операцию проводило лицо, работавшее в иранском государственном пропагандистском учреждении или от его имени.
Claude использовали для создания контента, маскировки публикаций под материалы независимых новостных источников и распространения контента в социальных сетях, в частности X, Instagram и TikTok.
Один из связанных с Ираном субъектов угроз использовал Claude для разработки рекомендаций по выбору целей среди военно-морских сил США в регионе, сообщила Anthropic.
Тот же аккаунт использовал ИИ для создания программного обеспечения для внутренней платформы массовой слежки, предназначенной для иранских государственных систем.
Claude также использовали для создания и проведения операций слежения субъекты в Китае и Западной Африке, а в некоторых случаях — для определения целей.
Anthropic заявила, что выявила случаи, когда искусственный интеллект фактически использовался вместо команды инженеров.
В Китае три аккаунта, связанные с муниципальными службами безопасности КНР, использовали Claude для слежки и транснациональных репрессий. Среди них было муниципальное ведомство, которое составляло профили активистов и организаций за рубежом.