Блокує навіть аналіз коду: Anthropic критикують через обмеження ШІ Fable

Нова модель штучного інтелекту Fable від компанії Anthropic, призначена для безпечної роботи у сфері кібербезпеки, викликала невдоволення серед дослідників галузі. Фахівці стверджують, що встановлені компанією обмеження спрацьовують занадто часто та блокують навіть нешкідливі запити, передає TechCrunch.

“(Fable) відхиляє будь-які запити, які хоч якось пов’язані з кібербезпекою. Навіть такі нешкідливі завдання, як читання допису в блозі”, — написала в соцмережі X дослідниця в галузі безпеки, яка працює в IBM X-Force, Валентина “Чомпі” Пальміотті.

Якщо система вважає запит потенційно ризикованим, чат автоматично призупиняється. У такому випадку користувач отримує повідомлення про те, що механізми безпеки виявили теми, пов’язані з кібербезпекою або біологією.

ВАС ЗАЦІКАВИТЬ

Anthropic обійшла OpenAI та стала найдорожчим ШІ-стартапом у світі

Обмеження запровадили для зниження ризику використання моделі у розробці шкідливого програмного забезпечення чи компрометації систем. Деякі біологічні теми блокуються через побоювання щодо можливого використання ШІ для створення біологічної зброї. Водночас один із фахівців у сфері кібербезпеки написав у соцмережі X, що обмеження Fable спрацьовують навіть під час запиту на звичайний огляд програмного коду.

Ветеран галузі кібербезпеки Метт Суїче підтвердив, що прохання написати безпечний код також може бути помилково класифіковане як діяльність у сфері кібербезпеки, через що користувача автоматично переводять на модель Claude Opus 4.8. За словами Суїче, система, ймовірно, значною мірою орієнтується на ключові слова, через що обмеження можуть спрацьовувати на будь-які терміни, пов’язані з лексикою кібербезпеки.

“Але це зрозуміло, оскільки ми все ще перебуваємо на початковому етапі, і вони все ще адаптують свої захисні механізми. Я впевнений, що з часом вони будуть розвиватися, оскільки Anthropic та інші передові компанії-розробники моделей будуть більш тісно співпрацювати з нинішнім новим поколінням компаній з кібербезпеки”, — додав експерт, який нині працює в стартапі з кібербезпеки ШІ Tolmo.

Спеціалізована модель кібербезпеки Mythos, на базі якої створено Fable, Anthropic представила у квітні в межах програми Project Glasswing. Спочатку для захисту критично важливого програмного забезпечення й інфраструктури доступ до неї отримала обмежена кількість компаній та організацій. Як пише TechCrunch, минулого тижня компанія розширила програму на сотні організацій у 15 країнах.