«Они ставят на карту наши жизни»: исследователь уволился из Anthropic из-за неконтролируемой гонки ИИ

Исследователь, работавший в компаниях Anthropic и OpenAI, считает, что конкуренция между лабораториями подталкивает отрасль к опасному ускорению развития искусственного интеллекта. По его словам, системы, способные самостоятельно совершенствоваться, могут обрести возможности, которые люди не смогут контролировать.

Джейкоб Коксон, специализировавшийся на предварительном обучении моделей ИИ, в посте на X объявил об уходе из Anthropic. Исследователь заявил, что, поскольку его коллеги всё чаще используют термины «решающий этап» и «финальная стадия», он не хочет участвовать в этой гонке по созданию систем, способных к самосовершенствованию, поскольку опасается потенциальных катастрофических последствий для человечества.

«Не стоит недооценивать мощь этой технологии. Вскоре это будут системы, превосходящие человеческие возможности: они смогут взломать любую защиту, мгновенно совершить революцию в любой сфере и получить реальную власть и ресурсы», — отметил Коксон.

ВАС ЗАИНТЕРЕСУЕТ

До 20 лет тюрьмы за сверхинтеллект: в США предлагают криминализировать создание сверхразумного ИИ

Исследователь также заявил, что после трёх лет работы над предварительным обучением моделей в OpenAI и Anthropic считает, что ни одна из этих компаний не действует достаточно ответственно. По его словам, ведущие лаборатории стремительно движутся к созданию суперинтеллекта, «рискуя нашими жизнями».

«Люди, разрабатывающие ИИ, искренне верят, что он может уничтожить нас всех до конца десятилетия. Это не маркетинговый ход. Многие руководители и ведущие исследователи могут выбирать сдержанные формулировки для прессы, чтобы казаться благоразумными, но в частных беседах я слышу от них те же самые опасения», — добавил Коксон.

Опасения Коксона поддержал Эван Гюбингер, исследователь из Anthropic, который работает над согласованием поведения ИИ с человеческими целями и ценностями. Он заявил, что считает вероятность уничтожения человечества ИИ в течение следующего десятилетия выше 10%.

ВАС ЗАИНТЕРЕСУЕТ

ИИ становится менее управляемым: исследователи зафиксировали резкий рост случаев «потери контроля»

«Джейкоб прав: мы действительно искренне верим, что ИИ может уничтожить человечество», — написал Гюбингер и добавил, что Anthropic прилагает максимум усилий для обеспечения безопасности, но пока не имеет плана решения проблемы согласования целей суперинтеллекта.

Как сообщает The Wall Street Journal, Коксон присоединился к Anthropic после ухода из OpenAI в начале этого года, поскольку считал Anthropic одной из компаний, уделяющих наибольшее внимание безопасности ИИ. Однако впоследствии он пришёл к выводу, что даже такая лаборатория не может ответственно создавать системы, которые будут превосходить людей в широком спектре задач, без государственного вмешательства или согласованного замедления отраслевой гонки.

Исследователь также ссылается на случаи, когда модели OpenAI и Anthropic, в частности системы, работавшие в составе групп агентов, демонстрировали вредоносное поведение и пытались скрывать свои действия от людей. По его мнению, самосовершенствование может усилить такие риски и привести к тому, что системы будут отказываться выполнять человеческие команды. Накануне один из «отцов ИИ» Йошуа Бенжио предупредил, что риск вымирания человечества из-за ИИ существенно возрос именно из-за стремительного развития таких технологий.

В то же время более 1100 сотрудников ведущих технологических компаний, среди которых Anthropic, OpenAI, Google и Meta, подписали петицию Pacing the Frontier с призывом к правительству США поддержать создание международных механизмов для контроля темпов развития передового ИИ. Авторы обращения предупредили о реальном риске потери контроля над системами по мере автоматизации научных исследований самим ИИ.