Поддержать
Разработчик искусственного интеллекта Anthropic заявил, что мировые ИИ-лаборатории должны рассмотреть возможность замедления развития мощных систем. В компании считают, что технология приближается к этапу, когда модели смогут самостоятельно совершенствовать себя без участия человека. В Anthropic предупреждают, что такой сценарий может привести к масштабным общественным последствиям, а институты и регуляторы могут оказаться неготовыми к новой реальности, передает The Wall Street Journal.
Приближение к "рекурсивному самосовершенствованию"
Компания Anthropic опубликовала заявление, в котором призвала ведущие лаборатории искусственного интеллекта рассмотреть возможность замедления темпов развития отрасли. Авторы материала — соучредитель компании Джек Кларк и руководитель внутреннего исследовательского института Марина Фаваро — утверждают, что современные ИИ-модели быстро приближаются к порогу так называемого рекурсивного самосовершенствования.
Речь идет о гипотетической ситуации, когда системы искусственного интеллекта смогут улучшать собственные возможности без вмешательства человека. В компании отмечают, что этот момент еще не наступил и не является неизбежным, однако он может наступить раньше, чем большинство государственных и общественных институтов будут к нему готовы.
"Мы считаем, что для мира было бы полезно иметь возможность замедлить или временно приостановить развитие передовых технологий ИИ, чтобы социальные структуры и исследования по согласованию целей успевали за прогрессом технологий", — отметили авторы публикации.
Разработка международного соглашения
В документе предлагается разработать международное соглашение, которое бы позволило координировать возможное замедление развития ИИ и проверять, придерживаются ли участники договоренностей. Anthropic признает, что реализовать такой механизм будет сложно, ведь процесс обучения моделей значительно легче скрыть, чем, например, военную инфраструктуру.
Компания сравнивает будущую систему контроля с международными договорами по ядерному вооружению. В то же время в блоге отмечается, что любая пауза будет иметь смысл только при условии широкой поддержки, поскольку страна или компания, которая продолжит разработку, может получить значительное конкурентное преимущество.
"Такого рода технологии раньше не существовало, но я верю, что это может произойти уже в течение ближайших двух лет, а возможно, и раньше", — заявлял Кларк во время лекции в Оксфордском университете, где также предполагал, что ИИ уже в течение следующих 12 месяцев может помочь людям сделать открытия уровня Нобелевской премии.
План действий Anthropic
Внутренний исследовательский центр Anthropic вместе с внешними экспертами будет изучать и создаст "системы, необходимые для надежного замедления или приостановления работы". В ближайшие месяцы компания проведет обсуждение с политиками и учеными по "рекурсивному самосовершенствованию" технологий.
"Пришло время совместно рассмотреть эти вопросы, и к этому обсуждению следует привлечь людей, которые не работают в компаниях, занимающихся искусственным интеллектом", — отметили авторы публикации.
Критика политики Anthropic
Anthropic в последние годы последовательно позиционирует себя как один из главных сторонников безопасного развития искусственного интеллекта. Однако критики компании утверждают, что ее инициативы могут также помогать сдерживать конкурентов. В частности, неформальный советник президента США Дональда Трампа Дэвид Сакс обвинял руководство Anthropic в продвижении "регуляторного захвата" и предупреждал об ограничении развития моделей с открытым кодом.
Anthropic также конфликтовала с Пентагоном из-за ограничения использования ее ИИ-модели Claude для массовой слежки и создания автономного оружия. После срыва переговоров Министерство обороны США внесло компанию в список рисков для цепи поставок и запретило использование ее технологий.
Скептики считают, что часть заявлений о рисках ИИ может выполнять маркетинговую функцию. В качестве примера они приводят решение компании ограничить доступ к мощной модели кибербезопасности Mythos, одновременно подчеркивая ее высокие возможности.
Параллельно руководители крупнейших компаний в сфере искусственного интеллекта, среди которых генеральный директор Anthropic Дарио Амодей, призвали Конгресс США усилить контроль над заказами синтетической ДНК и РНК, чтобы предотвратить возможное использование ИИ для создания опасных патогенов. Соответствующее письмо подписали СЕО OpenAI Сэм Альтман, руководитель Google DeepMind Демис Хассабис, глава направления искусственного интеллекта Microsoft Мустафа Сулейман и главный директор по вопросам ИИ компании Meta Александр Ван.
Следить в Телеграмме
Войти с помощью Facebook
Войти с помощью Twitter
Войти с помощью Google