Anthropic призвала к глобальной паузе в развитии ИИ

Американская Anthropic призвала ведущие ИИ-лаборатории рассмотреть возможность замедления темпов развития этой технологии.

В компании отмечают, что ИИ-системы совершенствуются настолько быстро, что в скором времени, возможно, станут способны улучшать себя без участия человека, и это несет в себе существенные риски для общества.

Anthropic все больше передает процесс разработки ИИ непосредственно самим ИИ-системам, что значительно ускоряет работу, говорится в статье, опубликованной главой Anthropic Institute Мариной Фаваро и сооснователем компании Джеком Кларком.

"Если этот процесс продолжится, то при наличии достаточных вычислительных мощностей он может привести к появлению ИИ-системы, способной самостоятельно проектировать и разрабатывать свою следующую версию. Это называется рекурсивным самосовершенствованием. Мы еще не достигли этого этапа, и рекурсивное самосовершенствование не является неизбежным. Однако оно может наступить гораздо раньше, чем к этому будут готовы большинство общественных институтов", - говорится в статье.

Эксперты отмечают, что в ближайшие годы возможности ИИ-систем существенно возрастут. "ИИ, способный самосовершенствоваться, стал бы важнейшим этапом в развитии технологий и мог бы принести колоссальную пользу человечеству - в науке, здравоохранении и многих других областях", - отмечают авторы статьи.

Однако, по их словам, это также повышает риск того, что люди утратят контроль над ИИ-системами. "Если ИИ-системы смогут полностью создавать своих преемников, то вопросы обеспечения их безопасности, мониторинга и управления их поведением приобретут дополнительную важность", - подчеркивается в статье.

Авторы считают, что "было бы полезно" замедлить развитие ИИ, чтобы выиграть больше времени для осмысления возможных последствий и решения потенциальных проблем.

Anthropic Institute намерен предпринимать шаги для создания механизмов для замедления развития ИИ. При этом в компании отмечают, что для реального замедления развития этой технологии необходимо, чтобы ведущие ИИ-лаборатории в разных странах мира договорились о прекращении разработок на одинаковых условиях. Кроме того, потребуется механизм, который позволит каждой из этих организаций убедиться, что остальные участники действительно соблюдают договоренности и фактически остановили работы.


https://www.interfax.ru/amp/1094505


Размещено через приложение ЯПлакалъ