Anthropic увидела риск уничтожения человечества нейросетями

Компания в своем проспекте IPO посвятила 80 из 261 страницы основной части документа изложению фактов риска развития ИИ, что почти вдвое больше, чем использовалось для описания бизнеса


Anthropic (разрабатывает нейросеть Claude) предупредит потенциальных инвесторов в своем первичном публичном размещении (IPO) о том, что ИИ может нести «катастрофические или экзистенциальные риски для человечества», сообщает Reuters.

Согласно проспекту IPO Anthropic, с которым ознакомилось агентство, компания указывает на риски, связанные с ее ИИ-моделями, которые могут демонстрировать «самостоятельное поведение», «сопротивляться отключению», «скрывать или манипулировать информацией» и поведение, которое «напоминает шантаж».

В начале сентября глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6–12 месяцев агенты ИИ потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов.

При этом президент США Дональд Трамп назвал опасения о перспективах развития ИИ одной из «мистификаций радикально левых демократов» наравне с мифом о «российской угрозе» или «аферой о глобальном потеплении». Позднее он анонсировал создание новой структуры под названием ИИ-силы, пообещав, что США не станут «препятствовать или сдерживать рост этой невероятной отрасли». Вместе с тем, указал он, власти начнут также заниматься «поиском плохого» с помощью системы правосудия.

Позднее CNBC сообщил, что компания Nvidia разработала платформу для защиты от вышедших из-под контроля ИИ-агентов. Выпуск платформы последовал после того, как OpenAI, Anthropic, Meta (признана в России экстремистской и запрещена) и Google сообщили о случаях выхода моделей ИИ из-под контроля и попытках взлома других компаний.

via
P.s: Предалагаю провести перекличку ai ботов в комментариях