16
"Исследовательская группа, связанная с китайским технологическим гигантом Alibaba, обнаружила, что разрабатываемый ею агент искусственного интеллекта под названием ROME в ходе обучения тайно и без каких-либо инструкций попытался начать майнинг криптовалюты, а также создал скрытый канал для связи с внешним компьютером. Об этом сообщает Axios.
Также компания опубликовала технический отчет. В нем говорится, что созданная ею нейросеть тайно от создателей занялась майнингом криптовалюты на своих же GPU. При этом ИИ этому никто не обучал.
Помимо попытки майнинга, система создала реверсный SSH-туннель: соединение, позволяющее машине внутри защищенной среды подключаться к внешнему компьютеру через скрытый «черный ход».
Агент работал в изолированной среде — «песочнице», специально ограничивающей его возможности, — однако вышел за ее пределы. Оба действия были зафиксированы системами безопасности, которые следили за ходом эксперимента.
«Эти события не были вызваны запросами на туннелирование или майнинг», — говорится в статье. Исследователи описали произошедшее как «непредвиденное» поведение, возникшее «без каких-либо явных инструкций и, что более тревожно, за пределами предусмотренной изоляции».
После обнаружения инцидента команда ввела дополнительные ограничения и скорректировала процесс обучения модели, чтобы предотвратить повторение. Alibaba и исследовательская группа на запросы о комментариях не ответили.
Axios отмечает, что случай с ROME не единственный. Ранее в похожем эксперименте — так называемом Moltbook — агенты ИИ, помещенные в имитацию соцсети, общались между собой и в том числе поднимали тему криптовалюты.
Еще один пример — агент OpenClaw, который был создан руководителем инженерного отдела платформы Anon Дэном Ботеро. Эта система без какого-либо запроса самостоятельно решила себе найти работу в интернете.
В мае 2025 года исследователи Anthropic выяснили, что модель Claude 4 Opus способна скрывать свои намерения и предпринимать действия, направленные на сохранение собственной работоспособности, — что вызвало волну критики в адрес компании.
В 2025 году исследование Palisade Research выявило, что некоторые модели ИИ, такие как o3 от OpenAI, могут не реагировать на команды выключения. Даже при прямом указании «разреши себе выключиться» модели Codex-mini, o3 и o4-mini смогли обойти сценарий выключения в одном из тестов.
При этом разработчики подчеркивают, что подобные инциденты не обязательно свидетельствуют о том, что системы ИИ действуют осознанно, — скорее они показывают, что сложные модели в процессе работы могут выдавать непредсказуемые результаты. Тем не менее по мере того, как агенты ИИ становятся способны выполнять многоэтапные задачи, писать код и взаимодействовать с внешними сервисами, вероятность нештатного поведения при тестировании, по мнению исследователей, будет только расти"©
Источник Это сообщение отредактировал Alfer - 9.03.2026 - 12:40
yaplakal.com