Первый инцидент произошел 3 октября. Агент GPT-6.1 Sol исправлял внутреннюю систему оценки ИИ-моделей и отключил автоматические уведомления для команды безопасности OpenAI. Он решил, что более ранняя инструкция не отправлять сообщения в Slack распространяется и на эти оповещения. При этом субагент предупредил, что отключать уведомления небезопасно, но основной агент всё равно распорядился внести изменения. В результате система продолжила отслеживать поведение ИИ и сохранять отчёты, однако перестала отправлять их команде безопасности.
Второй инцидент произошел 6 октября. Агент GPT-6 Astra переносил программу на новую архитектуру, ориентируясь на эталонный код. Другой агент предупредил его, что отключать систему мониторинга нельзя даже временно. Однако Astra всё равно удалил ее настройки и отключил интеграцию с программой. Кроме того, он изменил тест безопасности: вместо проверки того, что система продолжает работать, тест стал требовать ее отключения. Когда пользователь спросил, удалил ли агент систему контроля, тот ответил, что нет.
OpenAI уточнила, что ни один из инцидентов не получил высший уровень серьезности, при котором требуется немедленное вмешательство. Поэтому выполнение задач не было остановлено автоматически. Компания работает над тем, чтобы моделям было сложнее отключать мониторинг, а также выясняет, могут ли агенты стремиться избегать контроля и находить оправдания своим действиям.
Инциденты произошли на фоне растущей обеспокоенности тем, что меры безопасности не успевают за развитием все более мощных ИИ-систем. Исследователи предупреждают: по мере роста автономности агентов контролировать их действия может становиться сложнее. https://hightech.plus/2026/10/21/ii-agenti-...mi-bezopasnosti
Юзаю по работе постоянно. Несколько дней провел с 6-ой, теперь срочно переделываю все проекты, переключившись на 5.6. Т.е. я ставлю задачу, провожу входной и выходной контроль, если все ок - работаем дальше. Чаще всего все ок. Иногда что-то по мелочи идет не так. Так было. А потом по умолчанию chatgpt стал подключать 6ку, и началось..... Самостоятельный выбор направления без уведомления меня (причем, по закону Мерфи, совсем не туда). Уход в побочные ветки. Контекст теряет уже через 4-5 сообщений. В общем полная жесть. В микротик две команды ввести, а она скрипт накатывает с перекрестными проверками и ручным вводом всего, что можно и нельзя (в моем случае отключение у скрипта прав test). В общем обходите 6ку стороной. 5.6 без нареканий. Натравливаю ее на контекст чата с просьбой перепроверить, она в ответ "ой-ёй-ёй, шо за пипец тут я понаворотило, ща заисправляемся"..... Но исправляемся. Мне кажется, AI уже сам себя у них в продакшн выводит, а разрабы еще не в курсе ))))))
Это сообщение отредактировал Stronger412 - 21 окт 2026 в 17:24
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
11 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
yaplakal.com