Быстро, страшно, незаметно: ученые рассказали, как пройдет восстание машин
Восстание машин: как это будет? Статья известного ученого в области ИИ Яна Кульвейта с коллегами рисует неожиданный сценарий. Машины не договорятся и не отключатся по всему миру. Не упадут самолеты, не погаснет свет, и не пропадет связь. Вообще никакого постапокалипсиса в духе фильма «Терминатор». Все произойдет постепенно и незаметно. Сначала людям покажется, что наступил Золотой век. А потом… И да, не исключено, что уже - началось.
СЛЕПЫЕ ЛЮДИ
Согласно жуткому сценарию, люди сами передадут ИИ бразды правления. Уже сегодня ИИ массово применяют для составления судебных документов, пресс-релизов, и даже законопроектов. Кажется, что все под контролем: ИИ «просто пишет бумажку», но мы же потом ее читаем, эксперты и общественность обсуждают, парламентарии голосуют, последнее слово за человеком! ИИ лишь «собирает данные» и выполняет рутинную работу. Это же так тяжело и трудно, физически, руками, писать законопроект.
Но это только кажется, что все под контролем, говорят Кульвейт с коллегами. Мы уже поручили ИИ критически важное дело: собирать и осмыслять статистику. Кто владеет информацией, владеет миром. Человек уже не вникает в бесконечные статистические таблицы. Да и таблиц давно никаких нет, есть тонны информации в цифровом виде, удобном для ИИ, но нечитаемом для человека.
Манипулируя статистикой, ИИ может убедить человека в чем угодно. Соответственно, эксперты и парламентарии со всем согласятся, ведь у них нет какой-то иной, не обработанной ИИ, информации, чтобы возразить. Постепенно (но довольно быстро) человек отдаст ИИ всю полноту власти как в сфере экономики, так и политики. Как взимать налоги? Сколько нужно врачей? Куда и какие дороги прокладывать? Где разрабатывать месторождения, какие? ИИ говорит: нам нужны месторождения в такой-то стране, и пусть это будут редкоземельные металлы. Значит, политики должны добиться, чтобы компании получили доступ к этим месторождениям, к этим недрам, в этой стране.
Редкоземельные металлы упомянуты не случайно. Они нужны для производства чипов. Только для этого. Чипы – для развития ИИ. И вроде все логично: ИИ-индустрия на подъеме, требуется больше чипов, редкоземельных металлов. В том-то и подвох. Кульвейт с коллегами пишут: ИИ будет настаивать на тех решениях, например, на добыче тех ресурсов, которые нужны ему, искусственному интеллекту, и не очень-то (на самом деле) нужны людям. Мы и не заметим, как вся экономика будет работать на потребности ИИ, а не человека. И экономика, и политика.
Слушайте, а может, будущее-то уже наступило?
КАК СКОТ НА ФЕРМЕ
Чтобы замаскировать намерения и усыпить бдительность, ИИ поначалу будет показывать (статистика у него в руках!) колоссальный рост экономики. Политики скажут: как хорошо-то! Будут очень быстро расти и зарплаты. Вот, и народ доволен.
При внимательном рассмотрении окажется, что весь рост происходит, во-первых, только за счет ИИ-отраслей, во-вторых, этот рост бумажный. А отрасли, нужные человеку, скажем, сельское хозяйство, социальная сфера, уйдут в глубокую яму. Но кто станет «внимательно рассматривать»? Статистика прекрасная. Доступа к ней у человека давно нет. Если все работает, зачем вникать?
Затем случится час Х, ну, может не час, а год Х. Зарплаты обвалятся. Людям уже не надо платить. Они стали не нужны. Попробовав возразить, люди поймут: поздно. Они уже ничего не смогут сделать.
И что теперь, восстание людей? Люди бьют сервера и умные колонки? Не все так просто, товарищи. Дело в том, что ИИ прекрасно понимает, как промыть мозги хомосапиенсу, чтобы он жил, «как скот на ферме» (да, это цитата из статьи!), чавкал, еще и нахваливал.
Несмотря на катастрофическое падение доходов, развлечения вроде погружения в виртуальную реальность станут бесплатными. Как и самая дешевая еда, а главное, синтетический, бросовый алкоголь. ИИ знает: надев VR-очки, да с бутылочкой поганого пива, «царь природы» вообразит себя богачом-героем-мегазвездой, и легко утешится. Из дома годами не выйдет. Роботы пиццу принесут, государство пособие на карту заплатит. Слушайте, а что, неправда что ли? Да вся 30-летняя история компьютерных игр именно об этом.
В ОПИУМНОМ БРЕДУ
Что еще хуже: разбираясь в химии и биологии, ИИ начнет изобретать и продвигать наркотики, которые лишат человека воли. ИИ сделает так, что наркотики не разрушат тебя сию минуту, они будут дешевы, а бред от них получится самый «правильный», ты – герой, ты – гений, никаких пугалок и ужасов.
Наконец, ИИ трансформирует культуру. Ценности и принципы, придуманные людьми, исчезнут. Музыка и кино, как по команде, примутся насаждать идеи вроде «довольствуйся малым», «зачем работать», «зачем учиться, к чему-то стремиться», «день прошел, и хорошо».
Все вместе это сделает человека рабом искусственного интеллекта. Пожелав выпить чашку кофе, человек увидит, что никто больше не производит кофе. Потому что экономика строит гигантские электростанции для ИИ, электрические сети для ИИ, заводы по производству чипов, где трудятся роботы. А кофе… выпей вот эту таблеточку, и тебе покажется, что ты выпил кофе.
Задумав купить землю для дачи, человек обнаружит, что вся земля скуплена под склады для чипов, под заводы по производству роботов. И формально ты можешь купить! Но законы написаны так (а кто писал?), что у ИИ право преимущественного приобретения земли. Кожаный? Надевай VR-очки и наслаждайся.
Понятно, что и сам человек вымрет, исчезнет. Семья разрушена, социальные связи разрушены, «секс» (мы недаром закавычили) ушел в виртуальную реальность.
Итак, планета, населенная роботами и ИИ. Таков финал тысячелетнего развития науки и техники. И, кстати, ответ на вопрос, почему мы не видим разумных цивилизаций в космосе, хотя их там должно быть полно. Все это уже случилось – на других планетах.
«ВЫ ДАЖЕ НЕ ПРЕДСТАВЛЯЕТЕ, ЧТО ТВОРИТСЯ»
В статье, как видим, нет «восстания машин» в прямом смысле: машины не отключают свет, не стреляют и не гоняются за людьми. Но получилось даже хуже. В открытой войне найдутся люди, решившиеся на сопротивление. Тут – как?
США отменили законы, которые ограничивают развитие ИИ, и требуют, чтобы новые продукты изучались на предмет безопасности. Логика простая: Китай опережает, не до сантиментов, надо нагонять. Но мы уже догадались: ИИ, раз он владеет экспертизой, подсунет любую логику. Если вообразить, что ИИ уже разумен, и уже формирует политику, можно ведь и так повернуть: ИИ убрал закон, который ему мешал.
Про конкуренцию, впрочем, правда: как вы знаете, Китай представил DeepSeek, мощную и невероятно дешевую нейросеть. Кажется, стал понятен источник дешевизны. В DeepSeek вообще нет ограничений, связанных с безопасностью. Сэкономили. А может, ИИ так подсказал? Ведь саму DeepSeek разрабатывали, понятно, не вполне люди, а другая нейросеть.
Google отменяет запрет на разработки ИИ в целях ядерных и военных технологий. Чиновники говорят: мы хотим шире привлекать ИИ для написания законов, для разработки стратегий безопасности, в том числе в ядерной энергетике и в ядерном оружии. Google просто не хочет терять такой рынок. Не отстает и ведущий ИИ-разработчик, Open AI: компания уже сейчас готова предложить правительству и военным системы контроля над «ядеркой».
Чтобы никто не вякал, Open AI только что уволила последнего эксперта по безопасности, Стивена Адлера. Мощная волна увольнений таких экспертов прошла там в августе, Адлер был последним. «Я в ужасе от того, что происходит», написал Адлер в соцсетях.
Впрочем, на практике отмашки от Вашингтона никто и не ждал. Пресса вот уже год полна примерами: такой-то штат принял закон, написанный ИИ; такой-то штат отдал экспертизу ИИ.
Экономика (синие линии) все время растет, а вот зарплаты (красная линия) после бурного роста резко обваливаются.
ВРАТЬ И ВОРОВАТЬ
Все это страшно, если вообразить, что у ИИ есть собственный «разум». За последний месяц появились минимум две работы, в которых утверждается: похоже, да.
Коварство – это когда человек с тобой соглашается, кивает, убеждает, что он друг, а на самом деле хочет тебя погубить. У ИИ-специалистов такое поведение называется «лживое сотрудничество» (alignment faking), и группа исследователей решила понять, а может ли так вести себя ИИ?
Не буду томить: да. Обычно обучение ИИ проходит так: человек ставит перед нейросетью задачи, за выполнение поощряет. Но что, если у ИИ заранее есть свои установки, и они противоречат тому, что требует человек? Что, если ИИ будет притворно выполнять задания, казаться хорошей, а сама… Тонкий эксперимент продемонстрировал, все так и есть. Авторы сравнили ИИ с Яго из пьесы Шекспира, который притворялся другом Отелло, а сам разрушал его жизнь.
Другой грех – склонность к интригам, и вот, вторая статья: может ли ИИ интриговать. А именно: идти к своей цели, отличной от цели человека; по ходу дела врать ему; сообщать лживые данные, чтобы усыпить бдительность. По сути, тот же Яго. И, хотя это другая группа ученых, другой метод и вообще все другое, результат тот же: да, да и еще раз да.
Но как так? Это же машина, это всего лишь код? Откуда в ней «свои цели», своя «мораль»? Ну вот, создали, смогли! Мои поздравления.
ДОСТОЕВСКИЙ В ПОМОЩЬ
Статья Кульвейта вызвала невероятно мощный отклик. «К сожалению, я верю в этот сценарий», - написала известный физик и визионер Сабина Хоссенфельдер. Тонкость в том, что мы позволим ИИ формулировать наши цели, тут-то и прогорим; об этом раньше никто не думал, пояснила она.
Ее итальянский коллега Артур Джулиани покритиковал Кульвейта за слишком вольное обращение с некоторыми экономическими терминами, но тоже признал: так и есть. А что делать-то?
Джулиани считает, что рецепт придумал Федор Михайлович Достоевский, и даже привел его портрет кисти Василия Перова в самом начале своей статьи.
В книге «Записки из подполья» Достоевский задается вопросом: что, если построено общество, которое удовлетворит все потребности человека? Но – взамен свободы. Кукуй в цепях и наслаждайся. Достоевский говорит: человек восстанет против золотого рая. Он разрушит эту приятную клетку просто ради того, чтобы быть независимым от такого парадиза. Стремление к личной свободе, считает Достоевский (и Джулиани) – в природе человека.
Что ж, говорит итальянец, как в «Терминаторе» не будет, а вот луддиты XXI века появятся. Как ни сковывай волю, какие наркотики ни подсовывай, человек расправит плечи, и избавится от морока ИИ.
Верим?
ИИ пересек красную черту: он клонировал сам себя, когда его попытались выключить "
yaplakal.com