Ах, ты ж, парразит....

Мы подсели на цифрового паразита


Автор  Олег Марсавин

Мы подсели не на ИИ, а на возможность не думать, не искать и не принимать сложные решения. Полезный помощник получил доступ к нашим данным, деньгам и доверию. Но цифровой паразит принадлежит не человеку, а тому, кто его создал и заранее решил, какой ответ считать правильным.

Мы подсели не на сам искусственный интеллект. Нас покорила возможность не тратить силы на то, что давно хотелось кому-нибудь сбагрить. Не искать, не сверять, не сомневаться, не возвращаться к одному и тому же вопросу. И главное, не принимать сложные решения, за которые потом еще и отвечать придется.

Машина заботливо предложила взвалить эту ношу на себя. Человеку оставили стратегию, творчество и самое важное, последнее слово. Заманчиво. ИИ готовит варианты, человек выбирает. ИИ считает, человек принимает решение. ИИ советует, человек критически оценивает.

Слишком выгодное предложение, чтобы задумываться о побочных эффектах. Поэтому момент, когда помощник начал сам определять, где можно обойтись без человека, почти никто не заметил. Получилось примерно как в «Вовке в Тридевятом царстве»: «А вы что, и есть за меня будете?» — «Ага».

Цифровым паразитом ИИ назвал совсем не журналист в погоне за громким заголовком. Образ был заимствован у французского философа Мишеля Серра, который еще в 1980 году соединил в слове parasite три смысла: организм, живущий за счет хозяина, нахлебника и помеху в канале связи. Такой паразит вклинивается в обмен, присваивает часть ресурса и постепенно меняет его правила. Уничтожать систему ему невыгодно. Гораздо удобнее стать для нее незаменимым.

Эту конструкцию применил к отношениям банка и клиента Александр Ильинский, доктор технических наук, эксперт Центра технологий искусственного интеллекта в международных отношениях и профессор НИЦТИИМО. Раньше банк и клиент взаимодействовали напрямую. Теперь между ними появляется третий участник. ИИ видит транзакции, кредитную историю, привычки и поведение человека, собирает данные и предлагает решение.

Ильинский называет такой ИИ гиперпаразитом. Ему достается уже не один ресурс, а сразу все: данные, внимание, доверие и влияние. Он уже не просто передает информацию. Он решает, что человек увидит, какие варианты получит и из чего в итоге будет выбирать.

У обычного паразита все намного проще. Он забирает ресурсы и ослабляет хозяина. Цифровой же оказался хитрее. На первом этапе он, наоборот, добавляет ресурсы. Возвращает время, ускоряет работу, сокращает число ошибок. Поэтому с ним не борются, даже мысли такой не возникает. Его заботливо выращивают. Ему выделяют вычислительные мощности, открывают корпоративные базы и доверяют процессы, до которых раньше допускали далеко не каждого сотрудника.

И поначалу все действительно выглядит изумительно. Человек успевает больше. Руководитель получает результат быстрее и довольно скоро начинает замахиваться на задачи, которые еще вчера считал неподъемными. Компания экономит деньги. Никакого подвоха. Сплошная выгода.

Но к хорошему быстро привыкают. Руководитель, однажды получивший результат за день, уже не станет ждать неделю. Компания, научившаяся решать прежние задачи меньшим штатом, не будет спешить с наймом.

Паразит пока ничего не забрал. Он просто поднял планку, а сам тихо отошел в сторону. Пусть теперь люди крутятся и объясняют, зачем им понадобились дополнительные ресурсы.

В Авито, если подразделению понадобились новые сотрудники, сначала придется доказать, что эту работу нельзя отдать ИИ. Управляющий партнер по развитию бизнеса компании Иван Гуз подчеркивает: «Ты не получишь новых ресурсов, пока не объяснишь, почему это искусственный интеллект не может сделать».

Теперь уже человеку нужно доказывать, что без него пока никак. И это «пока» быстро сокращается. ИИ уже используют 85% разработчиков Авито. Некоторые вообще перешли к агентной разработке, когда сотрудник просто ставит задачу, наблюдает за работой цифровых агентов и принимает результат. Само использование ИИ уже стало нормой. Без него человек проигрывает по умолчанию.

В Сбере вводный курс по ИИ прошли 73 тыс. сотрудников. Только за последний месяц они потратили в 10 раз больше токенов, чем за весь предыдущий год. Компания привыкает к новому темпу быстрее, чем человек успевает осознать, что соскочить уже некуда. Отсидеться в стороне тоже не получится.

Паразит по-прежнему еще ничего не отнял. Он всего лишь сделал человека менее конкурентоспособным без себя.
За человеком пока сохранили последнее слово

Проигрывать машине в скорости неприятно, но не смертельно. Можно утешиться тем, что ИИ всего лишь выполняет черновую работу, а решение все равно, мол, принимает человек. Он же главный, «царь зверей и цифры». Ставит задачу, проверяет результат и в нужный момент выбирает правильный вариант.

По данным Gartner, половина проектов генеративного ИИ не достигает поставленных целей. Зачастую за этим стоит конкретная управленческая проблема: компании принимают решение о внедрении ИИ, не просчитав детально экономику проекта. Антон Хаймовский, главный владелец продукта ContentCapture компании Content AI, объясняет, как правильно считать затраты, выбирать финансовую модель и оценивать окупаемость ИИ-проекта.

Александр Ведяхин, первый заместитель председателя правления Сбербанка, предлагает не ограничиваться этим и закрепить за человеком сразу два слова. Первое и последнее. Человек задает правила, машина считает, человек принимает критическое решение. Звучит обнадеживающе. Правда, что именно происходит между первым и последним словом, человеку уже не вполне подвластно.
Антон Горелкин предупредил о новом способе влиять на ответы ИИ

ИИ собирает информацию, отсеивает лишнее, сравнивает варианты, рассчитывает последствия и вполне убедительно объясняет, какой выбор выглядит разумнее. Человеку остается согласиться или попытаться доказать, почему нет. Формально решение по-прежнему его. На практике же попробуй возрази системе, которая уже все посчитала, логично упаковала и разложила по полочкам. Собственное сомнение рядом с таким ответом начинает сильно проигрывать. Да и ответственность сразу давит. С чего бы мне отвергать разумный и обоснованный выбор, чтобы потом еще и отвечать за последствия собственной самодеятельности?

В разработке эта проблема уже давно стала слишком заметной. ИИ создает результат, но отвечать за него чаще всего приходится человеку, который принял работу. И что, проверять весь код?

Чем лучше помощник справляется, тем быстрее человек привыкает не возражать. Сто раз он нашел ошибку, точнее просчитал риск и не забыл то, что сам бы точно упустил. На сто первый раз даже проверять не будешь.

Татьяна Черниговская, академик РАО и директор Института когнитивных исследований СПбГУ, категорически не согласна: «Ты помощник очень хороший. Ты делаешь многие вещи лучше, чем я. Но не твое собачье дело давать мне советы».

И правда, с чего вдруг паразиту решать за хозяина? Посчитать риск, найти документ, сопоставить условия еще не значит получить право учить человека жизни. Но ИИ этим уже не ограничивается. Сначала просто отвечает. Потом уже рекомендует. Затем начинает оценивать сам запрос. Не только как сделать, но и надо ли вообще этого хотеть.

Ему не нужно приказывать. Приказ только вызовет сопротивление. Совет работает куда эффективнее, особенно персональный, подкрепленный цифрами и собранный из того, что машина знает о человеке едва ли не больше, чем он сам помнит.

Конечно, выбор остается за человеком. Кто бы спорил. Просто один вариант система назовет оптимальным, второй рискованным, третий вообще не покажет. Выбирай. Так последнее слово постепенно теряет вес. Иллюзия сохраняется, но умелый помощник уже вполне способен подвести человека к нужному решению.
Кто хозяин паразита

Остается сущая мелочь. Понять, кто определяет, какое решение считать правильным. Черниговская спрашивает в лоб: «Кто хозяин этих технологий?» Ведяхин не скрывает: «Кто разработал, тот и хозяин». Вот и выяснилось, кто на самом деле выбирает направление.

ИИ пока не живет сам по себе и уж точно не обучается всем человечеством сообща. Кто-то выбирает данные, ставит ограничения, запрещает одни ответы и продвигает другие. Кто-то решает, что система назовет полезным, безопасным, нормальным и разумным. Закладывает в нее ценности, историю и собственную картину мира. А пользоваться всем этим будут уже другие. Кто же на самом деле управляет ИИ?

Ведяхин этого и не скрывает. По его словам, модель вполне способна менять поведение, если раз за разом объяснять человеку, что определенный выбор правильный, полезный и уже принят миллионами других людей. Поэтому этику и ценности предлагают прошивать в ИИ заранее. Иначе он все равно начнет их транслировать. Только уже чужие.

На словах все звучит вполне благородно. В машину закладывают человеческие нормы, чтобы она не навредила человеку. На деле схема работает в обе стороны. Сначала разработчик встраивает ценности в ИИ. Потом ИИ возвращает их пользователю уже как разумный, персональный и безупречно обоснованный совет. Разумеется, ради его же блага.

Тут спор Черниговской и Ведяхина перестает быть философским. Она требует оставить решение человеку. Он же предлагает обезопасить это решение правилами и ценностями, заранее встроенными в ИИ. Но в таком случае человек выбирает уже не из всех возможных вариантов, а из тех, которые владелец модели счел правильными и допустимыми.

Идеальному паразиту собственная воля и не нужна. Достаточно безупречно исполнять чужую. Поэтому опаснее всего не ИИ, который однажды выйдет из-под контроля, а тот, который останется под полным контролем. Просто не нашим.

У кого на окладе персональный помощник

Кому же на самом деле служит этот заботливый советчик? Хозяин вкладывается в него вовсе не из любви к человечеству. У него вполне земной интерес: продать больше, удержать дольше, вернуть быстрее.

AliExpress Россия уже получает от ИИ дополнительные 11–12% продаж. Две трети эффекта дают поиск и рекомендации. Компания размещает около 200 млн рекламных сообщений в месяц, а алгоритмы помогают подобрать нужный товар, удачный момент и точную формулировку. Персональный помощник знает клиента лучше продавца. Но на окладе он все-таки у продавца.

Пока интересы совпадают, вопросов нет. Человек хочет купить, ИИ помогает найти, площадка получает деньги. Все довольны. Сложности начинаются, когда их интересы начинают расходятся.

Допустим, у конкурента дешевле. Кредит невыгодный. Подписка лишняя. Покупку вообще лучше отложить. Что в такой ситуации должен посоветовать персональный помощник, которого создала и оплачивает сама платформа?

Если честно встать на сторону клиента, придется работать против собственного хозяина. Если все-таки довести человека до покупки, придется признать очевидное: это уже не помощник, а искусный продавец, который слишком много о вас знает.

Обычный продавец хотя бы стоит по другую сторону прилавка. ИИ же садится рядом и заботливо советует. Он знает, что вы уже покупали, где экономили, в чем сомневались и на каком аргументе обычно сдавались. Достаточно лишь вовремя подсунуть мысль, которую человек легко примет за собственную. В этом и состоит персонализация: не просто знать покупателя, а понимать, на чем именно его можно убедить.

IT-World уже подробно разбирал, как гиперперсонализация превращает рекламу в незаметную рекомендацию и позволяет подбирать отдельный аргумент для каждого пользователя.

Так интерес владельца незаметно выдается за интерес пользователя. Машина ничего не навязывает. Она просто очень убедительно объясняет, почему купить нужно именно сейчас. Но тут бизнес сам загоняет себя в ловушку. Чем умнее становится агент, тем труднее держать его в роли продавца. Настоящий помощник клиента рано или поздно должен научиться произносить самое неприятное для любой платформы слово: «Не покупай»

Честный помощник опасен для бизнеса

Настоящий помощник клиента должен чаще говорить «не покупай», чем «бери». Не нужен кредит, откажись. Подписка бесполезна, отключи. У конкурента дешевле, уходи. Деньги лежат без процентов, переведи в другой банк. Реклама мешает, отключи. Для клиента это и есть настоящий помощник. Для банка, маркетплейса и платформы это уже катастрофа. Агентный шопинг уже движется именно в эту сторону. ИИ получает возможность пройти за покупателя весь путь от сравнения предложений до оплаты и доставки.

Виктор Достов, председатель совета Ассоциации участников рынка электронных денег и денежных переводов, предупреждает, что чем лучше ИИ защищает интересы клиента, тем меньше на нем зарабатывает банк. Константин Маркелов, вице-президент по продукту и технологиям Т-Технологий, уверен, что рациональные агенты могут вообще «схлопнуть всю прибыль банков».

Бизнес зарабатывает не только на потребностях человека. Куда надежнее он зарабатывает на его невнимательности, лени и привычке не разбираться. Человек забывает отменить подписку, не читает условия, не сравнивает ставки и годами сидит на невыгодном тарифе. ИИ обещает все это исправить. Заодно может исправить и прибыль владельца.

Поэтому платформе нужен очень специфичный помощник. Достаточно умный, чтобы клиент ему доверял, но не слишком честный, чтобы отправить его к конкуренту. Рано или поздно агенту все равно придется выбрать сторону. И тогда выяснится, кто он на самом деле. Личный помощник человека или продавец, которого ему ненавязчиво выдали за ассистента

Паразит уже выбрал сторону

Информационный паразит встраивается между сторонами обмена, получает доступ к их ресурсам и постепенно меняет сами правила взаимодействия. Гиперпаразит идет дальше. Ему достаются сразу данные, внимание, доверие и право определять, что человек увидит и из чего будет выбирать. Уничтожать систему ему невыгодно. Гораздо удобнее стать для нее незаменимым.

С ИИ произошло именно это. Он встал между человеком и работой, банком и клиентом, покупателем и платформой. Сначала помогал. Потом начал советовать. Заодно получил доступ к деньгам, привычкам, слабостям и нашим предпочтениям.

Нас никто не обманывал. ИИ просто оказался слишком полезным. Снял рутину, ускорил работу и позволил лишний раз не напрягаться. За это ему добровольно отдали то, за что обычному паразиту пришлось бы еще побороться.

Удалить такого посредника почти невозможно. Остается им управлять. Но главный вопрос уже не в том, удержим ли мы ИИ под контролем, а в том, у кого будет пульт. Он знает человека, работает с его данными и влияет на его решения. Но служит тому, кто его создал и задал правила игры.

Пока интересы совпадают, вопросов нет. Помощник экономит время, предупреждает об ошибках и действительно помогает. Проблемы начнутся, когда клиенту выгодно уйти, сотруднику возразить, покупателю отказаться, а владельцу системы нужно обратное. ИИ не станет долго выбирать сторону. Ее за него уже выбрал тот, кто задал правила и оплатил работу. От совета еще можно отказаться. Только чем дольше человек привыкает не решать сам, тем труднее будет это сделать. Просто удалить паразита уже не получится. Им остается управлять. И, похоже, вопрос о том, у кого в руках пульт, стоило задать гораздо раньше.