Помешательство вокруг ИИ парализовало принятие решений

Сразу предупреждаю: очень многабукаф!
Будет 9 (девять) постов.
Статья с Хабра.

Об авторе: Ник Суреш — австралийский дата‑инженер родом из Малайзии. Отмучившись в паре крупных корпораций, он основал консалтинговую фирму, помогающую небольшим клиентам налаживать работу с данными.


— Митчелл Хашимото, основатель HashiCorp

В последний год я лично занимался всеми нашими продажами, занимался техническими деталями почти всех наших проектов, и за всё время, что я веду этот блог [с начала 2023 года — прим. пер.] успел пообщался на тему своих статей где‑то с 300 людьми по всему миру — от спецов, решающих узкие технические задачи до гендиров компаний из списка Fortune 500. Так что я сижу в первых рядах и наблюдаю массовое помешательство по всему частному и государственному сектору; но при этом моё благополучие не зависит от личного участия во всём этом фарсе. Поэтому я решил написать эссе, в котором опишу эту бредовую социальную динамику и постараюсь морально поддержать тех, кто сейчас медленно сходит с ума, пытаясь выжить в ней.

Если вкратце, лица, принимающие решения, либо не строят конкретных планов на будущее, либо вообще не видят для себя вариантов кроме как не высовываться — будь то в банках, медицинских учреждениях, государственных органах или где‑то ещё. По всему миру руководство организациями захватили легковозбудимые граждане, писающиеся кипятком от восторга при любом упоминании ИИ, а их более уравновешенные коллеги вынуждены жить в постоянном страхе и фрустрации.

1. Большинство проектов полностью проваливается


— редактор этой статьи

Какой рост производительности реально получается от ИИ? Есть ли вообще польза от всей этой темы?

Вопрос предельно простой, но на него неожиданно сложно получить прямой ответ. Если директор какой‑то компании прямо скажет, что его компания сошла с ума, он очень быстро перестанет быть директором. Сотрудник, честно рассуждающий на эту тему, тупо окажется в списках на очередное (а может, и внеочередное) сокращение. Все причастные — директора, менеджеры, специалисты, поставщики, консультанты — оказываются в ситуации, когда в их личных интересах становится жонглировать фактами и запутывать данные об использовании ИИ. Я много раз читал отчёты для инвесторов, в которых компания в радужных красках расписывает рост производительности от внедрения ИИ, в то время как мне было достоверно известно, что всё это внедрение свелось к покупке лицензии Copilot.

Но всё равно надо как‑то понять, насколько все эти инициативы окупают себя. Если бизнесы, целиком построенные вокруг ИИ, имеют хоть какой‑то осмысленный процент успеха, то дальше уже есть смысл рассуждать о том, насколько оправдано брать на себя риск ИИфикации.

Так вот, каждый проект, который мы лично наблюдали, провалился. Среди всех ИИ‑проектов, в которых мы сами участвовали или с которыми мы сталкивались по работе, процент успеха — ровно 0%. Даже там, где ИИ помог ускорить отдельные задачи, он совершенно не оправдывает затрат на него. Часто проблема даже не в самом ИИ, а вообще в катастрофически слабом управлении разработкой; как я писал раньше, в дополнение ко всем обычным рискам разработки вы можете вообще всё сделать правильно и всё равно потерпеть неудачу из‑за того, что технология в целом пока слишком сырая. Очень немногие организации настолько отладили процесс разработки, чтобы брать на себя лишние риски.

Но часто проблема оказывается в ограничениях LLM. Самый типичный сценарий, который я встречаю по всему миру — это внутренний чат‑бот для нужд сотрудников, или, для более рисковых — внешний чат‑бот, общающийся с клиентами. Конец как всегда предсказуем. От внутренних чатов я пока ещё ни разу не видел ощутимой пользы — сотрудники просто не пользуются ими, потому что LLM — не телепат, он знает только то, что описано в документации, а внутренняя документация у компаний обычно так себе. Внешние же чат-боты и другие ИИ, которые мне встречались, вызывают лишь раздражение, за единственным исключением нейронки, конспектировавшей разговор с врачом во время приёма — но одного этого недостаточно для ИИ-бизнеса. В обоих случаях руководители проектов старательно избегают очевидных ключевых метрик типа того, пользуется ли вообще кто‑нибудь их продуктом, и выбирают такие метрики, которые легко накрутить.

Мой последний опыт взаимодействия с ИИ‑поддержкой — это обращение в Мицубиси по поводу поломки машины. Чрезвычайно вежливый робот попросил описать проблему и пообещал, что первый же освободившийся специалист перезвонит мне. Это была самая качественная реализация, которую я встречал в проде — голос звучал естественно, реагировал адекватно, и он обещал скорейшим образом решить мою проблему.

Это было полгода назад. С тех пор мне так никто и не позвонил.

Что стало с моим обращением? Оно просто ушло в никуда и не попало в статистику? Было помечено как решённое и не требующее вмешательства живых людей? Чёрт его знает; но оно не вызвало никаких ошибок, иначе бы мне кто‑нибудь позвонил. Уверен, этот бот выглядит замечательно во всех отношениях, кроме единственного важного — я больше никогда не буду покупать их машины.

Мы в нашей компании быстро поняли, что при общении с заказчиками не надо ничего спрашивать про их существующие ИИ‑проекты: если проект уже стартовал, с этим поздно что‑то делать, и наше вмешательство бессмысленно, пока проект не настигнет неизбежный коллапс. Думаю, благоприятный исход здесь уже невозможен. Процент провальных проектов такой высокий, что даже просто поинтересоваться об успехах — значит поставить себя в неловкое положение. Любой прямой вопрос о состоянии проекта, о его целях, о том, кто пользуется продуктом — это неизбежно нападка на репутацию ответственных за проект, потому что на эти вопросы никогда не бывает ответа. Даже в редких случаях, когда собеседник заявляет, что всё хорошо (обычно в начале проекта, когда проблемы ещё не проявились), обычно уже становится понятно, что проект обречён; но в этих случаях я хотя бы могу просто со всем согласиться, попрощаться, и только потом громко выматериться. Знали бы вы, сколько нервов бережёт работа консультантом — пока клиент не просит помощи, можно просто оставить умирать заведомо провальный проект…

Я это всё к тому, что теперь я глубоко убеждён, что практически все заявления об огромных приростах производительности — откровенная ложь. Даже если у кого‑то где‑то есть прирост, я отнесусь к этому как к исключению, а не к правилу.

Приняв эту гипотезу, поговорим о социальной динамике вокруг ИИ‑проектов, и почему многие организации больше не способны сосредотачивать усилия и ресурсы на своей долгосрочной (а иногда даже и краткосрочной) жизнеспособности.

2. Сожги еретика!

Местами становится опасно даже просто упоминать вероятность того, что ИИ не является решением той или иной проблемы, не говоря уже о том, чтобы принять бизнес‑стратегию, не привязанную к ИИ.

В каждой достаточно большой компании (условно >500 человек), которую мы наблюдали, чтобы получить повышение или даже просто сохранить своё место, нужно всё больше и больше публично исповедовать веру в то, что ИИ преобразит эту компанию. Никто не требует конкретных действий, нужно именно провозглашать символ веры. Чаще этим занимаются менеджеры‑нетехнари, но иногда и технари ради своей карьеры начинают проповедовать веру в ИИ.

Я несколько раз видел, как кто‑то без всякого повода выдавал фразу типа «ИИ меняет мир», а буквально через минуту он признавался, что его организация вообще не использует ИИ, и что он не может назвать хоть что‑то, что на самом деле изменилась (разве что кто‑то изредка пользуется бесплатной версией ChatGPT). Один топ‑менеджер признался, что вообще ни разу не использовал ни ChatGPT, ни какие-либо другие ИИ‑инструменты; и это — сразу после того, как он выдал стратегию технического развития организации на $2 млрд выручки, построенной вокруг ИИ.

Все эти выступления выглядят настолько бредово, что я поначалу думал, что это преднамеренная ложь ради карьерного продвижения, и иногда так оно и было — в личных разговорах кто‑то прямо в этом признавался. Но чаще всё оказывалось хуже: люди без какого‑либо опыта технической работы искренне верили в то, что говорили. С обычным лжецом ещё можно как‑то договориться в частном порядке (если нет возможности уклониться от работы с ним); истинно верующие же неподкупны, даже когда на кону их собственные интересы.

Я окончательно потерял веру в людей, когда один собственник фирмы начал увольнять своих топовых сотрудников, потому что они добивались результатов без LLM. Когда человек публично выступает на тему ИИ, тут можно заподозрить попытку манипуляции рынком или заказчиками; но когда он втихую на свои деньги реализует подобные решения, в искренности его намерений сомнений нет.

Недавно в ответ на статью Томаса Птачека My AI Skeptic Friends Are All Nuts я написал Contra Ptacek’s Terrible Article On AI, в которой расписал, в чём он сам себе противоречит. Но по самому главному вопросу я с ним согласен: насильно навязывать LLM — плохая стратегия.

Если подумать, сама идея бредовая: если бы я был директором больницы или строительной компании, мне бы в голову не пришло заставлять сотрудников следовать каким‑то процедурам или использовать какие‑то инструменты, не получив одобрение от опытных специалистов. Что вообще творится в голове у нетехнаря, который, посмотрев пару презентаций, учит своих высокооплачиваемых специалистов делать свою работу?

[Примечание переводчика: Кори Доктороу, комментируя эту статью, предположил, что главная притягательная сила чат‑ботов в глазах менеджеров‑нетехнарей — возможность создавать видимость своей компетенции без погружения в работу.]

Такая принудиловка приводит к поистине фантасмагоричным сценам. Несколько моих бывших коллег сейчас вынуждены «отмывать» свою работу: даже если они сами лучше справляются без ИИ, им приходится врать начальству об его использовании. Они просто делают свою работу, а потом говорят, что это всё сделал Claude. Где‑то измеряют расход токенов, а потом выставляют список лидеров на всеобщее обозрение; и разумеется, человек, всю жизнь специализировавшийся на оптимизации систем, именно этим и занимается: поручает LLM делать правдоподобные запросы к самой себе, а сам тем временем смотрит Netflix. На этом ещё никого не поймали, но по признанию самих сотрудников, результат этой работы имеет нулевую пользу.


— один программист

Что касается увольнений, я пока только слышал, как кого‑то увольняли за публичные сомнения в такой стратегии. Либо нахваливаешь руководителя за его пророческое видение, либо тебя выгоняют.

3. Презентации ИИ‑проектов вызывают отмирание мозга

Одна из главных компонент инфраструктуры, которую мы разворачиваем у клиентов — аналитическая БД Snowflake. Она обходится нам в копейки, потому что там оплата за фактическое использование, а на ежедневную обработку всех данных типичного клиента уходит порядка минуты. Она не требует какой‑то ручной донастройки, и в целом она идеально подходит под наши нужды. Одна из её фич, которой мы не пользуемся, называется Cortex.

Cortex — это чат‑бот, который можно натравить на свои метаданные и использовать как интерфейс работы с данными компании. Теоретически можно спросить его что‑нибудь типа «Какая у нас была выручка за прошлую неделю?», и он выдаст ответ.

Для прода он не особо подходит. Если не ошибаюсь, последний раз, когда сами разработчики Snowflake презентовали мне эту систему, они сказали, что в идеальных условиях она выдаёт точность 92% (из‑за того, что большой бизнес порождает слишком сложные данные); и это — лучший продукт в своём классе. Представьте, если ваш главбух будет путаться в цифрах в 8% случаев. Но зато в презентациях Cortex выглядит очень красиво…

У нас были потенциальные заказчики, которых в целом устраивало наше предложение, но они очень, очень хотели общаться с БД на человеческом языке. И мы такие: «ну ок, можем набросать прототип чат‑бота, а там видно будет».

Это было большой ошибкой. Каждый такой заказчик при виде прототипа терял волю и начинал требовал продать им разработку готового бота, несмотря на наши тщетные попытки объяснить им, что от этого бота не будет никакого толка. Они немедленно забывали и игнорировали другие наши идеи, даже которые сэкономили бы им миллионы долларов. Невидимая злая сила овладевала заказчиком, его руки впивались в грудь, вырывали из неё ещё пульсирующую кредитную карту и преподносили её нам. Это мгновенное преображение выглядит настолько жутко, что мы от греха подальше вообще отказывались от контракта; а в какой‑то момент мы совсем убрали Cortex из презентаций. Злоупотреблять такими помрачениями сознания было бы слишком безответственно, да и вообще демонстрация Cortex изначально была безответственной идеей — врачи же не раздают случайным людям таблетки, которые не стали бы прописывать пациенту.

Жутковатой была сама эта сцена, но ещё страшнее было осознать, что именно так сейчас выглядят продажи во всём мире. Я пытался предупреждать заказчиков о последствиях, но их жажду ИИ не могли утолить даже все их бюджеты. Сейчас мне представляется, что на них влияли их собственные клиенты, которые сами были одержимы этой же жаждой. Они купили бы ИИ‑проект у нас, перепродали бы фирме покрупнее, и так далее, пока где‑то в цепочке не закончатся деньги, и кому‑то не придётся оправдываться за все эти расходы. Утешает только то, что средневзятый поставщик настолько некомпетентен, что наша сделанная на коленке поделка оказалась первой хоть сколь‑нибудь рабочей разработкой, которую встречали наши заказчики, включая одну крупную компанию, которая уже тогда активно пиарила свою ИИ‑трансформацию. Мы за пару часов набросали прототип, который был просто страницей с полем для ввода, и даже это оказалось лучшим, что встречали наши клиенты, потому все инвестиции в ИИ обычно просто улетают в трубу.

В итоге мы вынуждены отказываться от любых заказов, где клиент проявляет сколь‑нибудь активный интерес к ИИ — не столько из нравственных соображений, сколько потому, что раз за разом мы видим одни и те же шаблоны поведения, создающие серьёзные юридические и репутационные риски, и распространяющие культ «пришествия ИИ яко на небеси и на земли».

[Примечание переводчика: в интервью Эду Зитрону автор упомянул, что разговоры об ИИ — это ещё и риск упустить адекватного заказчика, который уже устал отбиваться от проходимцев, пытающихся впарить им ИИ.]

4. Руководители, теория игр и платье короля



— руководитель ИБ одной компании, выступающий с лекциями, но который предпочёл остаться анонимным

Истинно верующие в ИИ доминируют в корпоративном обществе, но есть много ораторов и руководителей ИИ‑инициатив, которые в глубине души не верят в то, что сами говорят. Среди моих читателей есть «директора по ИИ» компаний с миллиардной выручкой, которые прямо мне говорили, что вся их работа — это обман, который был их единственным путём к повышению.

Разъезжая по миру, я пообщался с одним директором (это один из тех в Fortune 500, о которых писал выше). По нему видно, что это очень толковый и технически подкованный человек, но он был из компании, которая публично несла бред про ИИ‑трансформацию, x100 продуктивность и продажу своих душ искусственному интеллекту. В личной беседе я спросил его, почему никто не возражает против такой политики. Я думал, это просто такой маркетинг, но реальность оказалась интереснее.

Отчасти это действительно попытка впарить ИИ легковозбудимой публике, но это не единственный и даже не главный фактор. Их клиенты тоже несли чушь про x100 продуктивность, и если кто‑то из поставщиков будет публично сомневаться в возможности этого, это будет расценено как попытка подорвать репутацию клиента, а так можно и контракт потерять. Руководитель, которому собственное мнение важнее, чем контракт с крупным корпоративным заказчиком, недолго просидит в своём кресле.

Но и сама эта компания — тоже крупное предприятие со своими подрядчиками, так что логично предположить, что и её подрядчики руководствуются такой же логикой, боясь вставить слово поперёк ИИ‑хайпа. В итоге руководители фирм по всему миру нервно оглядываются друг на друга и вместе дружно идут к пропасти, не решаясь сделать шаг в сторону. Это дилемма заключённого: пока директора фирм сотрудничают друг с другом, все остаются при своих должностях. Если кто‑то пойдёт против толпы, его затопчут коллеги, которых он неявно назвал лжецами, трусами или дилетантами. Если все разом начнут говорить правду, это будет лучший вариант для всех, но такое скоординированное сотрудничество организовать невозможно.

Я как‑то выступал на тему ИИ перед директорами компаний из S&P 500, и оказалось, что у них всех та же проблема: после выступления ко мне подходили и говорили, что они относятся ко всему этому скептически, но боятся, что их карьеры зависят от того, сколько они инвестируют в ИИ. Один из слушателей сказал: «такая ранняя инвестиция в ИИ — это риск без какого‑либо вознаграждения». Прошло два года, и теперь их многомиллиардные компании вешают на себя ярлык «AI‑native», что бы он ни означал.