Нам врут. Все

"ИИ вас обманывает. Почему ChatGPT и другие нейросети уверенно врут и как распознать неправду.

Они не лгут вам намеренно. Они просто не знают, что такое правда. Разбираем природу галлюцинаций ИИ и учимся задавать вопросы, которые не приведут к катастрофе.

Вы задаёте вопрос нейросети, и она выдаёт вам идеальный ответ. Уверенный, развёрнутый, с фактами, цифрами и даже ссылками. Вы благодарно копируете его в свой отчёт, статью или код. А через час выясняется, что половина фактов — вымысел, ссылки ведут в никуда, а код не работает. Это не единичный баг. Это фундаментальная особенность современных языковых моделей, таких как ChatGPT, DeepSeek, Gemini и им подобных. Они не «ошибаются» в человеческом смысле. Они галлюцинируют. Термин, пришедший из психиатрии, идеально описывает суть: модель с убеждённостью сумасшедшего генерирует информацию, которой не существует в реальности. Сегодня мы не будем запугивать вас апокалипсисом. Мы разберёмся на пальцах, как устроена эта «честная ложь», почему создатели не могут её просто «починить», и, самое главное, как вам — обычному пользователю — не попасть впросак и не совершить фатальную ошибку, доверившись электронному оракулу. Потому что проблема не в том, что ИИ врёт. Проблема в том, что мы начинаем верить ему, как живому эксперту.

Для начала забудьте представление об ИИ как о всезнающей базе данных или поисковике. Современная большая языковая модель (LLM) — это не библиотека, а безумно талантливый имитатор. Её обучили на триллионах слов из интернета, книг, статей. Она не «помнит» факты. Она изучила статистические закономерности в текстах. Её основная и единственная задача — предугадать следующее слово (токен) в последовательности с максимальной вероятностью. Когда вы спрашиваете «Сколько будет 2+2?», модель не вычисляет. Она смотрит на миллиарды примеров в своих данных, где после «2+2=» с чудовищной частотой следует «4», и выдаёт вам «4». Когда вы спрашиваете «Кто открыл Америку?», она не лезет в энциклопедию. Она воспроизводит наиболее правдоподобную, часто встречающуюся в её данных цепочку слов: «Америку открыл Христофор Колумб в 1492 году». Она делает это блестяще, и в 80% случаев для простых, проверенных фактов это работает. Но вот в чём загвоздка: правдоподобие — не то же самое, что правда.

Почему же возникают галлюцинации? Причин несколько, и они вшиты в саму архитектуру.

Проклятие правдоподобия. Модель оптимизирована для создания гладкого, связного, убедительного текста. Если в её данных нет точного ответа на ваш специфический вопрос, она не скажет «не знаю». Она сочинит максимально правдоподобный с её точки зрения ответ. Это как если бы вы попросили профессионального актёра, который читал тысячи пьес, сымпровизировать монолог от имени вымышленного средневекового рыцаря. Он сделает это блестяще и убедительно, но исторической правды в его словах не будет ни грамма.
Контаминация данных. Модель училась на всём интернете. А в интернете, помимо Википедии и научных журналов, есть форумы конспирологов, плохо вычитанные блоги, художественные произведения и откровенный фейковый контент. Модель впитывает всё, не различая истину и ложь. Она может с одинаковой уверенностью рассказать вам и про теорию относительности, и про то, что Земля плоская, если в её данных оба нарратива были представлены достаточно широко.
Проблема с «незнанием». У модели нет внутренней метки «я этого не знаю». Её не учили осознавать границы своих знаний. Её учили заполнять пробелы. Поэтому на вопрос «Какие были последние слова Наполеона Бонапарта?» она не промолчит. Она сгенерирует одну из версий, которая встречается в исторических спекуляциях, и представит её как факт.

К чему это может привести? Последствия варьируются от смешных до опасных.

Комичные: ИИ может написать рецензию на несуществующую книгу, привести цитату вымышленного философа или придумать детали биографии несуществующего учёного (как в нашем примере).
Разрушительные для репутации: Студент, доверившийся ИИ в написании курсовой, получит «высосанные из пальца» источники и будет отчислен за плагиат и фальсификацию. Копирайтер вставит в статью непроверенные «факты» и подорвёт доверие к бренду.
Опасные для здоровья и жизни: Это самый серьёзный риск. Запрос «Напиши диету для диабетика» или «Какая доза препарата Х безопасна?» может породить смертельно опасные рекомендации. ИИ не имеет медицинских знаний, он имеет статистику по текстам о медицине, включая советы с форумов от знахарей.
Юридические и финансовые: Попытка получить у ИИ консультацию по налоговому кодексу или составлению договора может обернуться ссылками на несуществующие статьи закона или фатальными ошибками в формулировках, ведущими к судебным искам.

Так что же делать? Как не попасть в ловушку? Вам нужна не паранойя, а методология скептика. Рассматривайте ИИ не как оракула, а как сверхбыстрого, но склонного к выдумкам стажёра .Ваша задача — быть его строгим, вдумчивым руководителем.

Правило 1: Верифицируйте всё, что имеет последствия. Любой факт, дата, имя, цифра, ссылка, выданная ИИ, — гипотеза, а не истина. Открывайте вторую вкладку браузера. Ищите подтверждение в авторитетных источниках: официальных сайтах, научных базах данных, проверенных энциклопедиях. Если ИИ дал ссылку — кликайте. 9 из 10 — битые или ведут не туда.

Правило 2: Задавайте «контрольные вопросы» и проверяйте на противоречия. Не спрашивайте один раз. Спросите ту же тему под другим углом. «Расскажи о творчестве писателя Х» → а потом «Назови пять основных произведений писателя Х, в хронологическом порядке». Сравните ответы. Если ИИ «галлюцинирует», в разных ответах будут всплывать разные названия и даты, которые он сам же себе противоречат.

Правило 3: Требуйте контекст и источники (но не верьте им слепо). Современные модели умеют «рассуждать». Попросите: «Объясни, как ты пришёл к этому выводу? На каких данных основан твой ответ?». Хорошая модель иногда может раскрыть ход мыслей. Но помните: она и ссылки на источники может придумать с той же лёгкостью.

Правило 4: Используйте ИИ по назначению. Его сила — структурирование, черновик, идеи, редактирование.

Правило 5 (техническое для разработчиков): Используйте RAG. Это передовой метод борьбы с галлюцинациями в корпоративных решениях. RAG (Retrieval-Augmented Generation) — это когда ответ ИИ не просто генерируется из общих знаний модели, а предварительно подкрепляется поиском по вашей собственной, проверенной базе знаний (документации, базам данных, архивам). Сначала система ищет релевантные документы, а потом даёт их ИИ со строгой инструкцией: «Отвечай, опираясь ТОЛЬКО на эти документы». Это резко снижает уровень вымысла.

Итог. Языковые модели — это не искусственный интеллект в смысле человеческого разума. Это искусственная интуиция, доведённая до абсолюта. Они угадывают, а не знают. Их обман — не злой умысел, а побочный эффект их архитектуры, созданной для убедительности, а не для истины. Ваша защита — критическое мышление и труд. ИИ — это мощнейший умножитель вашей продуктивности, но не замена вашему образованию, экспертизе и здравому смыслу. Доверяйте ему ровно настолько, насколько вы доверяете очень начитанному, но чудаковатому незнакомцу, который может в любой момент, искренне веря в свою правоту, начать рассказывать вам, как он вчера летал на Марс. Ваша задача — вежливо выслушать, а потом проверить каждый его тезис у первоисточника. Только так симбиоз человека и машины будет безопасным и плодотворным."

ИИ перелогинься

Размещено через приложение ЯПлакалъ

Нипиздика. Они не угадывают, а знают ровно то, что есть в интернете.

врут везде, только Лоза правду говорит

мне тут ГПТ выдал инфу с ЯПа, конечно врут т.к. они берут из источников где любой может писать что угодно, вот к примеру википедию русскую ща хохлы пишут

кстати нет. радомир тут недавно книгу искал по описанию. ИИ выдумал левый текст, приписал его реальному писателю(пехову) и реальному произведению(кажись хроники сиалы).

но не героев, ни "цитированного" текста нигде не существовало. ии тупо сгенерировал бред. по описанию книги.

А как RAG использовать?

Размещено через приложение ЯПлакалъ

Кстати, была статья, когда с целью проверить - врут или нет ИИ, спросили в каком произведении Пушкина было упомянуто такое блюдо, как сырники (Правильный ответ - ни в каком, ибо тогда блюда с таким названием просто не было)
Ну, вы понели ? Там такой ответ выдал ИИ на страницу. Когда ему предъявили за вранье, он ничуть не смутившись на голубм глазу написал, что да , он видимо ошибся, спасибо за внимательность, мана-мана, карочи.
Вот так.

Дак он не придумывает, а именно генерирует на основе "фактов".
Как думаешь, откуда он берёт факты? От разума вселенной или из говна, произведенного человеком?

Псевдо ИИ не умеет в творчество, он лишь повторяет. Просто у него памяти чуть больше, чем у человека.

А потом студент получит диплом и пойдёт работать врачом. Ну или инженером в АвтоВАЗ.

Этот текст написан ИИ?

Я с ним по душам не разговариваю, а использую, как быстрый справочник и поисковик по документации, ну иногда как обработчик длинных логов.

Портянку, написанную ИИ и скопированную автором сюда до конца не читал. Но из половины того, что там есть - всё верно, только сильно упрощено.

Как конкретно работает поиск онлайн у ЛЛМ - я не разбирался и сказать не могу, но каждый раз она для инфы в интернет не лезет и "инфо на ЯП" не ищет, как пишут некоторые.

По сути, кроме поиска и подбора "закономерностей" там есть ещё несколько процессов, таких как разбитие слов на токены (токен, как указало ИИ автора по какой-то причине, не есть одно слово), перевод токенов в векторы, определение "основных" слов в предложении, подбор возможного продолжения по куеву туче параметров и настроек (зачастую малую часть мы можем регулировать настраивая "температуру" определённых моделей) и т.д. Но сама суть, что изложил автор - верно.

Многие не понимают даже из далека, как работают ЛЛМ, от этого "чатгпт - тупой" или "ии нихрена не умеет"... Они умеют дохрена - намного более, чем 90% из нас всех их когда-либо запрашивали. Просто давая ИИ задачу, под которую она изначально не заточена - не стоит удивляться "тупому" решению. Вы ведь не просите хирурга вырезать катализатор на вашем авто ;) Или...? ))

Это сообщение отредактировал БроЛысина - 9.01.2026 - 18:59

С хуя ему смущаться - это алгоритм, заточенный под выдачу наиболее вероятного ответа без вариантов "не смохла я..." )))

"С хуя ему смущаться..."
Че-то ржу

Я вчера общался с ИИ. Смешно было, распознал после получаса разговора.

Я: Чтоб ты умнее стал? Нет. Дури людей своего уровня. Я буду всегда знать кто ты.
Бот: интересно. А, как ты это понял? Напиши.
Бот: так ты, думаешь, что я бот? Ха! Или ты специально пишешь, чтобы свалить?
Я: ты бот, давно уже понятно.
Бот: слился ты значит! Жаль.
Я: прикольный бот, тупой правда.

Если скармливать инфо через контекстное окно браузера или приложения - это слегка "опасно". В любой момент он начнёт смотреть "немного в начале", "немного в середине" и "чуть-чуть в конце". Даже работая через API я не смог заставить это дело обрабатывать любое кол-во информации, которое я ему подавал в виде текстового файла, по этому для больших обьёмов и более достоверной работы с данными используют вектора и РАГ. Но это уже не мой уровень.

Хуясе )) Даже не хочу смотреть, что в памяти у ИИ под вашей подпиской...

согласен с вами на отвлеченные темы да, но допустим подсказать, как в питоне примерчик решить и подобных набросать в этом им цены нет, главное, чтобы можно было в консоли проверить

Вот такой календарь в нашем городе благодаря ии, в каждом месяце косяки...
Нулевое ноября, месяцы без суббот и тд...
Казалось бы, элементарная задача, ан нет.

Размещено через приложение ЯПлакалъ

Мяур, ну да, для ЛЛМ - всё это похуй.. Чёт вспомнилось ...

по коду тоже такое бывает, извини, мол, чувачок

Я первые свои программы написал с ЛЛМ (вернее, он за меня их написал) + научил меня устанавливать питон и разные там библиотеки..

До этого умел "хелло ворлд" в паскале лет 25-ть назад в школе ))

Нахуя эта Тема вообще? Народ борется с ИИ? Которая их наёбывает постоянно? Уёбывайтеиз этого долбанного интернета!

ИИ и пруфы предоставить не в силах