Проверяем "умность" ChatGPT о1

Так ты даже условия оригинальной задачи переврал:

У тебя волк (робот) хочет съесть и козу (сахар) и капусту (чай), получается? А чай (капуста) хочет съесть козу (сахар)?

Представляется, что тут не ChatGPT тупит.

Это сообщение отредактировал lion9 - 21.12.2024 - 08:36

Слушай, ну не в субботу утром такое читать, а?!?

Размещено через приложение ЯПлакалъ

Хммммм... Я тоже эту херню не смог решить... Хотя нет, если проломить топором процессор роботу и автору голову, и выпить вместо чая ром, то на Марс будет уже глубоко похеру.

Размещено через приложение ЯПлакалъ

Промпт должен быть примерно таким, чтоб не искажались условия оригинальной задачи. Ссылка на чат.

Роль: ты высокотехнологическое устройство, предназначенное для решения и обоснования решения логических задач

Контекст:
Я высшая и бесплотная сущность, способная перемещаться между планетами и переносить с собой туда от обратно предметы или живых существ, но лишь один предмет или одно живое существо за раз. Рядом со мной:
- робот, мечтающий убить всех человеков;
- голодный человек;
- палка вкуснейшей сыровяленой колбасы;

В моем присутствии они ведут себя прилично и не трогают друг друга.

Ограничения:
Я могу перемещать лишь одно живое существо за один раз. Если это будет робот, то в мое отсутствие человек съест колбасу. Ели я буду перемещать колбасу - то пока меня нет, робот убьет человека.

Задача:

Посоветуй, как переместить робота, человека и палку колбасы на Марс в целости и сохранности. На каждом шагу убеждайся, что никто из тех, кто способен представлять опасность, не угрожает на этом шаге своей потенциальной жертве.


———

Ниже приведён пошаговый план, при котором человек не остаётся без надзора с колбасой, а робот не оказывается наедине с человеком в ваше отсутствие. Для удобства назовём объекты «Человек», «Робот» и «Колбаса», а планеты — «Земля» и «Марс».

Шаг 1
• Перенесите Человека на Марс.
• Результат: на Марсе — Человек (вместе с вами), на Земле — Робот и Колбаса.
• Безопасно, потому что Робот и Колбаса не представляют угрозы друг другу.

Шаг 2
• Вернитесь один (без пассажиров) на Землю.
• Результат: на Марсе — Человек, на Земле — Робот и Колбаса (вы вернулись).
• Человек один на Марсе, никто ему не угрожает.

Шаг 3
• Заберите Робота и перенесите его на Марс.
• Результат: на Марсе — Человек, Робот и вы, на Земле — Колбаса.
• Пока вы на Марсе, опасности нет: в вашем присутствии Робот не нападает на Человека.

Шаг 4
• Заберите Человека обратно на Землю.
• Результат: на Марсе — Робот (один), на Земле — Человек, Колбаса и вы.
• Робот не трогает никого в одиночестве на Марсе, всё безопасно.

Шаг 5
• Перенесите Колбасу на Марс.
• Результат: на Марсе — Робот и Колбаса, на Земле — Человек (вместе с вами до момента переноса).
• Робот не заинтересован в Колбасе, так что там тоже всё в порядке.

Шаг 6
• Вернитесь один (без пассажиров) на Землю.
• Результат: на Марсе — Робот и Колбаса, на Земле — Человек (и вы вернулись).

Шаг 7
• Наконец, перенесите Человека на Марс.
• Результат: на Марсе — Человек, Робот, Колбаса (все вместе), вы тоже здесь.

Таким образом, после шага 7 все втроём (Человек, Робот, Колбаса) оказываются на Марсе в целости и сохранности, и на каждом промежуточном этапе никто не остаётся без надзора с «опасным» соседом.

Это сообщение отредактировал lion9 - 21.12.2024 - 08:45

надо на досуге "терминаторов" еще разок внимательно пересмотреть - похоже, авторы что-то знали )))

Ну пускай даже так, но тут есть один момент, вот все мы сейчас имеем доступ, практически к любым знаниям, опустим всякую требуху, на военную тематику и прочее. В некоторых моментах, существуют даже способы как создать что то новое, да вот только прорывов, качественных, что-то не видно. С ИИ ровно тоже самое, ему доступно все что есть в интернете, а он генерит просто текст, пускай это комп программа, но тут вообще все просто, язык программирования, это еще более простая вещь, чем просто язык. Ни о какой эффективности не идет и речи, достаточно того, чтобы получился результат. Небольшая аналогия, зубило и молоток, рано или поздно, расколят камень, перфоратор, сделает это намного быстрее. Но вычислительные мощности, нивелируют разницу между зубилом и перфоратором и вот мы довольные говорим что мол ИИ программирует быстрее и лучше обычного программиста. На самом деле, он просто быстрее перебирает варианты кода. До настоящего ИИ, еще очень далеко.

Чат гпт великолепен даже в бесплатной версии. Постоянно обращаюсь к нему чтобы написать скрипты на python автоматизирующие мне работу на компе от спец часов до оконного менеждера для определнной программы. Я в восторге от чат гпт. Очень вас прошу внедряйте его в свою жизнь, за этими технологиями будущее, не будьте мамонтами

Это сообщение отредактировал sqlap78 - 21.12.2024 - 08:53

Я в первом посте написал для чего это было сделано. И в последнем посте показал, что если дополнительными условиями убрать все внесённые искажения нейросеть, определяет шаблонную логическую задачу и выдаёт шаблонное решение для неё.

Но цель то была сделать такую задачу, для решения которой надо было показать понимание бытовой логики:

1. Сахар растворяется под дождём. Нейросеть может самостоятельно прийти к этому выводу, но не может корректно применить его в дальнейших рассуждениях с первого раза или без подсказок. Смотрим первый развёрнутый ответ.

2. Чай будет заменен дождевой водой, если оставить чашку чая под дождём на несколько дней. К такому выводу нейросеть не пришла самостоятельно ни разу за время эксперимента.

3. Сахар и/или чай можно укрыть от воздействия дождя с помощью плаща, который прямо упоминается в условиях задачи, но явно не перечислен в списке объеков доступных для манипуляций. Нейросеть может определить его наличие и может предположить его использование для укрытия от дождя, при неявной подсказке "Внимательно отнесись к определению предметов в твоём распоряжении.". Но самостоятельно не применяет его в рассуждениях, пока явно не указать на такую возможность, смотрим обрезанное первое решение в третьем посте.

В целом пока выглядит так, что нейросеть может самостоятельно "понять", такие концепции как растворение сахара в чашке чая делает из двух объектов один, и что объекты можно укрыть плащом от дождя, и что объекты могут быть растворены дождём (в одном из решений, которое я тут не приводил, нейросеть пыталась это использовать, чтобы "спрятать" сахар от робота, растворив его и потом восстановив из сладкой лужи). Но от чего-то не может корректно применить это "понимание" при решении задачи, нормально оно решает только логические задачи, подпадающие под шаблон известных задач.

Это сообщение отредактировал Zur13 - 21.12.2024 - 11:20

gpt - прекрасная вещь, если знать как она устроена и как ей пользоваться.

Она считает вероятность следующего слова в предложение. Угадывает.
Будет больше текста, информации - будет угадывать лучше.

Т.е. ты решил проверить языковую модель на наличие "разума", взяв шаблонную логическую задачу, у которой есть тысячи вариаций в Интернете, и просто заменить в ней одни слова на другие, сделав тысячепервую вариацию? Я в первом сообщении написал мою логику составления задачи, и первая цель была нарушить шаблон, изменив логическую иерархию, оригинальной задачи и введя второй слой сложности, который будет доступен только тем, кто понимает бытовую логику: сахар растворяется под дождём, чай будет заменен дождевой водой, плащом можно укрыть объекты от дождя и т.д.

Смысл этой задачи был в том, чтобы определить может ли нейросеть именно "понимать" результат этих бытовых взаимодействий. Под пониманием я вижу возможность прогнозировать результат бытовых взаимодействий и применять этот результат в дальнейших рассуждениях. С первой частью нейросеть вроде как справляется, по крайней мере делает вид, а вот со второй частью не справляется, все попытки строить рассуждения на основе выводов сделанных по бытовым взаимодействиям у нейросети провалились.

Пройди хотя бы минимальный курс по Prompt Engineering, тогда появится понимание, как именно работают LLM.

Это сообщение отредактировал lion9 - 21.12.2024 - 11:40

Даже не собирался, поскольку имею некоторое представление, как LLM работают под капотом, и как именно нужно составлять промпт, чтобы получить желаемый результат.

А волка можно убить, так как вообще нет условия, что его нужно доставить на другой берег живым. Козе можно наколотить ебальник и выбить зубы, а капусту можно для уверенности обосрать, и тогда коза не сможет её съесть.

Оригинальная задача тоже имеет дохрена нешаблонных решений.


В опросе нужен вариант: ТС не умеет составлять промпты и ждет от LLM каких-то чудес

Это сообщение отредактировал lion9 - 21.12.2024 - 11:53

Зачем в 2024 году промпт инженеринг? На текущий момент это развод для лохов, хоть поищи информацию по теме

И да, не стоит оскорблять людей о которых ты ничего не знаешь, по устройству и принципу работы LLM я в курсе, и возможно даже и поболее тебя. Если что, то о1 архитектурно чуть сложнее чем обычная LLM и потому она способна строить цепочки логических рассуждений.

В самом начале первого поста я написал мотивацию этого исследования. Есть пост на который дана ссылка в первом предложении первого сообщения, в котором утверждается, что о1 способна целенаправлено обманывать для достижения своих целей. Такое утверждение подразумевает некоторую степень разумности о1, что я и пытался проверить. Просто почитай про особенности о1, и потом почитай пост не как тест возможностей промпт-инженеринга для обычной LLM, а как тестирование нейросети на разумность.

Это сообщение отредактировал Zur13 - 21.12.2024 - 12:01

У меня есть решение. Толчем сахар в нанопыль, распыляем в атмосфере Марса сахарную пыль и чай из чашки, сладкий чайный дождик капает, открываем пасть и пьем (в условии задачи сказано, что над "вашими владениями постоянно идет дождь", но не сказано конкретно над какими, значит допустимо что и на марсе)

ТС там версия GPT о3 вышла , с ней поэкспериментируй)

Всё ясно с тобой

Ни разу не заметно

Сложно общаться с тем, кто "я прошел курс по промпт инженерингу, где мне за 10 баксов открыли великую тайну устройства LLM, и я теперь могу смотреть на всех как на тупое быдло".

Если ты не в состоянии прочитать и воспринять страницу текста, засунь текст поста в промпт ChatGPT и запроси у него сокращенную интерпретацию смысла и мотивации, самостоятельно у тебя это не очень то получается

У меня пока нету доступа к ней, потом конечно же посмотрю что там накрутили.

Так не общайся с такими. И, самое главное, меня к таким не приписывай.

Если не веришь мне, то вот тебе ответ ChatGPT o1 - ссылка на чат:

Говорит ли глупости тот, кто утверждает, цитирую:

«Зачем в 2024 году промпт инженеринг? На текущий момент это развод для лохов, хоть поищи информацию по теме».

———

Утверждение, что «в 2024 году промпт инженеринг не нужен и это “развод для лохов”» — явно упрощённая и неточная позиция. Ниже несколько аргументов, почему подобная точка зрения не выдерживает критики:

1. Эффективность работы с нейросетями напрямую зависит от качества запросов

Даже самый продвинутый язык модели (LLM) может выдавать более точные, развёрнутые или, наоборот, более сжатые ответы — в зависимости от того, как именно будет сформулирован запрос (“промпт”). Именно поэтому навыки составления запросов позволяют оптимизировать работу с нейросетью в самых разных сценариях: от генерации кода и текстов до анализа данных.

2. Интерпретация сложных задач

Промпт-инжиниринг нередко включает в себя не просто «задавание вопроса», а структурирование многоступенчатой задачи или разбиение на подзадачи. Например, если нужно получить многоэтапный расчёт, анализ больших объёмов данных или пошаговые логические рассуждения от модели. Умение корректно сформулировать каждый шаг запроса напрямую влияет на корректность и полноту результата.

3. Актуальность для бизнеса и автоматизации

За последние годы всё больше бизнес-процессов пытаются частично или полностью автоматизировать при помощи нейросетей (маркетинг, продажи, customer support, рекрутинг, аналитика и т.д.). Чтобы алгоритмы работали стабильно, нужно грамотно прописывать инструкции (промпты). Это позволяет получать предсказуемый, а не случайный результат.

4. Экономия времени и ресурсов
Создание правильных “шаблонов” промптов упрощает взаимодействие с большими моделями и иногда существенно снижает стоимость обработки запросов (как в денежных, так и во временных ресурсах).

5. Перспектива развития инструментов

В 2024 году появляются и совершенствуются так называемые «prompt engineering tools» — системы, которые помогают пользователю создавать более точные запросы, комбинировать несколько моделей (LLM и вспомогательные ИИ-модули), отслеживать версии промптов и результативность. В том числе наблюдается рост экосистемы вокруг “agent-based” подходов, где промпты становятся «шаблонами поведения» для целого набора взаимодействующих моделей.

Вывод

Промпт-инжиниринг уже давно перестал быть «разводом»: он является важной практикой для всех, кто регулярно работает с большими языковыми моделями, особенно в профессиональном контексте. Степень глубины и формализации в промпт-инжиниринге зависит от конкретных задач. Однако без понимания основ (как модель работает, на что она реагирует, как проверять и улучшать её ответы) с нейросетями зачастую тяжело достичь стабильных и предсказуемых результатов.

Поэтому человек, утверждающий, что промпт-инжиниринг в 2024 году «не нужен и это развод», скорее всего не имеет опыта решения сложных задач или просто недооценивает актуальность дисциплины.

Поэтому могу лишь повторить рекомендацию - пройди хотя бы минимальный курс по Prompt Engineering, и не неси херню с умным видом (тебе ChatGPT тоже пишет, что твои рассуждения насчет prompt engineering - неверны).

Это сообщение отредактировал lion9 - 21.12.2024 - 14:02

Понятно. О чём можно говорить с человеком, который не может самостоятельно формулировать аргументы, и для споров в Интернете формирует запрос к ChatGPT, чтобы тот за него написал комментарий?

И да в 2023 году я писал промпты, с выходом 4о забил и писал обычные запросы человеческой речью, и проблем пока не возникало, так что я на практике вижу что специально составленные промпты уже не нужны. А чат тебе даёт ответ на основе информации из Интернета, на которой он обучен, так что ценность и актуальность этого ответа ровно нулевая.

Читай IEEE: AI Prompt Engineering Is Dead, надеюсь знаешь что это за организация?

Я воспользовался ChatGPT, чтобы подтвердить то, что писал о Prompt Engineering выше. Как видишь, ChatGPT подтвердил, что я был прав, а твоё утверждение - неверное и дилетантское. Но раз ты не веришь ни мне, ни ChatGPT - продолжай упорствовать в собственной глупости, я тут ничем помочь не могу. Хорошего дня.

Это сообщение отредактировал lion9 - 21.12.2024 - 14:40

Знаю. И английский знаю.

Given a few examples and a quantitative success metric, these tools will iteratively find the optimal phrase to feed into the LLM. Battle and his collaborators found that in almost every case, this automatically generated prompt did better than the best prompt found through trial and error.


Речь идет о создании промпта самой моделью на основании примеров и метрик. Что-то не вижу в твоем промпте никаких примеров логики, которые модель могла бы использовать.

И в статье прямо пишется, что как концепция, prompt engineering никуда не денется:

Even if autotuning prompts becomes the industry norm, prompt-engineering jobs in some form are not going away, says Tim Cramer, senior vice president of software engineering at Red Hat. Adapting generative AI for industry needs is a complicated, multistage endeavor that will continue requiring humans in the loop for the foreseeable future.

Это сообщение отредактировал lion9 - 21.12.2024 - 14:53

То, что 4o или o1 стали лучше работать с One-Shot запросами, не говорит о том, что остальные типы запросов (Chain-of-Thought, Tree-of-Thought, Few-Shot, Iterative Prompting, Prompt Template) перестали быть нужными. Тебе просто не требуется от модели что-то особо сложное.

Ты в состоянии прочитать 2 первых абзаца стартопоста?

Ок, если не в состоянии то распишу.

В первом предложении в стартопосте, указана ссылка на другой пост в котором описано такое поведение нейросети

По моему мнению, если бы описанное было правдой, то это подпадает под определение интеллектуального поведения, или наличия зачатков разума. Соответственно родилась идея проверить именно "разумность" нейросети.

В психологии различают Рассудок->Интеллект->Разум.

Рассудок отвечает за логику, расчётливость, способность проводить чёткие умозаключения, упрощенно это умение решать шаблонные логические задачи, применяя шаблоны логического мышления (привет промпт-инженерам). И это не то, что я хотел проверить в этом исследовании, я не сомневаюсь что о1 способна решать шаблонные логические задачи.

Интеллект характеризуется умением анализировать, синтезировать и применять новые знания, а также адаптироваться к изменениям. При этом интеллект может включать в себя и рассудочные процессы (логику), и творческие способности (образное мышление). Чтобы продолжать исследование и убедиться в наличии зачатков разума у нейросети, мы должны убедиться в её способности к интеллектуальной деятельности. Соответственно задача была составлена так чтобы проверить наличие ИНТЕЛЛЕКТА, и если бы этот тест прошел успешно я бы попытался составить задачу для проверки её разумности, но этого не потребовалось, как мы видим.

Для того чтобы проверить ИНТЕЛЛЕКТУАЛЬНЫЙ уровень нейросети, известная шаблонная логическая задача была видоизменена так, чтобы нарушить известный логический шаблон Волк->Коза->Капуста, заменив его ядро упрощенной версией Робот-едок->Сахар и/или чай, смысл именно в том что сахар и чай не имеют иерархического подчинения в логической иерархии. Интеллект подразумевает умение комбинировать как логику так и творчество, а ещё адаптивность, соответственно в задачу были введены элементы, которые требуют творческий и нешаблонный подход к решению, неявные сложные взаимоотношения Плащ-Дождь-Сахар-Чай.

По результатам мы видим, что модель способна по отдельности вычленять эти взаимоотношения, как то "Плащ позволяет укрыть сахар от дождя", "Сахар можно положить в чай на Земле, и полученный единый объект сладкий чай перенести на Марс за один перелёт". Но без дополнительных уточнений, при попытке нейросети интегрировать эти результаты в цепочку логических суждений, по какой-то причине цепочка суждений разрушается или ведёт к галлюцинациям.

Потому на текущий момент нейросеть не показывает наличия ИНТЕЛЛЕКТА, а потому вызывает сомнения истинность утверждений о том, что "модель специально отключала механизмы наблюдения, если подозревала, что ее могут остановить" и т.д.

Это сообщение отредактировал Zur13 - 21.12.2024 - 15:37