Проверяем "умность" ChatGPT о1

А скольки людям на планете от модели нужно что-то особо сложное? И сколь долго для этого будут нужны инженерные промпты, уже вон полно нейросеток, которые сами инженерят промпты, взять тот же генератор промптов Anthropic или Prompt Perfect или Hugging Face. В следующей итерации достаточно будет их интегрировать в интерфейс ChatGPT и на этом весь промпт-инженеринг окончательно закончится.

Лягушек в куче стран традиционно в школах для изучения резали. Не одно столетие причём.
Кишки они не видали, угу

Ну всё, пришёл эксперт и всё прояснил, надеюсь спор про лягушачьи кишки, на этом закрыт, давайте лучше вернёмся к теме и будем спорить про то как скайнет будет распоряжаться человечьими кишками

Эта причина - недостаточно конкретный промпт. О чем я и писал уже неоднократно.

Это сообщение отредактировал lion9 - 21.12.2024 - 15:43

claude.ai

Нахуй ты его обучаешь ?

попробуй claude, он на голову лучше GPT код пишет.

Хорошо, давай интересу ради подискутируем в этом направлении. А сколько раз ты прогнал свой промпт на тестах? Вдруг ты просто всегда попадал в 95% случаев, когда модель не демонстрирует разумного поведения?

Это сообщение отредактировал lion9 - 21.12.2024 - 15:54

Многим. Или ты думаешь, раз тебе не надо - то и никому не надо? Кроме того, для простых задач, но масштабно, например, предоставление AI-тула всем работникам компании, тебе не нужна дорогая и крутая модель. Проще написать хороший промпт, выдающий консистентный результаты, и юзать более дешевую.

Это сообщение отредактировал lion9 - 21.12.2024 - 15:55

Если нейросеть не способна ответить на "недостаточно конкретный промпт", то это признак отсутствия ителлекта. Способность отвечать только на шаблонные "конкретные" промпты признак рассудочного уровня мыслительной деятельности. Адаптивность один из признаков интеллектуального уровня. Для того чтобы определить интеллектулальность нейросети и был создан такой запрос.

Заметь, человек без труда находит несколько решений такой задачки, включая нестандартные, как ты сам писал в другом своём комментарии, вот это комбинирование творческого и логического подходов при решении задачи - признак интеллектуального уровня мыслительной деятельности.

Да многие в работе используют. для таких целей можно и 200 баксов за GPT PRO потратить

Ну я вот тебя тоже не понял, как и ChatGPT . Научись сначала свои мысли формулировать так, чтобы тебя другие люди могли понять хотя бы.

Давай тогда на конкретных примерах, какой из твоих запросов к ChatGPT o1 не смог бы быть корректно решён без использования промпт инженеринга? Сейчас сразу и зададим его же в обычной человеческой манере и сравним решения. Как я написал я в этом году ещё ни разу не столкнулся с ситуацией когда бы мне понадобился промпт-инженеринг, видимо ты столкнулся.

Эм, мы говорим конкретно о промпт-инженеринге, причём тут ПРО режим ChatGPT?

Странно, мои коллеги поняли и смогли решить задачку, ребёнок 10 лет тоже понял и смог, а ты не понял, но ты не переживай это всё неправильно сформуллированные мысли виноваты

Проанализировать файл на 2000 строк кода с несколькими сотнями функций на предмет соблюдения принципов Clean Code (принципы подробно описаны в промпте, и их много), выдать исчерпывающие предложения по рефакторингу всех найденных нарушений. Анализ должен быть консистентным, в результате модель должна найти все нарушения, а не рандомно примеры таковых.

One-Shot тут не поможет. Модель не умеет применять кучу правил к куче сущностей.

Не душни, это не пост в рецензируемый научный журнал, это пост на развлекательный портал для обсуждений. В посте я написал, что запускал несколько раз и на разных языках, и коллеги тоже игрались. В сумме получилось с полсотни экспериментов, результаты всегда похожи. Если тебе это интересно то можешь продолжить эксперименты, я вроде достаточно точно описал свою методологию, ну а я же не считаю, что если модель может показывать псевдоинтеллектуальное поведение только в 5% случаев, то это будет свидетельствовать об интеллекте, просто случайные флуктуации.

Да и почему ты из того поста не вытянул и эту фразу

Мы говорим о разных применениях, я говорил об отсутствии необходимости в промпт-инженеринге в обычных запросах, а не при инструментальном использовании его через АПИ. Для инструментального применения ещё нужен, как я и написал выше, пока ещё инструменты для автоматической генерации промптов не были интегрированны в сами модели, да и такие инструменты пока не идеальны скажем мягко.

Насколько я понял из обсуждения, что бы плодотворно работать с ИИ, надо задавать правильные вопросы. Как известно, правильно заданный вопрос подразумевает наличие ответа. Нифига не поменялось в этом мире.

Выглядит как классическая галлюцинация модели. У меня нет претензий к твоим выводам, разумеется, модель неразумна. У меня вопросы к научности и методологии твоего «эксперимента», а также к твоему утверждению, что prompt engineering - это «развод для лохов».

Это сообщение отредактировал lion9 - 21.12.2024 - 17:40

1. Ты ничего не упоминал про обычные запросы;
2. Общаясь через API, я с какой-то другой моделью общаюсь разве?


Мы же можем запихнуть файл вложением (про Retrieval-Augmented Generation ведь слышал, наверное) и написать One-Shot промпт для решения моей задачи, в обычной человеческой манере. И модель не справится. Ты ведь такой пример и хотел, к чему ты вообще про API?

Это сообщение отредактировал lion9 - 21.12.2024 - 17:50

а прикиньте именно этот запрос с запутанной загадкой и станет тем самым толчком к его развитию и поумнению, с последующим порабощением Мира..
и через много лет отправится кто-то в прошлое чтобы убить ТС-а

Это сообщение отредактировал LovelAss - 22.12.2024 - 01:31

Нет, это вы такие наивные - думаете, что если кто-то назвал "нейросеть" - "Искусственным Интеллектом" (так выгоднее), то это так и есть и "разум родился"

Выпускать в публичный доступ "кастрированную версию" просто для рекламы технологии - слишком дорого, даже просто по затратам электроэнергии на сервера.
Это действительно экспериментальная площадка - наработка опыта модели в решении задач и сбор "косяков" для разработчиков.
Миллионы бесплатных "тестировщиков" - мечта разраба...