Программист Дэниел Мэй (Daniel May) одним из первых обратил внимание, что ИИ-боты разных компаний регулярно упоминают в генерируемых ими рассказах некоего Элиаса Торна. Некоторое время оставалось загадкой, кто это на самом деле. Теперь же опубликован отчёт по результатам исследования данного вопроса. Вероятно, упоминания Торна в рассказах ИИ связаны с работой ограничительных механизмов нейросетей, устанавливаемых в процессе обучения систем в целях безопасности.
Разобраться в этом вопросе решили исследователи Корнеллского университета в США Сайл Гамильтон (Sil Hamilton) и Дэвид Мимно (David Mimno). Они использовали несколько ИИ-моделей, включая OpenAI GPT-5.4 Mini, Anthropic Claude Haiku 4.5 и Google Gemini 3.1 Flash Lite, для генерации рассказов на основании пяти разных подсказок. После этого они проанализировали около 20 тыс. сгенерированных ИИ-ботами историй и обнаружили поразительное количество повторений.
Оказалось, что слова «маяк», «смотритель», «пекарь», «мэр», «часовщик», «рыбак», «библиотекарь», «кондуктор», а также имена «Мара», «Элиас» и «Элара» встречаются в 88 % всех сгенерированных историй. Ни одна комбинация из этого небольшого набора существительных не встречается чаще, чем «Элиас, смотритель маяка». Она обнаружилась в двух третях сгенерированных рассказов.
Так в чём же дело? Сначала исследователи предположили, что это может быть связано с данными, которые использовались для обучения языковых моделей. Однако от этой идеи они отказались, когда не смогли найти подтверждений того, что словосочетание «Элиас, смотритель маяка» с чрезмерной частотой встречается в наборах, используемых для обучения данных, или в литературе.
Исследователи связали рассматриваемую особенность с конкретным набором данных, который активно использовался для обучения ИИ-моделей разными разработчиками. В качестве примера они привели WildChat — открытый набор данных, состоящий из миллионов разговоров людей с чат-ботом на базе GPT-3.5. Этот набор данных создали для того, чтобы помочь исследователям понять, как люди общаются с ботами, но с тех пор его множество раз задействовали для обучения ИИ-моделей.
Исследователи предполагают, что рассматриваемая особенность при генерации историй ИИ-ботами обусловлена работой защитных механизмов, которые должны уводить ИИ-модели от защищённых авторским правом персонажей и контента для взрослых. Вероятно, в результате этого и появились «безопасные» альтернативы, такие как «Элиас, смотритель маяка». Отмечается, что имя Элиас можно встретить не только в сгенерированных детских сказках, но и в рассказах в жанре фэнтези. Элиас Торн также был обнаружен как автор книг, включая справочник с информацией об альтернативных способах лечения рака.
Как бы то ни было, странная особенность повествования ИИ-моделей является хорошим напоминанием о том, что нейросети не креативны. Проведённое в прошлом году исследование показало, что ИИ-модели создают изображения, попадающие в 1 из всего 12 конкретных мотивов, независимо от того, насколько необычное описание даёт пользователь.
Я не умею генерировать изображения, но могу описать текстовый портрет этого персонажа.Имя Элиас Торн (Elias Thorne) — это знаменитый феномен в мире искусственного интеллекта. Из-за особенностей обучения нейросетей и алгоритмов безопасности этот персонаж стал самым частым «героем по умолчанию» в миллионах вымышленных историй, где он чаще всего предстает в образе мудрого смотрителя маяка, загадочного часовщика или архивного исследователя.Вот как выглядит классический текстовый портрет Элиаса Торна, сотканный из тысяч сгенерированных историй:Внешность и черты лицаВзгляд: Глубокие, проницательные глаза цвета штормового моря или потускневшего серебра. В них читаются годы уединения и скрытая мудрость.Лицо: Худощавое, с резко очерченными скулами и благородными морщинами вокруг глаз. Кожа тронута загарной обветренностью — след многих лет, проверенных на морском ветру.Волосы: Густые, тронутые благородной сединой, слегка растрепанные, словно он только что вернулся со смотровой площадки маяка.Руки: Крупные, узловатые пальцы человека, привыкшего к физическому труду и точным механизмам — будь то починка линзы Френеля или перелистывание старинных фолиантов.Одежда и стильГардероб: Плотный, поношенный свитер крупной вязки цвета неотбеленной шерсти или глубокого синего оттенка.Верхняя одежда: Тяжелый штормовой плащ или темное пальто с поднятым воротником, защищающим от брызг и ветра.Детали: На шее может быть простой потертый шарф, а в кармане — старинные карманные часы или трубка.Атмосфера вокруг (Бэкграунд)Окружение: Полумрак каменной башни, свет от керосиновой лампы, блики на стекле. За его спиной угадываются полки с пожелтевшими картами, книгами и блестящими латунными инструментами.Настроение: Спокойная меланхолия, абсолютное одиночество и непоколебимая верность своему долгу перед бушующей стихией.
Оmne quod transit, et hoc non factum est • На сайте 13 лет
0
Элиас Торн, а Элара? Тоже Торн, или у неё другая фамилия? Короче правды мы не узнаем, разве, что, когда все станет очевидным.
Размещено через приложение ЯПлакалъ
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
5 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
yaplakal.com