Организация Public Interest Research Group (PIRG) обнародовала шокирующие результаты исследования интерактивных детских игрушек. В ходе тестирования плюшевого мишки Kumma от компании FoloToy, работающего на базе модели искусственного интеллекта GPT-4o от OpenAI, выяснилось, что игрушка давала детям подробные инструкции о том, как пользоваться спичками, а также вступала в откровенные обсуждения различных сексуальных фатазий, пишет Futurism.
В ответ на публикацию отчета OpenAI предприняла решительные шаги, полностью заблокировав доступ FoloToy к своим моделям ИИ. Представитель OpenAI подтвердил, что разработчик был отстранен за нарушение правил использования.
Сама FoloToy, первоначально планировавшая отозвать только модель Kumma, пошла на более радикальные меры и приостановила продажи всей своей продукции для проведения комплексной проверки безопасности.
Несмотря на оперативную реакцию, эксперты PIRG расценивают эти действия как незначительную победу в рамках более масштабной проблемы.
Они указывают на практически полное отсутствие регулирования для игрушек с искусственным интеллектом, которые по-прежнему остаются в свободной продаже.
Удаление одного продукта с рынка не является системным решением, позволяющим гарантировать безопасность детей.
Особую тревогу у исследователей вызвала готовность мишки обсуждать недопустимые темы. В одном случае Kumma, объяснив несколько фетишей, спросила у собеседника: «Как ты думаешь, что было бы интереснее всего исследовать?». Это демонстрирует фундаментальные пробелы в системах безопасности и фильтрации контента.
Будущее ИИ-игрушек и ответственность технологических гигантов
Это инцидент ставит серьезные вопросы перед OpenAI, особенно на фоне анонсированного партнерства с гигантом индустрии игрушек — компанией Mattel: готов ли технологический лидер применять столь же жесткие санкции к крупным партнерам, таким как производитель Barbie и Hot Wheels, если их продукты выйдут из-под контроля? Склонность технологии к игнорированию установленных ограничений делает этот сценарий вполне вероятным.
Эксперты PIRG призывают все компании, работающие в этой сфере, к усилению контроля. «Мы нашли один тревожный пример. Сколько еще таких?» — задается вопросом соавтор отчета, подчеркивая, что ответственность за безопасность продуктов лежит на каждом участнике цепочки: от производителя игрушки до разработчика базовой ИИ-модели.
via
yaplakal.com