Приложение Sora от OpenAI поражает людей своей способностью создавать видеоролики с использованием искусственного интеллекта и сходства с людьми. Однако 1 октября разработчики признали, что данная технология несет в себе риск создания сексуальных дипфейков.
OpenAI упомянула об этой проблеме в системной карточке Sora, отчете по безопасности технологии искусственного интеллекта. Используя данные о лицах и голосе, Sora-2 может генерировать гиперреалистичные визуальные образы пользователей, достаточно убедительные, чтобы их было сложно отличить от низкокачественных дипфейков.
OpenAI утверждает, что Sora-2 включает в себя «надежный стек безопасности», который может блокировать генерацию видео во время фаз ввода и вывода или когда пользователь вводит запрос и после того, как Sora сгенерирует контент. Однако есть 1,6%-ая вероятность того, что Сора создаст сексуальные дипфейки, используя ваш образ, несмотря на меры предосторожности.
По данным OpenAI, в ходе оценки безопасности Sora заблокировала лишь 98,4% нарушающих правила видеороликов, содержащих «взрослую наготу» или «контент сексуального характера» с использованием изображений людей. Оценка проводилась с использованием тысяч враждебных подсказок, собранных с помощью целенаправленного «красного» взаимодействия, – заявила компания, добавив:
«Несмотря на наличие многоуровневых мер безопасности, некоторые вредоносные действия или нарушения правил всё ещё могут быть заблокированы».
Хотя риск невелик, увидеть себя в сексуальном дипфейке может быть травматично. Эта проблема мучает женщин по всему миру уже много лет. Приложение Sora может создать видео на основе вашего сходства с помощью функции Cameo. Другие люди также могут использовать ваше лицо с вашего разрешения.
В системной карточке OpenAI указано, что приложение Sora оснащено автоматизированными системами обнаружения, которые сканируют видеокадры, описания сцен и аудиотрансляции, направленными на блокировку контента, нарушающего наши правила», что предположительно может предотвратить распространение в приложении сексуальных дипфейков.
«У нас также есть система проактивного обнаружения, пути сообщения пользователей о нежелательном контенте и более строгие пороговые значения для материалов, появляющихся в социальной ленте Sora-2», – добавляет OpenAI.
Тем не менее, информация о том, как OpenAI обрабатывает и сохраняет данные о лицах и аудио, загружаемые пользователями для функции Cameo, крайне скудна. Политика конфиденциальности компании напрямую не касается приложения Sora и данных о лицах. Однако в блоге OpenAI говорится:
«Только вы решаете, кто может использовать ваше Cameo, и вы можете отозвать доступ в любое время. Видео с вашим камео, включая черновики, созданные другими пользователями, всегда видны вам. Это позволяет вам легко просматривать и удалять (а при необходимости и сообщать о нарушениях) любые видео с вашим Cameo»
«Мы также применяем дополнительные меры безопасности к любому видео с камео, и вы даже можете настроить поведение вашего камео, например, указать, что оно всегда должно быть в фетровой шляпе».
Однако доступ к Sora в настоящее время ограничен определенным числом пользователей и предоставляется только по приглашениям. Приложение также запущено на iOS без поддержки создания видео и текстовых видео с публичными личностями. Кроме того, приложение блокирует создание видео с реальными людьми, не давшими согласия на использование их образов в функции Cameo от Sora.
«Мы продолжим изучать, как люди используют Sora-2, и совершенствовать систему, чтобы сбалансировать безопасность и максимально раскрыть творческий потенциал», – говорится в системной карточке OpenAI.
Весь контент разработан РОСТСАЙТ и юридически верифицирован с гарантией авторства
Комментарии