OpenAI представляет Sora: Генератор видео по тексту для создания реалистичных 60-секундных роликов

Компания OpenAI, пионер в области искусственного интеллекта, представила свою новую нейросеть под названием Sora. Этот инструмент может создавать 60-секундные клипы 1080p, похожие на фильмы, на основе текстовых подсказок, зачастую добиваясь удивительно реалистичных результатов.

Sora может создавать сложные сцены с несколькими персонажами, определенными движениями и детализированными фонами, как описано в OpenAI.

OpenAI демонстрирует возможности Sora на примере женщины, прогуливающейся по улице Токио, исторических сцен золотой лихорадки в Калифорнии и далматинца, перемещающегося между оконными карнизами.

Кроме того, Sora может расширять существующие видеоклипы или заполнять недостающие кадры, что обеспечивает универсальность. Она также может создавать видео в различных стилях, включая черно-белый и анимационный.

Хотя на первый взгляд продемонстрированные примеры выглядят убедительно, при ближайшем рассмотрении можно обнаружить признаки искусственного интеллекта, например, неестественные движения или внешний вид персонажей и объектов.

OpenAI признает, что Sora все еще сталкивается с определенными проблемами, такими как точное моделирование физики и понимание конкретных причинно-следственных сценариев, например, оставление следов укусов на еде. Она также может испытывать трудности с пространственными деталями и точным временным описанием событий, например, отслеживанием определенной траектории движения камеры.

Учитывая потенциальные риски, связанные с подобными технологиями, OpenAI подчеркивает свою приверженность безопасности. Компания сотрудничает с экспертами в таких областях, как дезинформация и предвзятость, чтобы оценить и расширить возможности Sora. Они разрабатывают инструменты, в том числе классификатор обнаружения, для выявления недостоверного контента и анализа видео, созданных Sora.

Что касается этических аспектов, то возникают вопросы о данных, используемых для обучения Sora, хотя OpenAI предоставляет ограниченное количество подробностей, упоминая примерно 10 000 часов высококачественного видео.

В настоящее время Sora находится на стадии предварительных исследований, тестируется избранными пользователями, но не выпускается в открытый доступ из-за опасений по поводу возможного злоупотребления. OpenAI стремится привлечь к сотрудничеству политиков, педагогов и художников по всему миру, чтобы понять их точку зрения и найти положительное применение технологии.

Хотя Sora не является широкодоступной, генеральный директор OpenAI Сэм Альтман предложил сообществу идеи по созданию видеороликов с использованием Sora, некоторые из которых представлены в этой статье. Пока неясно, как Sora будет конкурировать с существующими генераторами текста в видео, такими как Runaway и Lumiere от Google.