Автор Тема: Пришло время генерировать видео для музыкального клипа  (Прочитано 70 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 84446
  • Пол: Мужской
  • Есть вопросы? Пишите в личку
    • Награды
Традиционно предпочтение китайцам - Просмотр ссылок доступен только зарегистрированным пользователям Генерирует отрезки по 5 секунд, а потому нужно написать сценарий и разбить его на сцены. Для написания сценария использую ChatGPT. Ниже приведу сценарий. А пока о преимуществах Hailuo AI - делает очень реалистично и можно подгрузить фото героини или героя. Сценарий нужно писать очень чётко, описывая движение объекта, камеры и т.д. Всё, что не описано, с большой вероятностью будет истолковано не правильно и придётся снова становиться в очередь (у меня доходило в очереди до получаса, что намекает на то, что возможно лучше иметь мощную видеокарту и делать генерацию локально) и ждать генерацию. Но это опыт.

У меня переврал движение, платье сделал короткое вместо длинного (а мы знаем, что у ИИ традиционно проблема с генерацией ног в движении, поэтому лучше платье длинное) и т.д. Вообще с памятью у многих ИИ почему-то проблема. Каждый раз как будто бы с нуля.

Вообще, чтобы что-то слепить с помощью ИИ, нужно чётко понимать сильные и слабые стороны. Например, попросил сделать пол-оборота и прощальную улыбку героини, так ИИ так исказил лицо, что пришлось отказаться от этой идеи. Скорее всего, что ближние планы в движении это пока рано.

По итогу залью фрагменты в Телеграм.

Scene 1: First Steps
The camera opens on a picturesque European street: cobblestone roads, historic buildings, and flower pots on windowsills.
The woman from the photo appears, walking gracefully and confidently, a soft smile on her face.
Her hair flows gently in the breeze, and her dress sways slightly with each step.

Scene 2: Interaction with the Viewer
She pauses for a moment, tilts her head slightly as if noticing someone.
Taking a small step forward, she smiles warmly, looking directly at the camera.
She raises her hand slowly, giving a soft wave, inviting connection.

Scene 3: Sending a Kiss
The camera moves closer, focusing on her face in a close-up.
She gently touches her lips with her fingers and sends a kiss toward the viewer with a charming gesture.
Her eyes shine with warmth, and her smile lingers softly.

Scene 4: The Turn
She turns 180 degrees, taking a few steps forward before stopping. Looking over her shoulder, she offers a soft, final smile before continuing on her way.

Scene 5: Walking Away
The woman walks down the street in her long dress, her figure growing smaller with each step. The camera pulls back, revealing more of the serene cityscape as she disappears around the corner. The final shot lingers on an empty street, bathed in golden sunlight, evoking a sense of nostalgia and warmth.


Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 84446
  • Пол: Мужской
  • Есть вопросы? Пишите в личку
    • Награды
Re: Пришло время генерировать видео для музыкального клипа
« Ответ #1 : 25, Декабря 2024, Среда, 16:12:17 pm »
Вот, что получилось - Просмотр ссылок доступен только зарегистрированным пользователям Первые четыре фрагмента можно сшить, а пятый ни в ..., ни в Красную армию. Я не понимаю, как в промпте к каждому фрагменту описать обстановку, одежду, свет и т.д., чтобы потом это можно было сшить.


Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 84446
  • Пол: Мужской
  • Есть вопросы? Пишите в личку
    • Награды
Re: Пришло время генерировать видео для музыкального клипа
« Ответ #2 : 25, Декабря 2024, Среда, 16:49:54 pm »
Посмотрел несколько клипов, сделанных этим ИИ. Они реально клипы, с минимальной памятью между фрагментами. Вся память в цвете одежды, волос и т.д. До художественного эффекта очень далеко. После первого Вау наступает прозрение.

Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 84446
  • Пол: Мужской
  • Есть вопросы? Пишите в личку
    • Награды
Re: Пришло время генерировать видео для музыкального клипа
« Ответ #3 : 25, Декабря 2024, Среда, 20:08:49 pm »
Придумал лайфхак. Взял последний кадр из 4 фрагмента и попросил продолжить уход девушки по улице.

Промпт - Create a 5-second video continuing the scene where the girl walks away down the street. Use the provided frame as the starting point. The girl should continue walking into the distance, gradually moving away from the viewer. The street can be slightly lively: add a few passersby in the background, a light breeze that gently moves the girl's hair, and natural lighting that matches the time of day (e.g., soft evening light). Create smooth camera movement to make the viewer feel like they are following the girl but gradually falling behind. After completing this video, create another 5-second video continuing the scene from the exact point where the previous one ended.

Результат залил в Телеграм

Просмотр ссылок доступен только зарегистрированным пользователям

Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 84446
  • Пол: Мужской
  • Есть вопросы? Пишите в личку
    • Награды
Re: Пришло время генерировать видео для музыкального клипа
« Ответ #4 : 25, Декабря 2024, Среда, 20:40:00 pm »
Рекомендации от ChatGPT:

Рекомендации по созданию видео из кусочков по 5 секунд

1. Установите общий стиль и атмосферу

Задайте обстановку: Укажите локацию, время суток, освещение и настроение. Например: "A quiet cobblestone street at sunset, with warm golden light and a serene atmosphere."

Детализация: Если используются специфические элементы (длинное платье, ветреная погода), добавьте их в каждом промпте.

2. Укажите точную последовательность действий

Опишите действия так, чтобы они завершались логично и не обрывались. Например:

"The woman turns to face the camera and softly smiles."

"She slowly walks down the street, her dress swaying in the breeze."

Используйте слова, указывающие на плавность: "slowly," "gently," "gracefully."

3. Учитывайте переходы между сценами

Чтобы склейка выглядела естественно:

Убедитесь, что финальная поза или движение в одной сцене логично продолжаются в следующей.

Например:

Сцена 1: "The woman begins to turn 180 degrees."

Сцена 2: "Completing her turn, she takes a step forward, her dress flowing."

4. Работайте с повторяющимися элементами

Упоминайте характерные детали (одежда, прическа, обстановка), чтобы сохранить целостность.

Например: "Her long white dress flows softly in the gentle wind."

5. Определите длительность кадра

Для 5 секунд видео укажите количество действий: одно-два простых движения достаточно.

Пример:

"She takes two steps forward and pauses, looking ahead."

"Her hand brushes a flower as she walks by."

6. Упрощайте сложные движения

Избегайте резких или длинных движений в одной сцене, чтобы склейка оставалась плавной. Лучше разделить такие действия на несколько частей.

7. Стремитесь к визуальной рифме

Повторяйте или связывайте ключевые элементы из разных частей, например:

Начните с одного цвета в одежде или фоне.

Повторяйте похожие жесты, например, взгляд назад или развевающееся платье.

8. Пример готового плана для 5-секундных сцен

Сцена 1: Начало

"The woman stands still in the middle of a quiet street, her dress catching the golden sunlight."

Сцена 2: Движение

"She turns slightly, her gaze drifting towards the horizon, then begins walking forward."

Сцена 3: Завершение

"The camera follows her steps as she walks into the distance, her figure blending with the warm light."

Склеивая такие кусочки, вы получите связное и эстетичное видео.

Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 84446
  • Пол: Мужской
  • Есть вопросы? Пишите в личку
    • Награды
Re: Пришло время генерировать видео для музыкального клипа
« Ответ #5 : 26, Декабря 2024, Четверг, 09:21:08 am »
Придумал лайфхак. Взял последний кадр из 4 фрагмента и попросил продолжить уход девушки по улице.
Обнаружил ИИ-сервис, который может продлевать видео не по картинке и описанию, а прямо по загруженному видео - Просмотр ссылок доступен только зарегистрированным пользователям. Но когда загрузил видео и промпт, то оказалось, что всё, что с видео на входе, платное. Не дают даже протестировать, дословно - видеовходы только на платных тарифах. Написал им (Runway) письмо, как одним из лидеров рынка, с просьбой дать одну тестовую генерацию.