0: В этом выпуске покажу генерацию анимации в контрол нет, и если коротко, то это выглядит вот так. Допустим, у нас есть определённая анимация, которую мы скачали с той или иной
1: Социальной сети и на основе вот этого входящего входящей нашей анимации мы можем, в принципе манипулировать нашим визуалом, то есть на основе вот, вот этой нашей дамы, да, танцующей мы получаем вот такие вот карты.
2: 1, это у нас получается карта глубины выглядит она вот так вот и на основе вот этой карты глубины мы можем поменять тут 1, это её волосы, точнее цвет волос. Также мы можем
3: Одежду, да, заменить ей, а также фон, но хочу сразу проговорить то, что вот, допустим, если мы загружаем модель, у которой длинные волосы, и она танцует, да, то в принципе, вот в движениях видно, как волосы двигаются, и вот именно
4: За рамки вот этих волос мы никогда не выйдем. То есть причёску поменять тут не получится. Можно поменять либо цвет добавить какие-то дополнительные, там, не знаю, вот там мелкие косички. Ну, понимаете, да, то есть вот если обратить внимание на её, на её
5: Грудь, то есть меньше вот сделать эту грудь не получится, да, то есть вот, вот это нужно понимать, это именно так работает карта глубины. Следующее мы получаем также вот такую вот это
6: Называется open пос, то да, то есть открытая поза на основе вот именно вот этих движений мы в принципе можем задавать какие-то, каких-то своих персонажей. Вот в этом случае уже мы можем задать вот именно своего персонажа, и он будет
7: Именно двигаться, так, как двигается, в принципе, вот этот скелет, да, то есть мы можем сюда загрузить, хоть, не знаю, там динозавра, да, который будет танцевать. Ну, не понятное дело, то, что лапки динозавра выглядят абсолютно не так. Но я думаю, принцип понятен. Тут мы
8: Можем загрузить абсолютно любого персонажа. Итак, чтобы приступить, я буду генерировать сегодня все это в своей сборке для ранпод, чтобы ознакомиться с моей сборкой ранпод. Можно посмо.
9: Смотреть вот именно вот этот ролик. А пока я зайду в свой диск и запущу какую-нибудь видеокарту, вот у меня сейчас доступны. Ну да, вот тут видно, что многих видеокарт пока
10: Они видимо заняты, поэтому я выберу вот rtx 50 90 и буду работать именно с ним.
11: Итак, после запуска я просто запускаю рабочий процесс Ван 2 точка 2 контрол нет, и сориентируюсь тут на рабочем пространстве. И 1, 1, что необходимо, это прогрузи.
12: Сам исходный материал, да, то есть нашу модель. Следующее. Нужно прогрузить саму анимацию, которую мы скачали с той или иной социальной сети, задать там параметр самой длины, да, этого.
13: Видео, точнее анимации, которую мы хотим получить. Следующее соотношение, разрешение самого видео. Вот. И тут я оставил вот такой вот блокнотик, в котором расписываю, что за что отвечает и где ука.
14: Точнее, как выставлять нужную нам карту, допустим, вот есть normal, есть deb, то есть карта глубины и есть open. Пос. Сейчас у меня стоит на карте глубины в hd, да, то есть в более лучшем качестве вот начнём.
15: Именно с него. Но перед тем, как я начну, хочу проговорить несколько таких лайфхаков. Да, так, так, можно так это назвать. 1. Перед тем, как мы приступим к анимации, нужно немного подготовиться. Я
16: 1. Возьму вот такую вот анимацию, сейчас я прогружу её. Вот такая вот анимация. Итак, следующее. Чтобы мне изменить, это более корректно. Мне нужно подготовить сам исходный материал. Что я делаю, допустим, у меня
17: Сейчас я вот так выведу вот сюда вот его, допустим, я 1, что сделал, я 1 кадр просто отскринил, то есть сделал скриншот. И вот наш 1 кадр. Следующее. Дальше. Что мы можем сделать, то это заменить на
18: Своего персонажа, абсолютно любого, какого вы хотите. Возможно, у вас есть своя модель какая-то, да, просто закидываем в любую генеративную модель. Вот допустим, у меня есть флаг склеен на 9 гигабайт.
19: На 9000000, точнее, миллиардов параметров. И, в принципе, там можно полностью заменить саму модель. Ну, на самом деле существует просто куча разных способов, да, по замене модели. Ну, я думаю, вы разберётесь. Итак, следующее я закину сейчас.
20: Её в раздел загрузки нашего референса. Следующее тут по разрешению соотношение нашей анимации. Все нормально. 1, да, как я говорил ранее, я 1 прогружу, это карта глубины. Итак,
21: И следующее. Это у нас получается пром, вот такой вот prompt, где, в принципе, я описываю, там синематик, фотореализм, фотореалистичная анимация, да, то есть видео молодой девушки, ну и так далее, и тому подобное. Итак, следующее тут, да.
22: Можно просто поставить на генерацию, я все генерация генерирую.
23: Вот, пожалуйста.
24: Результаты. Обратите внимание на само качество, как это выглядит по мне, так это очень и очень круто можно заменить, да, как я
25: Проговаривал ранее. Берём 1 кадр из нашего исходного материала, да, то есть нашего референсного изображения анимации. Меняем его на свою модель и вуаля получаем на основе. Вот у нас
26: Сама карта глубины это очень и очень качественная карта глубины. И на основе этой карты глубины мы можем поменять вот так вот нашу модель, точнее задать ей какие-то параметры. Так, ладно.
27: Следующую. Следующий наш пример сейчас загружу нашу танцующую девушку. Итак, вот это наша девушка. А пример вот такой вот. Сейчас я покажу, что я сделал так.
28: Вот я заменил тут, получается, ей цвет волос. Вот, ну, только цвет волос заменил вот следующее. Я поменял ей причёску и также укоротил ей, ну, точнее, сделал такие вот шортики, а также ещё добавил вот такой вот
29: Стиль аниме. Так прогружу 1 нашу, наш исходный материал, да, то есть вот эту исправленную там цвет с цветом волос. Вот, и
30: Сразу генерация. Так, сейчас сориентируюсь, чтоб было все ровненько. Вот и сразу генерация. Итак, вот у нас, получается, сгенерировалась сама карта нормальный. Сейчас я прогенератива на карте.
31: Нормалый, а потом прогенералит. Ой, то есть нормальный, говорю, этот глубины потом прогенералил. Ем нормали. Вот, да, дождёмся. Итак, вот наша мадам.
32: Все сохранилось. Ну, движение, понятное дело, одежда, волосы. Ну, вот как я и говорил, то, что мы можем поменять. Вот в этом случае с картой глубины мы можем поменять только какие
33: Характеристики по типу цвету волос, одежду. Вот. Ну да, как-то так. Давайте я переключу сейчас на open. Пос. Так, вбиваю троечку. Окей, все, параметр, параметр.
34: Задан. Следующее я прогружу уже вот такую вот, вот такой вот исходник, да, где у неё каре. Вот и посмотрим, как это будет выглядеть в целом. Да, просто генера.
35: Итак, вот мы получили сам скелет, да, нашей модели, и сейчас на основе этого скелета у нас анимируется вот наша, наш исходник, да, вот с этой моделью нашей. Вот, вот это вот. И ещё хочу пока
36: Казать, что ранпод не грузит мою систему. Я открою сейчас диспетчер задач. Вот мои системные настройки, ой, параметры. Вот в принципе, видеокарта работает в штатном режиме, как говорится, без
37: Без какой-либо нагрузки также цп не нагружено. Вот. Единственное, у меня сегодня с интернетом какие-то проблемы. Вот. Ну ладно, это не так важно. На самом деле. Вот. И оперативная память тоже самое, она особо не напрягается. Вот. Ну да.
38: То, что у меня сейчас открыта просто тонна разных вкладок google хрома, а также там обс работает. Ну, поэтому нагрузка есть на оперативной памяти, а так, в целом, вот, да, как-то так. Хотя, вот в обла,
39: Прям нагружается очень сильно видеокарта, видно то, что она там в 75 градусов уже печётся. Вот. Ну ладно, это нас не заботит как-то так. Да, сейчас дождёмся самой генерации и посмотрим как
40: Это будет выглядеть. Итак, и вот наша анимация, да, если посмотреть её немного поближе, то можно обратить внимание то, что она двигается действительно под ритм нашего скелета, да, то есть так это и работает в принципе.
41: Так, ладно, я предлагаю следующий вариант. Это у нас получается анимационная вот такая вот картиночка, да, то есть та же самая модель, только в аниме стиле. И тут я предлагаю сделать её уже в normal, да, то есть
42: Вобью 0, переключу на normal и сейчас нормал он будет отталкиваться от нашей, от нашего исходника. Вот именно то, что мы загрузили с длинными волосами. А наш пример, он в каре, поэтому
43: Мне лучше всего взять вот, вот этот исходник для более корректного результата. Поэтому я прогружу именно вот этот исходник скарее перетащу. И да.
44: Все переключил и да, генерация. Ну я тоже вот поставил на генерацию, а вот промп не изменил, поэтому его нужно изменить именно под стиль, который мы хотим достичь. Я
45: Shut, аниме, стиль, аниме, картон, видео, ну и так далее. В общем, аутентичный именно вот этому визуалу, да, вот. И генерация. Ну да, все-таки, как бы я не менял промт, как бы я не менял какие-то настроечки, реалист.
46: Не избежать получается то, что normal on заточен исключительно под реалистик, поэтому да, я не буду мучить его и просто переключусь на open, пос. Вобью троечку и сразу генерацию, ну и.
47: Плюс тут можно понять, что эта настроечка, она, получается, не подходит, как говорится, все кристально прозрачно, да, дождёмся. Итак, это уже другое дело. Можно пронаблюдать, да, 1 кадр он почему?
48: Это прям вот очень ярко так засвечивается. Ну, такое бывает, это все дело в настройках. Я думаю, тут нужно поменять, точнее, изменить саму длину вот анимации, и это исправится. Ну, также можно на постпродакшене это
49: Просто вырезать все. Я просто знаете, вот именно вот эту настройку с картой нормалей я её тестировал только на каких-то реалистичных, да, изображениях, на каком-то стилизованном под арт либо аниме. Я
50: Не тестировал, просто хотел сейчас просто посмотреть, как это будет выглядеть, но не получилось. Но зато теперь вы будете знать то, что вот именно с функцией нормал, какие-то более рисованные визуальные решения, они
51: Ну, не сработают. Вот в остальном, да, можно делать вот такие вот интересные всякие анимации, но уже если мы загружаем, получается, какую-то аниме, стилистику, то получаем более анимешный стиль, что бы хотел ещё проговорить.
52: А хотел проговорить о том, что всегда подготавливайте свои материалы перед тем, как вы генерируете, генерируете какие-то изображения, да? Ну точнее анимацию. Допустим, у нас есть анимация, в которой у нас есть движение, которое
53: Мы хотим перенести, ну, в свою модель не получится. Точнее не то, что не получится, не нужно делать вот так вот просто загрузил там лицо и сидеть, ждать, пока генеративная модель сделает за тебя какие-то действия. Оно так не работает. Нужно всегда подготавливать. То есть, если у нас
54: Есть сейчас я так, если у нас есть определённая анимация с движениями, возьмите вот просто вот как я показал ранее, возьми, возьмите, просто сделайте скриншот вот именно этой модели.
55: Вот, и просто просто замените её, замените на свою модель и все. Оно будет работать намного лучше. И результат будет всегда корректный, потому что, ну, здесь и движение синхронизируется, и сам исходный материал синхронизирует.
56: И, в принципе, когда вы подготавливаете все материалы именно корректно, то вы и получите корректный результат. А когда вы загружаете вот просто лицо и думаете, что это получится, знаете, вот как аутентично, допустим, вот, вот этой анимации, да, то есть она
57: Работает она как бы перенесёт лицо, но будут погрешности и много разных Косяков, которые придётся потом либо исправлять, либо сидеть и разочаровываться. Так не нужно. Подготовились, сделали. Вот как я показал сегодня, вот также, вот, как я и говорил ранее,
58: Тестировать, закидывать какие-то свои лоры, либо скачивать какие-то лоры на детализацию, на какой-то эффект. Возможно что-то вы делаете прям гипер реалистичное, либо возможно вы делаете что-то Hiper, какое-то творческое, да там
59: С эффектами там рисовки ну знаете, разные эффекты есть. Вот на том же гитхабе можно найти, на том же можно Хагин фейсе найти и на том же cwt там очень много материалов, на самом деле, вот как-то так. И ещё хочу про
60: Говорить о наборе своих инструментов, которые в принципе сейчас доступны как для локальной генерации, также для облачной генерации того же самого ранпод, отсканировав вот этот QR-код, да попав на мой бусти можно найти все мои мате.
61: Материалы там и лежит сборка для локальной генерации, которая включает в себя sage, аттеншен, флеш, аттеншен, тритон не нужно ни над чем париться, установил и генерируй, но также есть пакеты рабочих процессов того или иного.
62: Семейство генеративных моделей, которые, в принципе, уже настроены и готовы к работе. Можете выбрать то, то, что вам интересно. А ещё более подробно о моих инструментах можно, в принципе, ознакомиться в моём информационном теллеграм канале, где в при
63: В принципе, я публикую абсолютно всю информацию проекта.