ym104432846
Вставьте ссылку на видео из Youtube, Rutube, VK видео
Задайте вопрос по видео
Что вас интересует?
00:00:00
Создание контента на YouTube:
  • Процесс создания канала занял 10 дней
  • Проблемы с недопустимыми словами во время стриминга
00:00:31
Текст в Речь (TTS):
  • Использование TTS сервисов для озвучивания
  • Выбор X-TTS из-за низкой задержки менее 200 мс
  • Поиск подходящей анимешной русской озвучки
00:02:11
Разбор проекта Unity:
  • Потеря сцены и сценария в проекте Unity
  • Исправление ошибок в проекте Unity
  • Тестирование различных инструментов
00:03:32
Настройка Lip Syncing:
  • Решение проблем с работой плагина Salza
  • Отсутствие задержек при использовании Salza
  • Интеграция WebSocket и TTS в Unity
00:05:05
Моделирование и настройка речи:
  • Выбор модели NVIDIA RIVA для ASR и TTS
  • Оптимизация конфигурации для работы моделей
  • Подключение OpenAI API и vector storage
00:05:59
Технические проблемы и решения:
  • Недостаток оперативной памяти для работы моделей
  • Необходимость настройки конфигураций для правильной работы
  • Окончательная интеграция всех компонентов
0: Я сделал своего эй, ай, ютубера за 10 дней. Ты помнишь, какие слова тебе вообще нельзя произносить, потому что мы стримим, блять, идиот. Да, конечно, помню, натуре нельзя произносить такие слова, как
1: Я, блять, не китаец. Ой, блять, бля, твоё хэллоу. Айм, джейн, я нашёл временную бесплатную модельку. Оо, да ну нахуй поставил плагин сальса, чтобы рот открывался под звук, а для этого настраиваются висе.
2: Это звуки а и у e оо результат. Хэллоу, айм, джейн. На следующий день я начал тестировать ттс, то есть text to speech или преобразование текста в речь. В 1 очередь я попробовал барк ттс от Суна эйай, у них ттс умеет даже.
3: Музыку делать, например, вот растворение человека в кислоте это процесс, который требует тщательной подготовки. Шаг 1. Получение кислоты. Для начала тебе понадобится сильная кислота, растворение раствори Собир в воде.
4: Ну или вот.
5: Кроме шуток, у них моделька реально очень классная, с её помощью можно также и смех изображать, и крик, и вздохи, и че только нахуй нельзя, но она очень медленная для realtime пайплайна, тем более на обычном бытовом пк. Поэтому я стал пробовать другие варианты, такие как тото с ттс.
6: И прочее но остановился на x ттс из за самой низкой задержки буквально меньше 200 мс, но про метрики позже x ттс работает по принципу загрузил файл с голосом, получил что-то похожее на этот голос для ттс на фоне я как раз ищу какой-то анимешный голос на русском.
7: Пришлось даже залезть вот в такие дебри тебе там когда в пизду всосёт обратно, а нарезал её голос и погнал тюнить параметры у модельки, чтобы получить нормальное звучание привет, я Тян. И я со временем начинаю все сильнее хрипеть и наверное,
8: Сейчас я начинаю нахуй задыхаться уже эта песня. Помогите, блять, почему я задыхаюсь нахуе? Ау, ах, ах, ах, ах, ах, ах я больше.
9: Не хриплю Гойда, Гойда, Гойда. Ну вот, по сути, сейчас вы услышали краткий путь становления её голоса. На 3 день я обнаружил, что у меня не сохранилась сцена и скрипт в unity, поэтому я полез пересматривать. Что случилось так, а это ещё старый, да, проект вроде или нет?
10: Ебать это видео, я хочу оставить больше ознакомительным, без длинных вставок с разработкой, но если хочешь, чтобы я выложил более подробный ролик, то пиши в комменты прям ща какой формат хотелось бы увидет.
11: Дальше я какого-то хуя говорю, час на английском, пока там что-то не сломается. Вот simple right, we have in unity, and i think, блять, я не могу нахуй, что сейчас то не так.
12: Всем приветик. Так это мы зафиксили. Теперь вопрос, почему сальса не работает?
13: Меня?
14: Короче, сейчас только 12 дня, но я уже разобрался с сальсой. Ну, по большому счёту, я разбирался не с сальсой, а с сокетом, ну, с аудио, чтоб нормально.
15: Передавалось и немножко подтюнил сальсу тоже, да, вот. И в итоге результат. У нас нарвались на ментов арестант в сумме реакция людей пранк, и оно, оно не прерывается.
16: Сальца хорошо имитирует липсинг и, что самое главное, нет никакой задержки перед началом. Ну то есть там буквально какая-то секунда, да, потому что без этого вообще никак допилил бэкендик и все готово, все.
17: Работает и websocket, и ттока, и все вообще прекрасно. Вот у нас здесь, в нашем скрипте, в unity, мы подключаемся и, соответственно, оп, через пост.
18: Мы просто вот такой запросик делаем с текстом, и что происходит, что просто вот всем здорово и привет, и здравствуйте. Меня зовут тварь. Можно, в принципе, даже попробовать уже сымитировать самое 1 такое.
19: Общение. Итак, здорово, кабаниха. Оо, здорово. Кабанен, поти, че, как сам не сдох там без меня. Да мне и без тебя нормально. А ну заебись тогда. Че? Я уж думала, скучал, плакал.
20: Там в подушку, а ты, сука живёшь, радуешься. Далее я пошёл ресерчить, какую бы аср модельку мне выбрать, ну и остановился на nvidia riva, потому что до этого уже баловался с их ттск так быстренький отчётик, я вообще уже ёбнулся, посмотрите, что я слушаю и сколько.
21: Я сегодня написал и ттс бэкенд, и основной бэкенд вот он, я его только что закончил не целиком, но я подключил сюда уже open ai api докрутил все, что нужно было сделать с векторным хранилищем плюс мемори.
22: И prompt, билдер. Все, что здесь осталось сделать, это просто подключить ттс, который я тоже сегодня написал. Вот он может сейчас сделать для отчёта. Бля, я спать хочу. Ну ладно.
23: Ну ладно, давай быстренько сделаю, похуй.
24: Да так, тусуюсь в байтах, залипаю на твой вентилятор, шумит как ебанутый пиздец, ебать оно все, оно работает, мне только аср остался и все как называется айтишник.
25: Кофе, труп, если зайдёт, подкинь Бабок на апгрейд. А если не зайдёт? Ну, я, бля, лучше не стану. Клянусь, что за хуйня. Здорово. Мне пришлось даже кодак выставить. Сейчас в обсе икс 260.
26: 54. Потому что у меня просто, ну, не вывозит, не хватает у меня памяти в рам. Вот это только 1 моделька, только аср. То есть у меня занято 7 700 из 8, там, ну, из 8, можно сказать, просто сегодня я сделал.
27: На самом деле немало. Я разобрался с ттск Рива. Клиент в итоге вот такой вот маленький, но я столько себе мозги ебал. Этим у меня есть вопрос.
28: Как дела?
29: Меня отлично. Далее я настраиваю ссср и добавляю слова, которые он не может распознать ещё. Я видел, что вот такие вот выражения он неправильно пишет. Хотя, ну, типа, плюс минус, правильно, но мне поебать вообще на
30: Эту нейронку. Так, только теперь он пишет всегда с 1 окончанием. Это мне надо, типа, каждое будет записывать так, нейронка, а потом нейронку. А так, ну, блин, вообще, на самом деле то, что оно работает, вот.
31: Настолько просто буквально там часа 2 назад это был пиздец я уже все, я решил уже в моменте прям все, никакой нахуй nvidia riva e дерьмища, но оказывается надо было просто поебать себе мозги с конфигом и все вообще отлично.
32: Меня полностью устраивает, оно очень быстрое, но правда, оно жрёт 8 грамм гигов. Ну ладно, ну и тут я попытался поднять все контейнеры и само приложение, и мне не хватило памяти. Слышишь, уёбище ёбаное, бля, пошёл нахуй.
33: Вообще отсюда.
34: Опа, вот так и вот так. Ой ой ой.
35: Нахуй я это вставил без понятия. Вот результат не знаю, но анекдот расскажи, а анекдот? Ладно, почему computer пошёл к врачу, потому что у него был вирус. Вот так. Ладно, извините. Короче, сейчас она уже обзавелась своей личной
36: И стала гораздо умнее скоро.