RVC Stalker Voices - нейросетевые голосовые модели персонажей Сталкера

[Warlock700 54]

Здравствуйте, Сталкеры.

Ни для кого не секрет, что нейросети сейчас развиваются семимильными шагами, в свою очередь хотел бы Вам представить возможности одной из них.

---

    RVC-Project - проект, чьей основной задачей является обучение голосовых моделей и преобразование с их помощью аудиофайлов. Достаточно нескольких минут в качестве образца речи, чтобы получить практически идентичный голос, сохранив основные его черты, и я не мог пропустить такую возможность в отношении сталкерских голосов. Мною было обучено несколько моделей, основанных на речи персонажей из вселенной Сталкер.
Для наглядной демонстрации предоставляю Вашему вниманию видеоролик, где собраны примеры по всем моделям, которые успел выпустить на текущий момент.

---

---

Созданные модели не являются финальными версия, по мере возможностей они будут улучшаться и переобучаться в случае создания новых алгоритмов или улучшения обучения, выхода новых версий RVC, а так же при использовании новых версий предобученных баз. На текущий момент предобученная база основана на англоязычном дата-сете, в связи с чем в иных языках появляются заметные уху артефакты. Существуют неофициальные предобученные русскоязычные базы, под которые со временем будут переобучены все модели. Ссылки на них будут добавлены в данной теме по мере их выхода.

---

Развитие проекта - патчноут:
13.02 - обучена модель Чехова и других свободовцев, озвученных голосом Григория Германа, проходит тестирование;
13.02 - обучена модель группировки Наемники, проходит тестирование;
13.02 - обучена модель Лесника, проходит тестирование;
13.02 - обучена модель речи Андрея Прохорова, основанная на черновых и релизных фразах, проходит тестирование;
13.02 - обучена модель Дегтярева, проходит тестирование;
13.02 - обучена модель коменданта Халецкого, проходит тестирование;
15.02 - протестирована и загружена модель Дегтярева;
15.02 - протестирована и загружена модель отца Валерьяна;
15.02 - протестирована и загружена модель Чехова и других бойцов Свободы в исполнении Григория Германа;
20.02 - протестирована и загружена модель Лесника;
21.02 - протестирована и загружена модель коменданта Халецкого;
22.02 - обучается, а в последствии будет протестирована модель новичков в озвучивании Руслана Гофурова;
23.02 - обучена модель Лебедева, проходит тестирование;
04.03 - протестирована и загружена модель новичков в исполнении Руслана Гофурова;
04.03 - протестирована и загружена модель голосов персонажей, озвученных Андреем Прохоровым;
04.03 - протестирована и загружена модель Ковальского из ЗП и Мельника из первых двух частей Метро 2033;
14.03 - протестирована и загружена модель Лебедева;
06.04 - протестирована и загружена модель голосов персонажей, озвученных Иваном Розиным; (Гонта, Гаваец и др.)
29.04 - загрузена оффтоп модель Мельника из Метро 2033 Исход.
17.05 - протестированы и загружены модели (разные претрейны) персонажей, озвученных на голосе Алексеем Череватенко (Борода, Ной и др.)

---

Ссылки на программное обеспечение, примеры использования голосовых моделей, ссылки на их скачивание:

Спойлер

RVC-Project - обучение моделей, преобразование аудиофайлов: скачать
Voice-changer от W-Okada - преобразование голоса в реальном времени: скачать
Applio - fork RVC, доступны все функции оригинального проекта, есть встроенный Text-to-Speech
RVC-TTS - версия программы, способная генерировать любой текст и озвучивать его встроенными в движок Edge моделями с последующим преобразованием полученного результата голосовой моделью RVC.
Скомпилированным пользователем с просторов сети RVC TTS:
https://drive.google.com/file/d/1Lf6LOyFUcMh6BYcNTv_xPw4M_aSBNgb8/view
Страница с кодом и инструкцией по самостоятельной компиляции:
https://github.com/litagin02/rvc-tts-webui

Спойлер

 

Скачать
 

Спойлер

Скачать
 

Спойлер

 

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

 

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать с Weight-GG (модель boroda-desser-comp-de_noise)
Скачать с Hugging-Face (все доступные модели)

Изменено 23 мая пользователем Warlock700
Добавлена новая модель

[Злобная реклама]

[Warlock700 54]

В 19.05.2024 в 13:35, Phantom_86 сказал:

Warlock700 Молодой - это точно один из разрабов 4а, который вместе с Профом из GSC перешел (уж не помню фамилию). В билдах Метро все реплики были озвучены им на пару с Профом, ну и как видно некоторые дошли до релиза (к слову его можно слышать также в некоторых билдах сталкера - Например). По старому - разрываюсь между Яценко и Сергеем Тихомировым (Тремор), еще повслушиваюсь.

"Кордан, Вано - 4 минуты 30 секунд" - это реплики только персонажей из ЗП, или уже включены фразы персонажей из Метро 2033, которые я выше скинул?

Ну и кстати, если вы заинтересованы в большом количестве материалов, то могу скинуть папку с озвучкой билда Metro Last light, где половина всей игры озвучена Прохоровым, чего нет в релизе.

Ооо, спасибо, это уже гораздо больше, чем ничего, как это было у меня до этого.) Значит надо будет искать, чей именно это голос, а уже после обучить и выложить модель. И если материала присутствует с Прохоровым во всех частях Сталкера в огромном количестве , то до релиза у этого разработчика совсем чуть-чуть дошло. А может быть и не дошло и это остатки от билдов, которые не вырезали полностью из игры.

 

По Кордану и Вано - это реплики из Сталкера ЗП и Метро 1-2, где голос чистый, без эффектов надетого шлема и рации. У Вано хоть и прилично фраз в игре, но они либо с эффектом надетого шлема, (Путепровод "Припять") либо с эффектом рации. Такие голоса я не использую, исключением был лишь Монолит, где персонажи всегда говорят с таким эффектом.

Хм... Предложение весьма заманчивое, но мне очень не хочется заниматься сортировкой снова.) Тем более, многие фразы будут повторятся с теми, что попали в релиз, из-за чего в итоге потребуется еще раз материал сортировать от того, что есть в папке у меня и того, что будет в этом билде. А я где-то два чистых дня убил только на сортировку голосов с Метро... В принципе, можете скинуть - пусть лучше будет,  вдруг появится необходимость дополнить материал на модели, ведь мне не обязательно заниматься сортировкой сию же минуту.)

---

Дополнено 9 минуты спустя

В 19.05.2024 в 13:35, Phantom_86 сказал:

 

Warlock700 Поправочка, как выяснилось - в озвучке Метро не участвовали ни Яцекно, ни Тихомиров, так что "старый" - это актёр, не причастный к сталкеру.

  Скрины титров 2033\ласт лайт (Показать контент)

 

Сортировку я делал фраз из релизных версий Metro 2033 Redux и Metro 2033 Redux Last Light, в титрах я тоже не обнаружил Яценко и Тихомирова. Но на Яценко голос очень похож.
 

Спойлер

Методом исключения можно предположить, что голос "Старого" персонажа из Метро - это Анатолий Зиновенко, поскольку среди актеров озвучивания Сталкера его не было. Ролик, откуда титры Last Light Redux взял: https://www.youtube.com/watch?v=s9G2kydljQ8

Может быть это и есть Яценко, но его не указали в титрах, поскольку голос ну очень похож на него.
Фразы из ЗП Яценко: Скачать - Google.Drive

На "Молодой" голос еще думал, что это Гофуров (Новички ТЧ), но его в игре мало оказалось - нашел лишь несколько фраз бандитов в его исполнении.
Левитский озвучивал Корбута и Москвина, поэтому это тоже не голос "Старого" персонажа.
Поэтому все это тайна, покрытая мраком...)
P.S.: Мне в игре не удалось нигде найти Алексея Зорина (Флинт из ЗП). Либо у него было очень немного фраз, либо же я перепутал его с кем-то, разместив его фразы в папку с другим актером.

Изменено 24 мая пользователем Warlock700

[macron 717]

Как всё наворочено. Получилось запустить сборку rvc-tts.rar на win7.  Скачал отсюда архив с x64 api-ms-win-core-path-l1-1-0.dll, добавил ее в папку к rvc-tts\Python310\python.exe.  Потом вылетало по cudart64_110.dll. Если вылетает, надо этот файл физически удалить (переименование не поможет).

Изменено 28 мая пользователем macron

[Warlock700 54]

6 часов назад, macron сказал:

Как всё наворочено. Получилось запустить сборку rvc-tts.rar на win7.  Скачал отсюда архив с x64 api-ms-win-core-path-l1-1-0.dll, добавил ее в папку к rvc-tts\Python310\python.exe.  Потом вылетало по cudart64_110.dll. Если вылетает, надо этот файл физически удалить (переименование не поможет).

За информацию спасибо, наверняка у кого-то возникнет необходимость в ней при установке на Win 7.

Благо, на Win 10 не требуется столько ухищрений для запуска, особенно если обновлены все библиотеки.

[BillyJin938 0]

Приложение запускается, но не работает. А с сайтом фигня

[Warlock700 54]

12 часов назад, BillyJin938 сказал:

Приложение запускается, но не работает. А с сайтом фигня

Какое именно приложение у Вас не работает? Если RVC, то какую версию использовали? RVC_AMD-INTEL, либо RVC-Nvidia? Версия Nvidia может не запуститься с старыми видеокартами этой компании, как и с видеокартами других производителей. Какая видеокарта установлена у Вас?
Что именно Вы подразумеваете под "А с сайтом фигня"? Какой именно сайт? Локальный адрес для работы с программой, либо сайт для скачивания моделей?

Изменено 3 июня пользователем Warlock700