RVC Stalker Voices - нейросетевые голосовые модели персонажей Сталкера

[Warlock700 57]

Здравствуйте, Сталкеры.

Ни для кого не секрет, что нейросети сейчас развиваются семимильными шагами, в свою очередь хотел бы Вам представить возможности одной из них.

---

    RVC-Project - проект, чьей основной задачей является обучение голосовых моделей и преобразование с их помощью аудиофайлов. Достаточно нескольких минут в качестве образца речи, чтобы получить практически идентичный голос, сохранив основные его черты, и я не мог пропустить такую возможность в отношении сталкерских голосов. Мною было обучено несколько моделей, основанных на речи персонажей из вселенной Сталкер.
Для наглядной демонстрации предоставляю Вашему вниманию видеоролик, где собраны примеры по всем моделям, которые успел выпустить на текущий момент.

---

---

Созданные модели не являются финальными версия, по мере возможностей они будут улучшаться и переобучаться в случае создания новых алгоритмов или улучшения обучения, выхода новых версий RVC, а так же при использовании новых версий предобученных баз. На текущий момент предобученная база основана на англоязычном дата-сете, в связи с чем в иных языках появляются заметные уху артефакты. Существуют неофициальные предобученные русскоязычные базы, под которые со временем будут переобучены все модели. Ссылки на них будут добавлены в данной теме по мере их выхода.

---

Развитие проекта - патчноут:
13.02 - обучена модель Чехова и других свободовцев, озвученных голосом Григория Германа, проходит тестирование;
13.02 - обучена модель группировки Наемники, проходит тестирование;
13.02 - обучена модель Лесника, проходит тестирование;
13.02 - обучена модель речи Андрея Прохорова, основанная на черновых и релизных фразах, проходит тестирование;
13.02 - обучена модель Дегтярева, проходит тестирование;
13.02 - обучена модель коменданта Халецкого, проходит тестирование;
15.02 - протестирована и загружена модель Дегтярева;
15.02 - протестирована и загружена модель отца Валерьяна;
15.02 - протестирована и загружена модель Чехова и других бойцов Свободы в исполнении Григория Германа;
20.02 - протестирована и загружена модель Лесника;
21.02 - протестирована и загружена модель коменданта Халецкого;
22.02 - обучается, а в последствии будет протестирована модель новичков в озвучке Руслана Гофурова;
23.02 - обучена модель Лебедева, проходит тестирование;
04.03 - протестирована и загружена модель новичков в исполнении Руслана Гофурова;
04.03 - протестирована и загружена модель голосов персонажей, озвученных Андреем Прохоровым;
04.03 - протестирована и загружена модель Ковальского из ЗП и Мельника из первых двух частей Метро 2033;
14.03 - протестирована и загружена модель Лебедева;
06.04 - протестирована и загружена модель голосов персонажей, озвученных Иваном Розиным; (Гонта, Гаваец и др.)
29.04 - загружена оффтоп модель Мельника из Метро 2033 Исход.
17.05 - протестированы и загружены модели (разные претрейны) персонажей, озвученных голосом Алексея Череватенко (Борода, Ной и др.)

---

Ссылки на программное обеспечение, примеры использования голосовых моделей, ссылки на их скачивание:

Спойлер

RVC-Project - обучение моделей, преобразование аудиофайлов: скачать
Voice-changer от W-Okada - преобразование голоса в реальном времени: скачать
Applio - fork RVC, доступны все функции оригинального проекта, есть встроенный Text-to-Speech
RVC-TTS - версия программы, способная генерировать любой текст и озвучивать его встроенными в движок Edge моделями с последующим преобразованием полученного результата голосовой моделью RVC.
Скомпилированный пользователем с просторов сети RVC TTS:
https://drive.google.com/file/d/1Lf6LOyFUcMh6BYcNTv_xPw4M_aSBNgb8/view
Страница с кодом и инструкцией по самостоятельной компиляции:
https://github.com/litagin02/rvc-tts-webui

Спойлер

 

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

 

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать с Weight-GG (модель boroda-desser-comp-de_noise)
Скачать с Hugging-Face (все доступные модели)

Изменено 3 ноября пользователем Warlock700
Добавлена новая модель

[Злобная реклама]

[Mad Hikki 342]

У кого нибудь есть гайд по всему этому?(установка,использование и тд)

[Zone_lover 8]

Звучит очень хорошо 

---

Дополнено 4 минуты спустя

Думаю рано или поздно это будет использоваться во многих модах 

[Warlock700 57]

В 13.02.2024 в 14:15, Mad Hikki сказал:

У кого нибудь есть гайд по всему этому?(установка,использование и тд)

Пока только от других пользователей. Постараюсь в ближайшее время создать ролик и напишу текстовую инструкцию.

На примере создания AI Cover и сообщения для одного из пользователей, который задал тот же вопрос:
Вам необходимо скачать программу RVC-Project, к примеру с официального репозитория разработчика:
https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main
Если у Вас видеокарта от Nvidia с поддержкой CUDA ядер, то качайте архив RVC1006Nvidia.7z, а если AMD, либо нет CUDA ядер, то RVC1006AMD_Intel.7z.
После того, как архив скачан и распакован - запускаете .bat файл go-web.bat и перейдите на сервер RVC.

Чтобы было возможным подменять голос - модель нужно добавить. Необходимо файл расширения .pht переместить в папку ...\RVC\assets\weights, файл расширения .index советую разместить в папке ...\RVC\logs.
 

Инструкция для Voice-Changer, так же с ютуба:

 

---

Дополнено 4 минуты спустя

В 13.02.2024 в 14:53, Zone_lover сказал:

Звучит очень хорошо 

---

Думаю рано или поздно это будет использоваться во многих модах 

А если разработки в данном направлении продолжаться, а так же переделаю свои голосовые модели, то остальное останется за малым - найти человека с хорошим поставленным голосом и актерскими талантами и дело в шляпе...)

Изменено 20 февраля пользователем Warlock700

[Витька Kolkison 93]

[Hunter 2 504]

Круто)

[Warlock700 57]

Протестирована и загружена модель майора Дегтярева. Обновлено описание.
Демонстрация возможностей:
 

 

Спойлер

https://www.weights.gg/ru/models/clsp1nx0z0011und7aa4i5nw9

 

---

Дополнено 5 минуты спустя

Протестирована и загружена модель отца Валерьяна. Обновлено описание.
Демонстрация возможностей:

Спойлер

https://www.weights.gg/ru/models/clsp1faor004m3lhbg370ozip

 

---

Дополнено 6 минуты спустя

Протестирована и загружена модель Чехова и других бойцов Свободы, озвученных Григорием Германом. Обновлено описание.
Демонстрация возможностей:

Спойлер

https://www.weights.gg/ru/models/clsp1alky003jbkkz9ygsqmql

 

Изменено 16 февраля пользователем Warlock700

[Warlock700 57]

Протестирована и загружена модель Лесника. Обновлено описание.
Демонстрация возможностей:

 

Спойлер

https://www.weights.gg/ru/models/clsuarkhf003a2w1f629ttrrv

 

---

Дополнено 42 минуты спустя

Протестирована и загружена модель коменданта Халецкого. Обновлено описание.
Демонстрация возможностей:

Спойлер

https://www.weights.gg/ru/models/clsuw3vd2005btjk9zdyh2n1n

 

Изменено 20 февраля пользователем Warlock700

[Saimys87 2]

В 13.02.2024 в 21:15, Warlock700 сказал:

Пока только от других пользователей. Постараюсь в ближайшее время создать ролик и напишу текстовую инструкцию.

На примере создания AI Cover и сообщения для одного из пользователей, который задал тот же вопрос:
Вам необходимо скачать программу RVC-Project, к примеру с официального репозитория разработчика:
https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main
Если у Вас видеокарта от Nvidia с поддержкой CUDA ядер, то качайте архив RVC1006Nvidia.7z, а если AMD, либо нет CUDA ядер, то RVC1006AMD_Intel.7z.
После того, как архив скачан и распакован - запускаете .bat файл go-web.bat и перейдите на сервер RVC.

Чтобы было возможным подменять голос - модель нужно добавить. Необходимо файл расширения .pht переместить в папку ...\RVC\assets\weights, файл расширения .index советую разместить в папке ...\RVC\logs.
 

Инструкция для Voice-Changer, так же с ютуба:

 

---

Дополнено 4 минуты спустя

А если разработки в данном направлении продолжаться, а так же переделаю свои голосовые модели, то остальное останется за малым - найти человека с хорошим поставленным голосом и актерскими талантами и дело в шляпе...)

Если бы всё так легко было...

[Warlock700 57]

1 минуту назад, Saimys87 сказал:

Если бы всё так легко было...

Основная сложность - наличие качественного микрофона и производительных комплектующих.
Наибольшие требования имеются к преобразовании голоса в реальном времени, в то время как для преобразования готового аудиоматериала со снижением производительности устройства увеличивается время на получение готового файла.

[Saimys87 2]

2 минуты назад, Warlock700 сказал:

Основная сложность - наличие качественного микрофона и производительных комплектующих.
Наибольшие требования имеются к преобразовании голоса в реальном времени, в то время как для преобразования готового аудиоматериала со снижением производительности устройства увеличивается время на получение готового файла.

Я вообще про установку, сам устанавливать замучался

[Warlock700 57]

9 минут назад, Saimys87 сказал:

Я вообще про установку, сам устанавливать замучался

Не сказал бы, что процесс трудный. Что RVC, что Voice-Changer - проекты скомпилированные. Для них даже не требуется устанавливать Python, все уже есть папке программы с прописанными путями и зависимостями. С некоторыми модификациями посложнее будет, ведь всего-то требуется:
Скачать подходящий архив с RVC;
Распаковать;
Переместить от имеющейся модели файл .pht в папку assetc\weight, а .index в в папку logs;
Запустить .bat файл и пользоваться.

Как по мне - сложнее подбирать параметры для преобразования голоса, поскольку это процесс не только творческий, но и требовательный к оригинальной аудиодорожке. Для получения хорошего результата может потребоваться не раз перезаписать голосовой фрагмент.

[Saimys87 2]

2 минуты назад, Warlock700 сказал:

Не сказал бы, что процесс трудный. Что RVC, что Voice-Changer - проекты скомпилированные. Для них даже не требуется устанавливать Python, все уже есть папке программы с прописанными путями и зависимостями. С некоторыми модификациями посложнее будет, ведь всего-то требуется:
Скачать подходящий архив с RVC;
Распаковать;
Переместить от имеющейся модели файл .pht в папку assetc\weight, а .index в в папку logs;
Запустить .bat файл и пользоваться.

Как по мне - сложнее подбирать параметры для преобразования голоса, поскольку это процесс не только творческий, но и требовательный к оригинальной аудиодорожке. Для получения хорошего результата может потребоваться не раз перезаписать голосовой фрагмент.

Ну я с командной строкой мучался, видать я один такой гений) Кстати, будет ли модель новичков в озвучке Руслана Гофурова?

[Modera 329]

На ютубе уже нашли хорошее прменение всем этим штукам)

 

[Warlock700 57]

1 час назад, Saimys87 сказал:

Ну я с командной строкой мучался, видать я один такой гений) Кстати, будет ли модель новичков в озвучке Руслана Гофурова?

В зависимости от того, что Вы пытались сделать. Если Вы хотели внедрить Tensorboard в RVC, то да - без этого не обойтись. В остальном - все должно работать сразу, остальные случаи являются исключением.

Не смогу сказать, насколько много материала имеется в озвучке Руслана Гофурова. Надо будет полазить в распакованных "ogg`шках"...

 

---

Дополнено 3 минуты спустя

1 час назад, Modera сказал:

На ютубе уже нашли хорошее прменение всем этим штукам)

 

Это все-таки text-to-speech, он зачастую проигрывает преобразованию живого голоса. Но сам факт имеется - голос любой модели можно сделать "говорилкой" текста.

Но конкретно применение из ролика такое себе, имхо... И я скорее про содержание, а не озвучивание.

---

Дополнено 20 минуты спустя

По преобразованию я на текущий момент могу только предоставить запись со стрима, где в реальном времени занимаюсь процессом. Ролик длинный, присутствуют моменты, в которых занимаюсь не преобразованием, а объяснением, в том числе по созданию AI каверов. Поэтому рекомендовать к просмотру могу только тем людям, у которых есть много свободного времени. Для полноценного и целенаправленного гайда я привык писать сценарий, что займет уйму времени. Порою маленький абзац придумать для персонажа - это задача на минуты 3, а для работы с RVC необходимо создать видеоматериал на минут 20-30, если не больше. Во всяком случае исходя из плана, имеющегося в голове. Для подобного нужно и вдохновение, и много свободного времени. Из своей практики по другим роликам написать сценарий и записать аудиоматериал - это на 15-20 часов чистого времени.
Можно, конечно, "отстреляться" за 3-5 минут, но боюсь, что вопросов после такого гайда будет больше, чем ответов.
И даже на такой гайд в качестве "галочки" необходимо время.

Собственно, запись стрима:

 

Изменено 21 февраля пользователем Warlock700

[Warlock700 57]

В 21.02.2024 в 14:24, Saimys87 сказал:

Ну я с командной строкой мучался, видать я один такой гений) Кстати, будет ли модель новичков в озвучке Руслана Гофурова?

Протестирована и загружена модель новичков в озвучке Руслана Гофурова. Обновлено описание.
Демонстрация возможностей:

Спойлер

https://www.weights.gg/ru/models/cltcoksh0035iod98n7rmkg1f

 

---

Дополнено 34 минуты спустя

Протестирована и загружена модель Ковальского из Сталкер ЗП и Мельника из Метро 2033. Обновлено описание.
Демонстрация возможностей:

Спойлер

https://www.weights.gg/ru/models/cltcoup6h03fwllczpn71s59b

 

---

Дополнено 14 минуты спустя

Протестирована и загружена модель Прохорова. Обновлено описание.
Демонстрация возможностей:

Спойлер

https://www.weights.gg/ru/models/cltcopfxv039jz1dbk1s2r7vw

 

Изменено 4 марта пользователем Warlock700

[Phantom_86 64]

А голос Бороды будет? Вроде у него реплик плюс-минус нормально

[Warlock700 57]

В 07.03.2024 в 08:17, Phantom_86 сказал:

А голос Бороды будет? Вроде у него реплик плюс-минус нормально

Попробую, но насколько я помню - у него не больше, чем 3-4 минуты набирается. Этого может быть мало для хорошей модели, но попытка - не пытка...)

[Phantom_86 64]

Warlock700 Ну кстати если что - в Metro Last Light есть немало реплик неписей, озвученных Алексеем Череватенко (Борода, Азот, Ной). Могу покопаться в озвучке и вытащить их все. Потом модель на основе этих реплик потенциально можно будет использовать для вышеупомянутых персонажей

[Warlock700 57]

2 часа назад, Phantom_86 сказал:

Warlock700 Ну кстати если что - в Metro Last Light есть немало реплик неписей, озвученных Алексеем Череватенко (Борода, Азот, Ной). Могу покопаться в озвучке и вытащить их все. Потом модель на основе этих реплик потенциально можно будет использовать для вышеупомянутых персонажей

Если Вы самостоятельно наберете фразы непосредственно из распакованных файлов, без эффектов рации и надетого шлема, то будет замечательно.) К сожалению, но не научился избавляться от данных эффектов, возвращая голосу обычное звучание, поэтому подходит для обучения только чистый голос.

Изменено 9 марта пользователем Warlock700

[Sikorskyi 274]

7 часов назад, Phantom_86 сказал:

Metro Last Light есть немало реплик неписей

Еще не стоит обходить вниманием игру Chernobylite.

Главного героя Chernobylite действительно озвучивает Александр Вилков.

[Warlock700 57]

19 минут назад, Sikorskyi сказал:

Еще не стоит обходить вниманием игру Chernobylite.

Главного героя Chernobylite действительно озвучивает Александр Вилков.

На какой именно голос из сталкера там похож Александр Вилков? Дело в том, что фраз того же Долга в Метро и Сталкер набирается с запасом, даже перебором. А вот другие голоса присутствуют либо в ограниченном количестве, (Сидорович ЧН, Бармен, Новиков) либо же они схожи с тем, которым Виклов озвучивает долговцев.

Изменено 9 марта пользователем Warlock700

[Phantom_86 64]

Warlock700 Окей, как наберу достаточно фраз - обращусь в личку

---

Дополнено 1 минуту спустя

Sikorskyi Да в целом реплик Вилкова из трилогии достаточно для качественной rvc-модели, а вот для голоса Череватенко действительно не помешало бы ресурсы метро прошерстить

[Contentic 11]

Скачал, распаковал, запустил, а куда текст набирать чтобы программа его озвучила?

[Warlock700 57]

В 10.03.2024 в 20:47, Contentic сказал:

Скачал, распаковал, запустил, а куда текст набирать чтобы программа его озвучила?

Практически все, кроме определенных фрагментов в роликах, создано на основе преобразования голоса.

RVC Text-to-speech - немного другой проект, хоть так же способен преобразовывать голос, заранее сгенерированной движком Edge.

В этом случае Вам либо необходимо скачать его по ссылке:
 

Спойлер

Скомпилированным пользователем с просторов сети RVC TTS:
https://drive.google.com/file/d/1Lf6LOyFUcMh6BYcNTv_xPw4M_aSBNgb8/view

Страница с кодом и инструкцией по самостоятельной компиляции:
https://github.com/litagin02/rvc-tts-webui

Либо же Вам необходим проект, за основу которого взята оригинальная RVC, но у которой есть собственный разработчик. Говоря иначе - это Fork RVC от Hispano, а именно - Applio.
Этот fork способен и обучать голосовые модели, и преобразовывать аудиофрагменты, и имеет свой TTS. В проекте много экспериментальных функций, не все из них разработчик довел до ума:
 

Спойлер

Ссылка на последнюю на текущий момент версию Applio:
https://huggingface.co/IAHispano/Applio/resolve/main/Compiled/ApplioV3.0.8.zip?download=true

 

---

Дополнено 7 минуты спустя

В 10.03.2024 в 06:47, Phantom_86 сказал:

Warlock700 Окей, как наберу достаточно фраз - обращусь в личку

---

Дополнено 1 минуту спустя

Sikorskyi Да в целом реплик Вилкова из трилогии достаточно для качественной rvc-модели, а вот для голоса Череватенко действительно не помешало бы ресурсы метро прошерстить

Именно так, если говорить о Вилкове. К слову, я уже отсортировал все сюжетные фразы и только там он наговорил в трех частях чистым голосом за 16 минут, а ведь есть еще диалоги NPS для каждой группировки. Так что можно смело сказать, что материала Вилкова достаточно.

На очереди сортировка первых двух частей Метро, все так же фразы из сюжета. После того, как я закончу со всем голосами метро и сталкера, выполню окончательную сортировку на основе тембров, высоты и характерных черт, то начну выпускать модели на разных предобученных базах. (их на текущий момент не меньше 3 набралось)
После того, как я это сделаю - проект RVC Stalker Voices можно будет считать полностью готовым, пока не выйдет новая версия RVC.

Поэтому, по поводу Череватенко, если Вы выполните сортировку - это только ускорит выход модели Бороды и других персонажей, озвученных его голосом, но никак не поможет проекту в целом.

Изменено 1 мая пользователем Warlock700