RVC Stalker Voices - нейросетевые голосовые модели персонажей Сталкера

[Warlock700 50]

Здравствуйте, Сталкеры.

Ни для кого не секрет, что нейросети сейчас развиваются семимильными шагами, в свою очередь хотел бы Вам представить возможности одной из них.

---

    RVC-Project - проект, чьей основной задачей является обучение голосовых моделей и преобразование с их помощью аудиофайлов. Достаточно нескольких минут в качестве образца речи, чтобы получить практически идентичный голос, сохранив основные его черты, и я не мог пропустить такую возможность в отношении сталкерских голосов. Мною было обучено несколько моделей, основанных на речи персонажей из вселенной Сталкер.
Для наглядной демонстрации предоставляю Вашему вниманию видеоролик, где собраны примеры по всем моделям, которые успел выпустить на текущий момент.

---

---

Созданные модели не являются финальными версия, по мере возможностей они будут улучшаться и переобучаться в случае создания новых алгоритмов или улучшения обучения, выхода новых версий RVC, а так же при использовании новых версий предобученных баз. На текущий момент предобученная база основана на англоязычном дата-сете, в связи с чем в иных языках появляются заметные уху артефакты. Существуют неофициальные предобученные русскоязычные базы, под которые со временем будут переобучены все модели. Ссылки на них будут добавлены в данной теме по мере их выхода.

---

Развитие проекта - патчноут:
13.02 - обучена модель Чехова и других свободовцев, озвученных голосом Григория Германа, проходит тестирование;
13.02 - обучена модель группировки Наемники, проходит тестирование;
13.02 - обучена модель Лесника, проходит тестирование;
13.02 - обучена модель речи Андрея Прохорова, основанная на черновых и релизных фразах, проходит тестирование;
13.02 - обучена модель Дегтярева, проходит тестирование;
13.02 - обучена модель коменданта Халецкого, проходит тестирование;
15.02 - протестирована и загружена модель Дегтярева;
15.02 - протестирована и загружена модель отца Валерьяна;
15.02 - протестирована и загружена модель Чехова и других бойцов Свободы в исполнении Григория Германа;
20.02 - протестирована и загружена модель Лесника;
21.02 - протестирована и загружена модель коменданта Халецкого;
22.02 - обучается, а в последствии будет протестирована модель новичков в озвучивании Руслана Гофурова;
23.02 - обучена модель Лебедева, проходит тестирование;
04.03 - протестирована и загружена модель новичков в исполнении Руслана Гофурова;
04.03 - протестирована и загружена модель голосов персонажей, озвученных Андреем Прохоровым;
04.03 - протестирована и загружена модель Ковальского из ЗП и Мельника из первых двух частей Метро 2033;
14.03 - протестирована и загружена модель Лебедева.
06.04 - протестирована и загружена модель голосов персонажей, озвученных Иваном Розиным (Гонта, Гаваец и др.)

---

Ссылки на программное обеспечение, примеры использования голосовых моделей, ссылки на их скачивание:

Спойлер

RVC-Project - обучение моделей, преобразование аудиофайлов: скачать
Voice-changer от W-Okada - преобразование голоса в реальном времени: скачать
Applio - fork RVC, доступны все функции оригинального проекта, есть встроенный Text-to-Speech
RVC-TTS - версия программы, способная генерировать любой текст и озвучивать его встроенными в движок Edge моделями с последующим преобразованием полученного результата голосовой моделью RVC.
Скомпилированным пользователем с просторов сети RVC TTS:
https://drive.google.com/file/d/1Lf6LOyFUcMh6BYcNTv_xPw4M_aSBNgb8/view
Страница с кодом и инструкцией по самостоятельной компиляции:
https://github.com/litagin02/rvc-tts-webui

Спойлер

 

Скачать
 

Спойлер

Скачать
 

Спойлер

 

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

 

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать
 

Спойлер

Скачать

Спойлер

Скачать
 

Изменено 18 апреля пользователем Warlock700
Добавлена новая модель

[Злобная реклама]

[Contentic 10]

Warlock700 похоже что ты профессионал в этом деле, знаешь абсолютно все)

[Warlock700 50]

6 минут назад, Contentic сказал:

Warlock700 похоже что ты профессионал в этом деле, знаешь абсолютно все)

Совсем нет, но уже не первый месяц занимаюсь данным делом, поэтому определенный базис успел накопиться...)

[Contentic 10]

Warlock700 попробовал я преобразовать текст в речь, что-то как-то топорно выглядит...

[Warlock700 50]

5 минут назад, Contentic сказал:

Warlock700 попробовал я преобразовать текст в речь, что-то как-то топорно выглядит...

Вы воспользовались TTS какой программы? Вроде как RVC TTS выдает довольно неплохие результаты и, как я заметил, зачастую для женских голосов. Мужские далеко не всегда выходят хорошо.

[Contentic 10]

Warlock700 rvc-tts использовал, голос сахарова поставил... Вообще фигня, не особо понравилось(

 

[Warlock700 50]

21 минуту назад, Contentic сказал:

Warlock700 rvc-tts использовал, голос сахарова поставил... Вообще фигня, не особо понравилось(

 

Не у всех моделей хватает эмоциональности для TTS. Но Вы можете попробовать найти в глобальной сети TTS хорошим голосом, а затем в последствии преобразовать полученный результат в RVC. Мне кажется, что так лучше будет.

[RayTwitty 778]

Когда-то тоже игрался с этим. Делал для голоса Бармена, но у него очень мало фраз для обучения нейронки, поэтому качество не совсем то, которое хотелось. Хотя для "рации" вполне приемлемо.

[Warlock700 50]

9 часов назад, RayTwitty сказал:

Когда-то тоже игрался с этим. Делал для голоса Бармена, но у него очень мало фраз для обучения нейронки, поэтому качество не совсем то, которое хотелось. Хотя для "рации" вполне приемлемо.

Если Вы делали модель с помощью RVC, то с того момента много поменялось - добавили новые алгоритмы, вышла вторая версия претрейна, русские претрейны тоже вышли.
К тому же, я больше позиционирую проект не для преобразования результатов из text-to-speech, а для преобразования голоса, будь то один человек, либо же группа "озвучеров". Только в этом случае, как мне кажется, можно получить достойный результат, который не стыдно будет добавлять в моды.

Да, полностью согласен - голос узнается слабо на Вашем ролике, повлиял на это ограниченный дата-сет, либо преобразование голоса из text-to-speech результата - сказать трудно. У бармена прям совсем мало фраз, поэтому лучше всего добавить схожих по манере произношения фраз долговцев или других персонажей, которых Вилков озвучивал. Того же Сидоровича из ЧН, к примеру.

[RayTwitty 778]

12 часов назад, Warlock700 сказал:

Да, полностью согласен - голос узнается слабо на Вашем ролике

Было бы интересно увидеть в данном проекте голос Бармена для дальнейшего использования в игре (старых билдовских диалогах). Возможно удастся улучшить текущий результат. Есть расшифровка оригинальных фраз Бармена из файлов игры в формате таблицы Excel, если это нужно.

P.S. Как я понял, Воронина в ТЧ озвучивал тот же актер и вроде еще каких-то долговцев в ЧН.

Изменено 11 марта пользователем RayTwitty

[Warlock700 50]

11 часов назад, RayTwitty сказал:

Было бы интересно увидеть в данном проекте голос Бармена для дальнейшего использования в игре (старых билдовских диалогах). Возможно удастся улучшить текущий результат. Есть расшифровка оригинальных фраз Бармена из файлов игры в формате таблицы Excel, если это нужно.

P.S. Как я понял, Воронина в ТЧ озвучивал тот же актер и вроде еще каких-то долговцев в ЧН.

У меня билдовских фраз Бармена в наличии нет, только черновые Прохорова, которые уже были использованы для тренировки его модели.
Не подскажите, где можно проверенные ссылки раздобыть на билды ТЧ? Еще лучше, конечно же, если сможете их скинуть - буду премного благодарен, не придется тогда еще сортировать фразы с билдов, тем более, что те будут повторяться. Хотя, наверное, со временем и это стоит сделать.

Да, Воронина вроде тоже Вилков озвучивал. С долговским голосом у меня записей достаточно, чтобы еще модель обучить.

Насчет расшифровок фраз - возможно пригодиться, конечно, но пока не хватает энтузиазма, чтобы наговорить разных фраз для мододелов - своего рода "благотворительную" озвучку сделать.

[RayTwitty 778]

8 часов назад, Warlock700 сказал:

У меня билдовских фраз Бармена в наличии нет

Так в релизе не билдовские, в том и смысл. Билдовские как раз есть для всех диалогов.

8 часов назад, Warlock700 сказал:

Не подскажите, где можно проверенные ссылки раздобыть на билды ТЧ?

https://www.gameru.net/forum/index.php?showforum=107

8 часов назад, Warlock700 сказал:

Насчет расшифровок фраз - возможно пригодиться, конечно, но пока не хватает энтузиазма, чтобы наговорить разных фраз для мододелов - своего рода "благотворительную" озвучку сделать.

А, у вас после обучения нейронки нельзя просто загнать фразу, чтобы она выдала результат?

[Warlock700 50]

22 минуты назад, RayTwitty сказал:

Так в релизе не билдовские, в том и смысл. Билдовские как раз есть для всех диалогов.

Не совсем понял про "как раз есть для всех диалогов". Имеете ввиду, что в билдах присутствует больше диалогов Вилкова?

22 минуты назад, RayTwitty сказал:

https://www.gameru.net/forum/index.php?showforum=107

Спасибо, пороюсь в материалах на данном сайте. У Вас есть совет по тому, какой лучше скачать для набора наибольшего числа вырезанных фраз? За исключением Прохорова, его у меня в достатке.) 40 минут, если вдруг не говорил.

22 минуты назад, RayTwitty сказал:

А, у вас после обучения нейронки нельзя просто загнать фразу, чтобы она выдала результат?

Можно, конечно. С помощью Applio, либо RVC TTS, но я всегда "живость" модели проверяю посредством преобразования голоса. Только в этом случае я сужу о качестве модели. Именно по этой причине я не выложил недавно практически полностью готового Лебедева - непонятно с чего начал акцент выдавать.

UPD: Я поступил проще - качаю все билды ТЧ, нашел ссылку на этом же форуме с торрент файлом.

Изменено 12 марта пользователем Warlock700

[RayTwitty 778]

18 минут назад, Warlock700 сказал:

Не совсем понял про "как раз есть для всех диалогов". Имеете ввиду, что в билдах присутствует больше диалогов Вилкова?

В релизе Бармена озвучивал Вилков, в билдах Прохоров. Смысл в том, чтобы озвучить вырезанные фразы Бармена (которые есть у Прохорова) голосом Вилкова.

https://disk.yandex.ru/d/s8hxhe9jx6NiFw

Тут в папке Разное есть таблица с расшифровкой фраз Бармена (голосом Вилкова) и каким файлам в игре (финалке) они соответствуют.

18 минут назад, Warlock700 сказал:

У Вас есть совет по тому, какой лучше скачать для набора наибольшего числа вырезанных фраз?

Ну я бы предположил, что 1935, 2232, 2571, в них посмотреть. Может еще 2205.

Изменено 12 марта пользователем RayTwitty

[Warlock700 50]

10 минут назад, RayTwitty сказал:

В релизе Бармена озвучивал Вилков, в билдах Прохоров. Смысл в том, чтобы озвучить вырезанные фразы Бармена (которые есть у Прохорова) голосом Вилкова.

Теперь дошло.) Часть из них даже есть в релизе, но судя по всему не все, иначе вряд ли бы Вы заговорили о билдах.
В архиве "dialogs" и он, и билдовский Сахаров, и Сидорович был.
 

Да, кстати. Почему-то до такой идеи я не додумался. Наверное потому что не вслушивался и главной идеей была сортировка, а не анализ сказанного.
Файлик гляну, когда появится настроение сделать "благотворительную" озвучку. Думаю, что он мне очень пригодиться в тот момент.) Спасибо.)

11 минут назад, RayTwitty сказал:

Ну я бы предположил, что 1935, 2232, 2571, в них посмотреть. Может еще 2205.

Добро. Когда закончу с Метро и займусь все распределю - примусь за эти билды. Спасибо еще раз.)

[Warlock700 50]

 Протестирована и загружена модель Лебедева. Обновлено описание.
Демонстрация возможностей:
 

Спойлер

https://www.weights.gg/ru/models/cltq5txfk0edpgbe1h57sghmp

 

Изменено 14 марта пользователем Warlock700

[Kuroneko 0]

У меня один вопрос:

если взять английский голос, он после сможет на русском озвучивать?

[Warlock700 50]

16 минут назад, Kuroneko сказал:

У меня один вопрос:

если взять английский голос, он после сможет на русском озвучивать?

Если Вы имеете ввиду преобразование английской аудиодорожки с получением русского языка, то нет - это невозможно.

Если Вы имеете ввиду создание модели на основе англоговорящего голоса с последующим его применением при преобразовании русской речи, то да - это возможно, но зачастую будет присутствовать акцент. Этот эффект возможно немного минимизировать, если использовать индекс от Snowie по улучшению речи из EN в RU, а так же если обучить саму голосовую модель на ру-претрейне.

[Kuroneko 0]

11 минут назад, Warlock700 сказал:

Если Вы имеете ввиду преобразование английской аудиодорожки с получением русского языка, то нет - это невозможно.

Если Вы имеете ввиду создание модели на основе англоговорящего голоса с последующим его применением при преобразовании русской речи, то да - это возможно, но зачастую будет присутствовать акцент. Этот эффект возможно немного минимизировать, если использовать индекс от Snowie по улучшению речи из EN в RU, а так же если обучить саму голосовую модель на ру-претрейне.

Т.к. в Aliens vs Predator 2 нет русской озвучки, с помощью нейросети хотелось создать русскую (но с оригинальными английскими голосами говорящими на русском). Меньше будет шансов ждать письма счастья, что-то там вы нарушили при создании озвучки.

Более 10 женских голосов и более 20 мужских подбирать под персонажей из разных игр которые были локализованы, не очень занятие и будут русские актёры недовольны.

[Warlock700 50]

1 час назад, Kuroneko сказал:

Т.к. в Aliens vs Predator 2 нет русской озвучки, с помощью нейросети хотелось создать русскую (но с оригинальными английскими голосами говорящими на русском). Меньше будет шансов ждать письма счастья, что-то там вы нарушили при создании озвучки.

Более 10 женских голосов и более 20 мужских подбирать под персонажей из разных игр которые были локализованы, не очень занятие и будут русские актёры недовольны.

В отношении нейросетей пока еще законодательство мало способно регулировать данный процесс, но учитывая, что труда будет затрачено много, то Вам явно не хотелось бы столкнуться с иском в свою сторону в будущем.

Здесь вижу следующие варианты событий:
Пункт 1: (обязательный) Подготовка датасетов для создания голосовых моделей на основе фраз из игры с их сортировкой либо по актерам, либо по актерам, манере и тональности озвучки. Не исключено, что из 10 женских голосов в озвучивании принимали участие лишь три актрисы, а для мужских голосов - 5 актеров;
Пункт 2: (обязательный) Создание голосовых моделей на основе полученных дата-сетов;
Пункт 3: (вариантивный) Озвучка всех одним человеком, либо группой на русском языке с их последующим преобразованием голосовой моделью желаемого персонажа (актера);
Пункт 4: (вариантивный) Подготовка необходимых фраз с помощью любой утилиты Test-to-speech с последующим преобразованием полученных результатов голосовыми моделями желаемых персонажей. (актеров)

Изменено 23 марта пользователем Warlock700

[Warlock700 50]

Протестирована и загружена модель голосов персонажей, озвученных Иваном Розиным (Гонта, Гаваец и др.) Обновлено описание.
Демонстрация возможностей:

Спойлер

https://www.weights.gg/ru/models/cluo30ucu0cwoamruugu9k5pa

 

Изменено 6 апреля пользователем Warlock700

[Gnomi123 81]

Warlock700 здорово получается. Одно что бросается в глаза это что голос русскую "р" произносит как английскую "r"

[Warlock700 50]

В 06.04.2024 в 16:49, Gnomi123 сказал:

Warlock700 здорово получается. Одно что бросается в глаза это что голос русскую "р" произносит как английскую "r"

К сожалению, но на текущем этапе проекта RVC подобное часто встречается у всех моделей. Это связано с двумя моментами: англоязычным претрейн (заранее обученная база голосов) и модель hubert_base. Если первое можно исправить ру-претрейном, то вот второй момент пока никак не поправить. Может быть со временем энтузиасты смогут сделать hubert_base для RVC для русскоговорящих голосов, но пока что никаких новостей. Только-только стали появляться hubert_base на других языках...

Изменено 10 апреля пользователем Warlock700

[Warlock700 50]

В описание добавлены ссылки на Applio и RVC-TTS.
Первый проект является fork`ом оригинальной RVC. Помимо доступного функционала RVC в Applio имеется встроенный Test-to-Speech, а так же доступен алгоритм FCPE, который выдает более лучшие показатели преобразования, в сравнении с RMVPE.
RVC-TTS в свою очередь является проектом для озвучивания текста в речь на движке Edge с последующим преобразованием полученного результата голосовыми моделями.

[Phantom_86 61]

Есть инструкция для валенка как установить Applio? Скачал, запустил run-install.bat (защитник офнул), батник при запуске выдает это:
 

Изменено 13 апреля пользователем Phantom_86

[Warlock700 50]

В 13.04.2024 в 13:05, Phantom_86 сказал:

Есть инструкция для валенка как установить Applio? Скачал, запустил run-install.bat (защитник офнул), батник при запуске выдает это:
 

Судя по всему Вы скачали не скомпилированную версию, а ту, которую необходимо самостоятельно собирать.

По этой ссылке можно скачать скомпилированные версии Applio:
https://huggingface.co/IAHispano/Applio/tree/main/Compiled

Изменено 15 апреля пользователем Warlock700