Warlock700 50 Опубликовано 12 февраля (изменено) Здравствуйте, Сталкеры. Ни для кого не секрет, что нейросети сейчас развиваются семимильными шагами, в свою очередь хотел бы Вам представить возможности одной из них. RVC-Project - проект, чьей основной задачей является обучение голосовых моделей и преобразование с их помощью аудиофайлов. Достаточно нескольких минут в качестве образца речи, чтобы получить практически идентичный голос, сохранив основные его черты, и я не мог пропустить такую возможность в отношении сталкерских голосов. Мною было обучено несколько моделей, основанных на речи персонажей из вселенной Сталкер. Для наглядной демонстрации предоставляю Вашему вниманию видеоролик, где собраны примеры по всем моделям, которые успел выпустить на текущий момент. Созданные модели не являются финальными версия, по мере возможностей они будут улучшаться и переобучаться в случае создания новых алгоритмов или улучшения обучения, выхода новых версий RVC, а так же при использовании новых версий предобученных баз. На текущий момент предобученная база основана на англоязычном дата-сете, в связи с чем в иных языках появляются заметные уху артефакты. Существуют неофициальные предобученные русскоязычные базы, под которые со временем будут переобучены все модели. Ссылки на них будут добавлены в данной теме по мере их выхода. Развитие проекта - патчноут: 13.02 - обучена модель Чехова и других свободовцев, озвученных голосом Григория Германа, проходит тестирование; 13.02 - обучена модель группировки Наемники, проходит тестирование; 13.02 - обучена модель Лесника, проходит тестирование; 13.02 - обучена модель речи Андрея Прохорова, основанная на черновых и релизных фразах, проходит тестирование; 13.02 - обучена модель Дегтярева, проходит тестирование; 13.02 - обучена модель коменданта Халецкого, проходит тестирование; 15.02 - протестирована и загружена модель Дегтярева; 15.02 - протестирована и загружена модель отца Валерьяна; 15.02 - протестирована и загружена модель Чехова и других бойцов Свободы в исполнении Григория Германа; 20.02 - протестирована и загружена модель Лесника; 21.02 - протестирована и загружена модель коменданта Халецкого; 22.02 - обучается, а в последствии будет протестирована модель новичков в озвучивании Руслана Гофурова; 23.02 - обучена модель Лебедева, проходит тестирование; 04.03 - протестирована и загружена модель новичков в исполнении Руслана Гофурова; 04.03 - протестирована и загружена модель голосов персонажей, озвученных Андреем Прохоровым; 04.03 - протестирована и загружена модель Ковальского из ЗП и Мельника из первых двух частей Метро 2033; 14.03 - протестирована и загружена модель Лебедева. 06.04 - протестирована и загружена модель голосов персонажей, озвученных Иваном Розиным (Гонта, Гаваец и др.) Ссылки на программное обеспечение, примеры использования голосовых моделей, ссылки на их скачивание: Спойлер RVC-Project - обучение моделей, преобразование аудиофайлов: скачатьVoice-changer от W-Okada - преобразование голоса в реальном времени: скачатьApplio - fork RVC, доступны все функции оригинального проекта, есть встроенный Text-to-Speech RVC-TTS - версия программы, способная генерировать любой текст и озвучивать его встроенными в движок Edge моделями с последующим преобразованием полученного результата голосовой моделью RVC. Скомпилированным пользователем с просторов сети RVC TTS:https://drive.google.com/file/d/1Lf6LOyFUcMh6BYcNTv_xPw4M_aSBNgb8/view Страница с кодом и инструкцией по самостоятельной компиляции:https://github.com/litagin02/rvc-tts-webui Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Спойлер Скачать Изменено 18 апреля пользователем Warlock700 Добавлена новая модель 15 6 2 4 1 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Contentic 10 Опубликовано 10 марта Warlock700 похоже что ты профессионал в этом деле, знаешь абсолютно все) Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 10 марта 6 минут назад, Contentic сказал: Warlock700 похоже что ты профессионал в этом деле, знаешь абсолютно все) Совсем нет, но уже не первый месяц занимаюсь данным делом, поэтому определенный базис успел накопиться...) 1 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Contentic 10 Опубликовано 10 марта Warlock700 попробовал я преобразовать текст в речь, что-то как-то топорно выглядит... Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 10 марта 5 минут назад, Contentic сказал: Warlock700 попробовал я преобразовать текст в речь, что-то как-то топорно выглядит... Вы воспользовались TTS какой программы? Вроде как RVC TTS выдает довольно неплохие результаты и, как я заметил, зачастую для женских голосов. Мужские далеко не всегда выходят хорошо. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Contentic 10 Опубликовано 10 марта Warlock700 rvc-tts использовал, голос сахарова поставил... Вообще фигня, не особо понравилось( Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 10 марта 21 минуту назад, Contentic сказал: Warlock700 rvc-tts использовал, голос сахарова поставил... Вообще фигня, не особо понравилось( Не у всех моделей хватает эмоциональности для TTS. Но Вы можете попробовать найти в глобальной сети TTS хорошим голосом, а затем в последствии преобразовать полученный результат в RVC. Мне кажется, что так лучше будет. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
RayTwitty 778 Опубликовано 10 марта Когда-то тоже игрался с этим. Делал для голоса Бармена, но у него очень мало фраз для обучения нейронки, поэтому качество не совсем то, которое хотелось. Хотя для "рации" вполне приемлемо. 1 Phantoms Zone | Shadows Addon | DMX MOD Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 11 марта 9 часов назад, RayTwitty сказал: Когда-то тоже игрался с этим. Делал для голоса Бармена, но у него очень мало фраз для обучения нейронки, поэтому качество не совсем то, которое хотелось. Хотя для "рации" вполне приемлемо. Если Вы делали модель с помощью RVC, то с того момента много поменялось - добавили новые алгоритмы, вышла вторая версия претрейна, русские претрейны тоже вышли. К тому же, я больше позиционирую проект не для преобразования результатов из text-to-speech, а для преобразования голоса, будь то один человек, либо же группа "озвучеров". Только в этом случае, как мне кажется, можно получить достойный результат, который не стыдно будет добавлять в моды. Да, полностью согласен - голос узнается слабо на Вашем ролике, повлиял на это ограниченный дата-сет, либо преобразование голоса из text-to-speech результата - сказать трудно. У бармена прям совсем мало фраз, поэтому лучше всего добавить схожих по манере произношения фраз долговцев или других персонажей, которых Вилков озвучивал. Того же Сидоровича из ЧН, к примеру. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
RayTwitty 778 Опубликовано 11 марта (изменено) 12 часов назад, Warlock700 сказал: Да, полностью согласен - голос узнается слабо на Вашем ролике Было бы интересно увидеть в данном проекте голос Бармена для дальнейшего использования в игре (старых билдовских диалогах). Возможно удастся улучшить текущий результат. Есть расшифровка оригинальных фраз Бармена из файлов игры в формате таблицы Excel, если это нужно. P.S. Как я понял, Воронина в ТЧ озвучивал тот же актер и вроде еще каких-то долговцев в ЧН. Изменено 11 марта пользователем RayTwitty Phantoms Zone | Shadows Addon | DMX MOD Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 12 марта 11 часов назад, RayTwitty сказал: Было бы интересно увидеть в данном проекте голос Бармена для дальнейшего использования в игре (старых билдовских диалогах). Возможно удастся улучшить текущий результат. Есть расшифровка оригинальных фраз Бармена из файлов игры в формате таблицы Excel, если это нужно. P.S. Как я понял, Воронина в ТЧ озвучивал тот же актер и вроде еще каких-то долговцев в ЧН. У меня билдовских фраз Бармена в наличии нет, только черновые Прохорова, которые уже были использованы для тренировки его модели. Не подскажите, где можно проверенные ссылки раздобыть на билды ТЧ? Еще лучше, конечно же, если сможете их скинуть - буду премного благодарен, не придется тогда еще сортировать фразы с билдов, тем более, что те будут повторяться. Хотя, наверное, со временем и это стоит сделать. Да, Воронина вроде тоже Вилков озвучивал. С долговским голосом у меня записей достаточно, чтобы еще модель обучить. Насчет расшифровок фраз - возможно пригодиться, конечно, но пока не хватает энтузиазма, чтобы наговорить разных фраз для мододелов - своего рода "благотворительную" озвучку сделать. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
RayTwitty 778 Опубликовано 12 марта 8 часов назад, Warlock700 сказал: У меня билдовских фраз Бармена в наличии нет Так в релизе не билдовские, в том и смысл. Билдовские как раз есть для всех диалогов. 8 часов назад, Warlock700 сказал: Не подскажите, где можно проверенные ссылки раздобыть на билды ТЧ? https://www.gameru.net/forum/index.php?showforum=107 8 часов назад, Warlock700 сказал: Насчет расшифровок фраз - возможно пригодиться, конечно, но пока не хватает энтузиазма, чтобы наговорить разных фраз для мододелов - своего рода "благотворительную" озвучку сделать. А, у вас после обучения нейронки нельзя просто загнать фразу, чтобы она выдала результат? 1 Phantoms Zone | Shadows Addon | DMX MOD Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 12 марта (изменено) 22 минуты назад, RayTwitty сказал: Так в релизе не билдовские, в том и смысл. Билдовские как раз есть для всех диалогов. Не совсем понял про "как раз есть для всех диалогов". Имеете ввиду, что в билдах присутствует больше диалогов Вилкова? 22 минуты назад, RayTwitty сказал: https://www.gameru.net/forum/index.php?showforum=107 Спасибо, пороюсь в материалах на данном сайте. У Вас есть совет по тому, какой лучше скачать для набора наибольшего числа вырезанных фраз? За исключением Прохорова, его у меня в достатке.) 40 минут, если вдруг не говорил. 22 минуты назад, RayTwitty сказал: А, у вас после обучения нейронки нельзя просто загнать фразу, чтобы она выдала результат? Можно, конечно. С помощью Applio, либо RVC TTS, но я всегда "живость" модели проверяю посредством преобразования голоса. Только в этом случае я сужу о качестве модели. Именно по этой причине я не выложил недавно практически полностью готового Лебедева - непонятно с чего начал акцент выдавать. UPD: Я поступил проще - качаю все билды ТЧ, нашел ссылку на этом же форуме с торрент файлом. Изменено 12 марта пользователем Warlock700 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
RayTwitty 778 Опубликовано 12 марта (изменено) 18 минут назад, Warlock700 сказал: Не совсем понял про "как раз есть для всех диалогов". Имеете ввиду, что в билдах присутствует больше диалогов Вилкова? В релизе Бармена озвучивал Вилков, в билдах Прохоров. Смысл в том, чтобы озвучить вырезанные фразы Бармена (которые есть у Прохорова) голосом Вилкова. https://disk.yandex.ru/d/s8hxhe9jx6NiFw Тут в папке Разное есть таблица с расшифровкой фраз Бармена (голосом Вилкова) и каким файлам в игре (финалке) они соответствуют. 18 минут назад, Warlock700 сказал: У Вас есть совет по тому, какой лучше скачать для набора наибольшего числа вырезанных фраз? Ну я бы предположил, что 1935, 2232, 2571, в них посмотреть. Может еще 2205. Изменено 12 марта пользователем RayTwitty 1 Phantoms Zone | Shadows Addon | DMX MOD Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 12 марта 10 минут назад, RayTwitty сказал: В релизе Бармена озвучивал Вилков, в билдах Прохоров. Смысл в том, чтобы озвучить вырезанные фразы Бармена (которые есть у Прохорова) голосом Вилкова. Теперь дошло.) Часть из них даже есть в релизе, но судя по всему не все, иначе вряд ли бы Вы заговорили о билдах. В архиве "dialogs" и он, и билдовский Сахаров, и Сидорович был. Да, кстати. Почему-то до такой идеи я не додумался. Наверное потому что не вслушивался и главной идеей была сортировка, а не анализ сказанного. Файлик гляну, когда появится настроение сделать "благотворительную" озвучку. Думаю, что он мне очень пригодиться в тот момент.) Спасибо.) 11 минут назад, RayTwitty сказал: Ну я бы предположил, что 1935, 2232, 2571, в них посмотреть. Может еще 2205. Добро. Когда закончу с Метро и займусь все распределю - примусь за эти билды. Спасибо еще раз.) 1 1 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 14 марта (изменено) Протестирована и загружена модель Лебедева. Обновлено описание. Демонстрация возможностей: Спойлер https://www.weights.gg/ru/models/cltq5txfk0edpgbe1h57sghmp Изменено 14 марта пользователем Warlock700 1 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Kuroneko 0 Опубликовано 23 марта У меня один вопрос: если взять английский голос, он после сможет на русском озвучивать? Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 23 марта 16 минут назад, Kuroneko сказал: У меня один вопрос: если взять английский голос, он после сможет на русском озвучивать? Если Вы имеете ввиду преобразование английской аудиодорожки с получением русского языка, то нет - это невозможно. Если Вы имеете ввиду создание модели на основе англоговорящего голоса с последующим его применением при преобразовании русской речи, то да - это возможно, но зачастую будет присутствовать акцент. Этот эффект возможно немного минимизировать, если использовать индекс от Snowie по улучшению речи из EN в RU, а так же если обучить саму голосовую модель на ру-претрейне. 1 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Kuroneko 0 Опубликовано 23 марта 11 минут назад, Warlock700 сказал: Если Вы имеете ввиду преобразование английской аудиодорожки с получением русского языка, то нет - это невозможно. Если Вы имеете ввиду создание модели на основе англоговорящего голоса с последующим его применением при преобразовании русской речи, то да - это возможно, но зачастую будет присутствовать акцент. Этот эффект возможно немного минимизировать, если использовать индекс от Snowie по улучшению речи из EN в RU, а так же если обучить саму голосовую модель на ру-претрейне. Т.к. в Aliens vs Predator 2 нет русской озвучки, с помощью нейросети хотелось создать русскую (но с оригинальными английскими голосами говорящими на русском). Меньше будет шансов ждать письма счастья, что-то там вы нарушили при создании озвучки. Более 10 женских голосов и более 20 мужских подбирать под персонажей из разных игр которые были локализованы, не очень занятие и будут русские актёры недовольны. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 23 марта (изменено) 1 час назад, Kuroneko сказал: Т.к. в Aliens vs Predator 2 нет русской озвучки, с помощью нейросети хотелось создать русскую (но с оригинальными английскими голосами говорящими на русском). Меньше будет шансов ждать письма счастья, что-то там вы нарушили при создании озвучки. Более 10 женских голосов и более 20 мужских подбирать под персонажей из разных игр которые были локализованы, не очень занятие и будут русские актёры недовольны. В отношении нейросетей пока еще законодательство мало способно регулировать данный процесс, но учитывая, что труда будет затрачено много, то Вам явно не хотелось бы столкнуться с иском в свою сторону в будущем. Здесь вижу следующие варианты событий: Пункт 1: (обязательный) Подготовка датасетов для создания голосовых моделей на основе фраз из игры с их сортировкой либо по актерам, либо по актерам, манере и тональности озвучки. Не исключено, что из 10 женских голосов в озвучивании принимали участие лишь три актрисы, а для мужских голосов - 5 актеров; Пункт 2: (обязательный) Создание голосовых моделей на основе полученных дата-сетов; Пункт 3: (вариантивный) Озвучка всех одним человеком, либо группой на русском языке с их последующим преобразованием голосовой моделью желаемого персонажа (актера); Пункт 4: (вариантивный) Подготовка необходимых фраз с помощью любой утилиты Test-to-speech с последующим преобразованием полученных результатов голосовыми моделями желаемых персонажей. (актеров) Изменено 23 марта пользователем Warlock700 1 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 6 апреля (изменено) Протестирована и загружена модель голосов персонажей, озвученных Иваном Розиным (Гонта, Гаваец и др.) Обновлено описание. Демонстрация возможностей: Спойлер https://www.weights.gg/ru/models/cluo30ucu0cwoamruugu9k5pa Изменено 6 апреля пользователем Warlock700 1 1 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Gnomi123 81 Опубликовано 6 апреля Warlock700 здорово получается. Одно что бросается в глаза это что голос русскую "р" произносит как английскую "r" 1 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 6 апреля (изменено) В 06.04.2024 в 16:49, Gnomi123 сказал: Warlock700 здорово получается. Одно что бросается в глаза это что голос русскую "р" произносит как английскую "r" К сожалению, но на текущем этапе проекта RVC подобное часто встречается у всех моделей. Это связано с двумя моментами: англоязычным претрейн (заранее обученная база голосов) и модель hubert_base. Если первое можно исправить ру-претрейном, то вот второй момент пока никак не поправить. Может быть со временем энтузиасты смогут сделать hubert_base для RVC для русскоговорящих голосов, но пока что никаких новостей. Только-только стали появляться hubert_base на других языках... Изменено 10 апреля пользователем Warlock700 1 1 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 10 апреля В описание добавлены ссылки на Applio и RVC-TTS. Первый проект является fork`ом оригинальной RVC. Помимо доступного функционала RVC в Applio имеется встроенный Test-to-Speech, а так же доступен алгоритм FCPE, который выдает более лучшие показатели преобразования, в сравнении с RMVPE.RVC-TTS в свою очередь является проектом для озвучивания текста в речь на движке Edge с последующим преобразованием полученного результата голосовыми моделями. 1 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Phantom_86 61 Опубликовано 13 апреля (изменено) Есть инструкция для валенка как установить Applio? Скачал, запустил run-install.bat (защитник офнул), батник при запуске выдает это: Изменено 13 апреля пользователем Phantom_86 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Warlock700 50 Опубликовано 14 апреля (изменено) В 13.04.2024 в 13:05, Phantom_86 сказал: Есть инструкция для валенка как установить Applio? Скачал, запустил run-install.bat (защитник офнул), батник при запуске выдает это: Судя по всему Вы скачали не скомпилированную версию, а ту, которую необходимо самостоятельно собирать. По этой ссылке можно скачать скомпилированные версии Applio:https://huggingface.co/IAHispano/Applio/tree/main/Compiled Изменено 15 апреля пользователем Warlock700 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты