Универсальные компиляторы уровней х64

[SkyLoader 253]

 

Универсальные 64-х битные компиляторы уровней

---

Оригинальные компиляторы разработаны: GSC Game world
Правки компиляторов и сборка: SkyLoader
Благодарности: Abramcumner, K.D.

---

Текущая версия: 1.6

Состав компиляторов:

• Компилятор геометрии [ТЧ, ЧН, ЗП]
• Компилятор травы [ТЧ, ЧН, ЗП]
• Компилятор АИ-сетки [ТЧ, ЧН, ЗП]
• Сборщик спавна [ТЧ, ЧН, ЗП]

Основные изменения:

• Поддержка x64
• Поддержка основных игр серии
• Все компиляторы объединены в одно приложение
• Часть алгоритмов компиляторов была переписана под многопоточное использование и вычисление на видеокарте с помощью CUDA
• Для ускорения рейтрейсинга подключена библиотека Intel Embree с полноценной поддержкой прозрачных поверхностей и инстансов
• Полностью изменен интерфейс
• Добавлено меню компилятора, в котором можно выбрать проект уровня, выставить определенные настройки и запустить компиляцию
• Добавлена система сохранения и загрузки настроек последних проектов
• Произведен переход на библиотеку DirectXTex на замену устаревшим FreeImage и nvDXT
• Отключен просчет RGB и Sun компонентов освещения и опционально оставлен только Hemi
• Проведена работа по распоточиванию некоторых фаз компиляции и распоточиванию кода сторонних библиотек
• Интегрирован Discord Rich Presence для возможности следить за статусом компиляции на удаленном ПК
• Добавлена возможность автоматически выключить ПК после компиляции
• Реализован прогресс бар на панели задач для отображения состояния текущей фазы компиляции при свернутом приложении
• Добавлены ключи для ускоренной компиляции уровней в целях тестирования
• Добавлены экспериментальные ключи для отключения некоторых фаз компиляции и установки параметров в обход параметров СДК
• Добавлены основные изменения прошлых компиляторов
• Расширен вывод информации по некоторым ошибкам
• Исправлены некоторые вылеты оригинальных компиляторов

Минимальные требования для использования Embree:

• Процессор с поддержкой SSE2 инструкций. Для достижения лучшей производительности рекомендуется процессор Intel с поддержкой AVX, AVX2 и AVX-512 инструкций

Минимальные требования для ускорения вычислений на CUDA:

• Операционная система: Windows 10
• Видеокарта Nvidia с поддержкой CUDA
• Видеодрайвер версии 452.39 и старше

 

Для работы требуется установленный Microsoft Visual C++ 2017 Redistributable х64.

Внимание: в данном компиляторе по умолчанию отключено запекание статического света и статических теней солнца. Для включения запекания этих компонентов необходимо использовать соответствующий ключ, указанный в описании.

 

Спойлер

Для компиляции геометрии уровня:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f имя_уровня -version название_версии (shoc/cs/cop)

Для компиляции детейлов (травы):

start bin\compilers_sky_x64\xrCompiler.exe -details -f имя_уровня -version название_версии (shoc/cs/cop)

Для компиляции АИ-сетки:

start bin\compilers_sky_x64\xrCompiler.exe -aispawn -f имя_уровня -version название_версии (shoc/cs/cop)

Для сборки спавна:

start bin\compilers_sky_x64\xrCompiler.exe -aispawn -s имя_уровня1,имя_уровня2,имя_уровня3 -out all

 

Спойлер

-noimpl  - пропуск стадии LIGHT: Implicit (запекание освещения для террейна)

-nocform - пропуск создания level.cform

-noresize - отключить уменьшение размеров загружаемых текстур высокого разрешения

-skipthm – не прерывать компиляцию при отсутствующих текстурах и файлах thm

-removeinvalid – не прерывать компиляцию при найденных invalid faces и удалять их

-skipinvalid – не прерывать компиляцию при найденных invalid faces и пропускать их

-tex_rgba – не использовать сжатие для сохраняемых текстур

-tex_bc7 – использовать BC7 сжатие для сохраняемых текстур (формат поддерживается только на DX11)

-silent – автоматически закрыть приложение после завершения компиляции

-sleep – выключить компьютер после завершения компиляции

-nohemi – отключить запекание освещения. Значительно ускоряет компиляцию. Предназначен для тестирования геометрии

-underground – компилировать уровень как подземный. Ускоряет компиляцию

-static – запекать статическое освещение (не работает с ключом -nohemi)

-cform – экспортировать только коллизию уровня

-noise – отключить создание Progressive геометрии. Ускоряет компиляцию, но не создает упрощенную геометрию для уровня и Multiple Usage объектов

-nosmg – не использовать группы сглаживания. В зависимости от конкретной геометрии помогает избежать ломаных фейсов/теней, или наоборот добавит их

-notess – не тесселировать геометрию. В некоторых случаях может повышать fps в зависимости от конкретной локации. Проверять на практике

-noweld – отключить сшивание маленьких треугольников. В некоторых случаях помогает избежать глюков на некоторых типах геометрии

-nomerge – пропустить стадию Merging geometry

-nostrip – отключить оптимизацию и стрипификацию геометрии

-dx_opt – включить оптимизацию геометрии средствами D3DX optimizer вместо NvTriStrip

-old_bcform - создавать build.cform в старом формате

-gi – включить фазу Radiosity

-no_mt_mu – не запускать расчет освещения для Multiple Usage объектов параллельно основной компиляции

-high – более высокий приоритет для потоков

-saveobj_base – сохранить всю геометрию уровня в модели с расширением .obj (базовая развертка)

-saveobj_lmap – сохранить всю геометрию уровня в модели с расширением .obj (лайтмап развертка)

-saveobj_cform – сохранить всю коллизию уровня в модель с расширением .obj

-qual_draft – установить качество сцены в Draft (не влияет на выставленные шейдеры)

-qual_high – установить качество сцены в High (не влияет на выставленные шейдеры)

-force_default_shader - принудительно заменять шейдеры материалов с вершинного освещения на лайтмапное (def_vertex->default)

-force_vertex_shader - принудительно заменять шейдеры материалов с лайтмапного освещения на вершинное (default->def_vertex)
-ppm число – установить качество лайтмапов вместо значения в СДК

-weld_dist число – установить Weld distance вместо значения в СДК

-hemi_bias число – установить смещение позиции луча при запекании хеми (по умолчанию: 0.1, в оригинале: 0.001)

Спойлер

-skipthm – не прерывать компиляцию при отсутствующих текстурах и файлах thm

-silent – автоматически закрыть приложение после завершения компиляции

-sleep – выключить компьютер после завершения компиляции

-nohemi – отключить запекание освещения

-static – запекать статическое освещение (не работает с ключом -nohemi)

Спойлер

-draft – не просчитывать укрытия для АИ-сетки

-verify – проверить АИ-сетку на ошибки

-noverbose – не выводить информацию об одиночных нодах (при ключе -verify)

-skipthm – не прерывать компиляцию при отсутствующих текстурах и файлах thm

-silent – автоматически закрыть приложение после завершения компиляции

-sleep – выключить компьютер после завершения компиляции

Спойлер

-s имя_уровня1,имя_уровня2,имя_уровня3... - собрать спавн из перечисленных уровней (перечисление через запятую без пробела). Например, -s zaton,labx8,jupiter,jupiter_underground,pripyat

-out имя - выбрать имя выходного файла спавна. Например, -out all

-no_separator_check - отключить конфликты спейс рестрикторов и АИ-сетки, а также другие ошибки

-insert_graph - осуществлять сборку спавна со вшитыми в спавн графами для ТЧ спавна

-large_aimap - собрать спавн для уровней с расширенной АИ-сеткой. Все уровни должны иметь такой формат сетки

Спойлер

-help – вызов справки со списком всех ключей запуска

-t число – установить количество потоков для многопоточных операций (не работает с ключом -tbb)

-fsltx имя_файла – использовать свой ltx вместо fsgame.ltx.

-log_name имя_файла – создать файл лога с данным именем. Полезно для компиляции локаций очередью

-discord – включить Discord Rich Presence с выводом имени уровня и статуса компиляции

-discord_s – включить Discord Rich Presence с выводом только статуса компиляции

-tbb – использовать TBB многопоточность (не рекомендуется)

-both_texture_pathes - загрузка текстур и thm файлов по обоим путям ($game_textures$ и $textures$)

Спойлер

Ускоренная компиляция уровня для тестирования геометрии без запеченного освещения:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f zaton -nohemi -noise

start bin\compilers_sky_x64\xrCompiler.exe -details -f zaton -nohemi

start bin\compilers_sky_x64\xrCompiler.exe -aispawn -f zaton -draft

Компиляция подземного уровня, полностью закрытого nosun геометрией:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f labx8 -underground

Компиляция только коллизии:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f zaton -cform

Компиляция локаций очередью с последующим выключением ПК:

start /wait bin\compilers_sky_x64\xrCompiler.exe -geometry -f zaton -log_name zaton_geometry -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -details -f zaton -log_name zaton_detail -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -aispawn -f zaton -log_name zaton_aimap -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -geometry -f jupiter -log_name jupiter_geometry -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -details -f jupiter -log_name jupiter_detail -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -aispawn -f jupiter -log_name jupiter_aimap -silent -sleep

 

Спойлер

Спойлер

Версия 1.6:

Спойлер

Геометрия:

• Часть алгоритмов компиляторов была переписана под многопоточное использование и вычисление на видеокарте
• Для ускорения рейтрейсинга подключена библиотека Embree с полноценной поддержкой прозрачных поверхностей и инстансов
• Оптимизированы фазы запекания освещения и расчетов укрытий АИ-сетки
• Оптимизированы фазы Building UV и Merging geometry
• Исправлен пересвет хеми у MU объектов в аутдоре. Данная проблема имелась даже на оригинальных локациях, и сейчас все объекты (для исключением объектов в зданиях) более менее выровнены по значению хеми
• При запекании хеми освещения реализована небольшая рандомизация направления лучей, что улучшило плавность запекания 
• Лайтмап текстуры теперь автоматически расширяются до 4К разрешения. Благодаря этому на этапе сшивания геометрии больше вершин будут объединены за счет схожих текстур. Также данное разрешение было выбрано, так как оно поддерживается более-менее старыми видеокартами
• Изменена последовательность условий при распределении лайтмапов по холстам
• Изменено условие тесселяции треугольников. Теперь тесселяция производится только при большой площади текстурных координат у треугольников
• Добавлена подфаза оптимизации текстурных координат, которая нацелена на исправление потяжек текстур
• Исправлена проблема потенциальных потяжек текстур на геометрии с наложенными текстурами большого разрешения
• Убрана фаза Building tangent-basis, теперь действия этой фазы выполняются в процессе Converting to OGFs
• Экспериментальный отказ от использования THM файлов. Данные файлы используются компилятором для определения наличия прозрачности у текстур, чтобы в дальнейшем использовать текстуры при запекании освещения. Теперь проверка прозрачности происходит через чтение игровых шейдеров (shaders.xr). Производится поиск материалов с шейдером, который поддерживает полупрозрачность, и подгружаются только нужные текстуры. Также в подгружаемых текстурах дополнительно проверяется наличие альфа канала. Если его не обнаруживается, то текстура выгружается, а поверхность становится непрозрачной. Данный переход на использование shaders.xr поможет избавиться от проблемы с обработкой сломанных и некорректно настроенных THM файлов
• Фаза Radiosity (ключ -gi) автоматически отключается с использованием Embree, поскольку фаза стала deprecated. На первых версиях компилятора она уже работала не так как надо, поэтому в планах совсем её вырезать
• Уменьшен размер структуры треугольников, что уменьшило потребление памяти
• Новый формат build.cform, имеющий меньший вес файла
• Добавлена возможность встроить кэш коллизии в level.cform через опцию -cache_cform. Требует модифицированный игровой движок с поддержкой встроенного кэша. Исходный код чтения обновленного формата представлен здесь: https://github.com/OpenXRay/xray-16/commit/8debe4df30070dcf4ed76afee2d93b3c55add757
• Исправлены потенциальные проблемы с появлением "фейковых" теней
• Добавлено больше информации о вылете "g_sectors"

Спавн:

• Оптимизация в фазе сборки графов
• В спавн добавлена поддержка классов W_MOUNTD и Z_AMEBA
• Экспериментальный отказ от необходимости заполнения секции [levels]. Теперь список формируется из добавленных пользователем спавнов, и идентификаторы уровней идут по возрастанию. Для возвращения чтения секции добавлен ключ -use_levels_section
• Добавлен ключ -spawn_version <значение> для принудительного выставления версии спавна
• При ошибке "Can't find any graphs! Check log" могут дополнительно выводиться количество уровней без АИ-сетки и количество АИ-сеток с расхождением версий, если таковые имеются

Интерфейс:

• В меню добавлена опция перезагрузки меню после успешной компиляции
• В случае успешной компиляции при наличии опции выключения ПК теперь появляется окно с полуминутным таймером и возможностью отменить выключение
• Сообщения об инвалид фейсах и split faces больше не выводятся в окне, выводится только их количество. В лог всё пишется как раньше
• Добавлены новые опции ускорения вычислений
• Исправлено сохранение дополнительных ключей для компилятора АИ-сетки
• Добавлено поле дополнительных ключей в сборку спавна
• При завершенной компиляции приложение просигнализирует об этом на панели задач

Остальное:

• Произведено объединение библиотек компилятора в монолитный вид, в результате чего некоторый код был соптимизирован
• Добавлены множественные логи. По умолчанию, создается до 30 логов, заменяя собой более старые файлы
• Добавлен ключ -log_count, устанавливающий максимальное количество множественных логов. Работает только через прописывание в .bat файл запуска

Google drive

Yandex disk

Версия 1.5:

Спойлер

• Добавлена возможность форсировать использование групп сглаживания на определенной геометрии даже при наличии ключа -nosmg. Для использования групп сглаживания на модели необходимо назначить на его материалы компил шейдер, имеющий в названии _smg. Например, def_vertex\def_vertex_smg. Сам компил шейдер достаточно склонировать с оригинального и переименовать с этим постфиксом

Добавлена возможность отключить тесселяцию на определенной геометрии (например, на носан коробках). Для этого необходимо назначить на материал компил шейдер, имеющий _no_tess в названии. Однако следует помнить, что отключение тесселяции может порождать потяжки текстур, поскольку не создаются дополнительные вершины, необходимые для оптимизированной развертки Добавлена возможность отключить запекание теней от определенных MU моделей. Компил шейдеры MU моделей должны иметь _no_mu_shadow в названии. Отличие данного решения от обычного отключения галки Cast shadow заключается в том, что в данном случае будет применяться самозатенение MU модели, и модель не будет высветлена Отключены некоторые фазы компиляции в режиме -nohemi. Также теперь в этом режиме создается только одна пара лайтмап текстур на весь уровень При выключенном запекании статического освещения текстура лайтмапы террейна сохраняется с разрешением 32x32 Исправлен экспорт левел ченджеров в ЧН и ЗП Добавлен новый алгоритм выполнения фазы "Merging geometry". Потребляет чуть больше памяти, но выполняется быстрее Фаза создания коллизии уровня перемещена перед фазой тесселяции для уменьшения полигонажа Добавлена опция отображения максимального потребления памяти при компиляции

• Новые ключи для компилятора геометрии:

-no_bcform - пропустить фазы "Building rcast-CFORM model", "Building rcast-CFORM-mu model" и отключить создание файла build.cform, необходимого компиляторам для запекания освещения детейлов и расчета укрытий АИ-сетки. Работает только с ключом -nohemi и предназначен для ускорения компиляции без расчетов освещения
-old_merge - вернуть использование старого алгоритма фазы "Merging geometry"
-lmap_size число - разрешение лайтмап текстур. По умолчанию 1024
-border число - изменить значение переменной BORDER в коде компиляторов. По умолчанию 1
-subdiv_size число - изменить максимальный размер участков (в метрах), на которые разбивается большая геометрия. По умолчанию 32
-bparams_ext - поддержка расширенных настроек уровней, экспортированных SDK от Yara

• Новый ключ для компилятора АИ-сетки:

-force_large_aimap - форсировать открытие АИ-сетки оригинального формата с большим количеством АИ-нод (более 8 млн). Ключ экспериментальный, корректность АИ-сетки не гарантируется. Для корректного экспорта необходима АИ-сетка нового формата.

• Новые ключи для сборщика спавна:

-actor_level имя_уровня - выбрать уровень для спавна актора. Позволяет избежать рутинного удаления актора вручную с каждого уровня. Будет заспавнен только актор с выбранного уровня, остальные проигнорированы. Если же его нет на уровне, то он автоматически создастся в нулевых координатах
-no_levels_section - игнорировать список уровней из секции [levels]. Позволяет не прописывать каждый уровень в эту секцию. В этом случае общий спавн будет собран из списка уровней, прописанных в батнике
-skip_invalid_class - пропускать вылет "Can't create entity". Все объекты с некорректными и неизвестными классами будут проигнорированы и не попадут в общий спавн

Google drive

Yandex disk

 

Версия 1.4b:

Спойлер

Добавлена поддержка формата расширенной АИ-сетки. Сетка будет автоматически экспортироваться в новый формат при обнаружении нового формата в файле проекта из СДК. Для данного формата также необходим измененный игровой движок и СДК

Для сборки спавна добавлен ключ -large_aimap, предназначенный для уровней с расширенной АИ-сеткой. Все уровни должны иметь одинаковую версию АИ-сетки

Оптимизована система трассировки. На оригинальных локациях стадии запекания освещения заняли на ~30% меньше времени. Предположительно, на тяжелых локациях ускорение будет больше

Распоточена упаковка вершин коллизии. На тяжелых локациях может немного ускорить фазы, связанные с CFORM. Правка экспериментальная, поэтому для отключения добавлен ключ -no_mt_cdb_pack

Создан новый формат build.cform, поддерживающий более 60 млн вершин и 110 млн треугольников

Исправлено сохранение больших файлов

Добавлена поддержка MU объектов, не имеющих ни одного материала с Cast shadow

Компилятор травы больше не запрашивает и не загружает build.cform и build.lights при ключе -nohemi

Компилятор АИ-сетки больше не запрашивает и не загружает build.cform при ключе -draft

Добавлен ключ -force_default_shader для принудительной замены шейдеров материалов с вершинным освещением на лайтмапное (def_vertex -> default)

Добавлен ключ -force_vertex_shader для принудительной замены шейдеров материалов с лайтмап освещением на вершинное (default -> def_vertex)

Ключ -t теперь влияет на количество TBB потоков

Расширена информация по некоторым ошибкам при сборке спавна 

Отключена загрузка текстур и thm файлов по обоим путям ($game_textures$ и $textures$) во избежание путаницы и конфликтов. Теперь для ЧН/ЗП уровней производится загрузка только по $game_textures$, а для ТЧ по $textures$

Добавлен ключ -both_texture_pathes для возвращения загрузки текстур по обоим путям

Отключен вылет iFloor((source_position.z - header().box().min.z)/header().cell_size() + .5f) при нахождении объекта за пределами АИ-сетки. Добавлен вывод в лог некорректной позиции и производится попытка сместить позицию на крайнюю аи-ноду

Убрано изменение level файла при ключе -cform

Добавлено завершение записи level файла перед сообщением об успешной компиляции

При ключе -saveobj_cform разделен экспорт геометрии на два файла: raycast геометрию и коллизию

Не используемые при запекании выходные текстуры сохраняются с разрешением 32х32

Добавлена возможность прописать абсолютный путь к выходному спавну. Такой путь должен быть указан в кавычках и не содержать кириллицы. Например: -out "e:\Games\STALKER - COP\gamedata\spawns\all.spawn" -no_separator_check 

Добавлен вывод ключей в лог при старте компилятора через батник

Google drive

Yandex disk

 

Версия 1.3a:

Спойлер

Добавлена поддержка сборки ТЧ спавна

Для ТЧ спавна добавлен ключ -insert_graph, который осуществляет сборку спавна со вшитыми в спавн графами

Мультивыбор уровней в списке на добавление в спавн

Добавлена поддержка чтения файлов больше 2 Гб

Google drive

Yandex disk

 

Версия 1.2:

Спойлер

Добавлена поддержка сборки ЧН спавна

Добавлена поддержка групп сглаживания для ТЧ локаций

При ключе -removeinvalid больше не удаляются полигоны с нулевой площадью текстурных координат. Координаты заменяются на константное значение

Улучшено взаимодействие потоков расчетов лайтмапов и обработки MU моделей между собой

Добавлен ключ -nocform для пропуска создания level.cform

В создаваемый компилятором compiler.ini добавлены параметры проектов по умолчанию (секция [compiler_pref]). К примеру, чтобы включить автоматическую установку флага -static для новых проектов, следует выставить параметр gm_static в on.

Добавлено больше информации о фазах сборки спавна

Google drive

Yandex disk

 

Версия 1.1:

Спойлер

Изменено хранение загружаемых текстур, что уменьшило потребление оперативной памяти

Добавлено автоматическое уменьшение размеров загружаемых текстур высокого разрешения до 1К, что тоже повлияло на уменьшение потребления памяти

Уменьшен шанс появления черных треугольников при недостаточном значении Pixel per meter

Добавлено отключение стрипификации и прогрессивов у высоколигональных мешей для пропуска вылетов "iNumVerts < 65535" и "OGF::Stripify"

Добавлен ключ -noimpl для пропуска стадии LIGHT: Implicit

Добавлен ключ -noresize для отключения уменьшения размеров загружаемых текстур высокого разрешения

Исправлено возможное подвисание окна приложения

Исправлено некорректное запекание освещения для некоторых террейнов

Исправлено не добавление ключа формата при старте компиляции из меню

Исправлена оригинальная ошибка распараллеливания на стадиях запекания освещения

Исправлен вылет при отсутствии implicit текстур

Google drive

Yandex disk

 

Версия 1.0:

Google drive

Yandex disk

 

Спойлер

Можно не устанавливать ключ -version. В таком случае выходной формат данных будет следующим: для уровня из ТЧ СДК – ТЧ формат, для уровня ЧН/ЗП СДК – ЗП формат.

Для уровней, собранных ТЧ СДК, будет автоматически применяться ТЧ сглаживание, а значит нет необходимости использовать ключ -nosmg (за исключением модифицированных ТЧ СДК, добавляющих группы сглаживания).

При активном ключе -both_texture_pathes на этапе загрузки .thm файлов сначала производится попытка открыть файл по пути $game_textures$ (gamedata\textures), при его отсутствии – по пути $textures$ (rawdata\textures). По умолчанию, для ЧН/ЗП проектов используется только путь $game_textures$, для ТЧ проектов - $textures$.

Для частичного исправления часто встречающейся проблемы с появлением черных полигонов было изменено смещение позиции лучей при запекании затенений от хемисферы. В связи с этим, при моделировании геометрии зданий рекомендуется не создавать ту-сайд геометрию для стен (как, например, у кораблей на Затоне), а выдерживать определенную их толщину. Если же требуется оставить геометрию как есть, то можно вернуть смещение луча на оригинальное значение с помощью ключа -hemi_bias 0.001, но тогда количество черных треугольников будет как при использовании старых компиляторов. 

Увеличение значения -hemi_bias (например, на значение от 1.0 до 10.0) в определенных случаях позволяет избавиться от черных треугольников, оставшихся после запекания освещения.

В продакшен версии уровня не рекомендуется использовать ключ -skipthm, поскольку из-за отсутствующих текстур и файлов thm на поверхностях может неправильно запечься свет.

Не следует выставлять Weld distance в ноль. Иногда это провоцирует создание кривых фейковых теней от некоторой геометрии. Лучше поставить небольшое значение, но больше нуля.

В случаях, когда на уровне нужно поправить только коллизию уровня или расставить фейки для актора, можно воспользоваться ключом -cform. Будет компилироваться только коллижн-геометрия уровня без запекания освещения, тем самым значительно уменьшится время компиляции.

Для анализа того, как компилятор изменил геометрию уровня под игру, можно воспользоваться ключами -saveobj_base, -saveobj_lmap и -saveobj_cform. Геометрия будет сохранена по пути temp\geom… в файлы с расширением obj для дальнейшего просмотра их в 3д редакторе. Также ключ -saveobj_lmap может помочь в ручном редактировании лайтмап текстур, если на них были обнаружены проблемы.

 

 

Изменено 24 июня пользователем SkyLoader

[Злобная реклама]

[SkyLoader 253]

Доступно обновление до версии 1.6 beta!

В новом обновлении была проведена большая работа над ускорением алгоритмов, их оптимизации,  реализации расчетов на CUDA ядрах и внедрении новой современной библиотеки рейтрейсинга Intel Embree. По этой причине и по причине ввода некоторых экспериментальных фич, было решено выложить бета версию в публичный доступ, чтобы собрать фидбек и исправить возможные ошибки и недочеты

Спасибо за тестирование альфа версии: @Unfainthful, @AfterGlow, @Operator_Nanami, @Alexl

---

Минимальные требования для использования Embree:

• Процессор с поддержкой SSE2 инструкций. Для достижения лучшей производительности рекомендуется процессор Intel с поддержкой AVX, AVX2 и AVX-512 инструкций

Минимальные требования для ускорения вычислений на CUDA:

• Операционная система: Windows 10
• Видеокарта Nvidia с поддержкой CUDA
• Видеодрайвер версии 452.39 и старше

---

Скачать (upd: 06.10.24):

Google drive

Yandex disk

---

Основные изменения версии 1.6:

Геометрия:

• Часть алгоритмов компиляторов была переписана под многопоточное использование и вычисление на видеокарте
• Для ускорения рейтрейсинга подключена библиотека Embree с полноценной поддержкой прозрачных поверхностей и инстансов
• Оптимизированы фазы запекания освещения и расчетов укрытий АИ-сетки
• Исправлен пересвет хеми у MU объектов в аутдоре. Данная проблема имелась даже на оригинальных локациях, и сейчас все объекты (для исключением объектов в зданиях) более менее выровнены по значению хеми
• Лайтмап текстуры теперь автоматически расширяются до 4К разрешения. Благодаря этому на этапе сшивания геометрии больше вершин будут объединены за счет схожих текстур. Также данное разрешение было выбрано, так как оно поддерживается более-менее старыми видеокартами
• Изменена последовательность условий при распределении лайтмапов по холстам
• Изменено условие тесселяции треугольников. Теперь тесселяция производится только при большой площади текстурных координат у треугольников
• Добавлена подфаза оптимизации текстурных координат, которая нацелена на исправление потяжек текстур
• Исправлена проблема потенциальных потяжек текстур на геометрии с наложенными текстурами большого разрешения
• Убрана фаза Building tangent-basis, теперь действия этой фазы выполняются в процессе Converting to OGFs
• Экспериментальный отказ от использования THM файлов. Данные файлы используются компилятором для определения наличия прозрачности у текстур, чтобы в дальнейшем использовать текстуры при запекании освещения. Теперь проверка прозрачности происходит через чтение игровых шейдеров (shaders.xr). Производится поиск материалов с шейдером, который поддерживает полупрозрачность, и подгружаются только нужные текстуры. Также в подгружаемых текстурах дополнительно проверяется наличие альфа канала. Если его не обнаруживается, то текстура выгружается, а поверхность становится непрозрачной. Данный переход на использование shaders.xr поможет избавиться от проблемы с обработкой сломанных и некорректно настроенных THM файлов
• Фаза Radiosity (ключ -gi) автоматически отключается с использованием Embree, поскольку фаза стала deprecated. На первых версиях компилятора она уже работала не так как надо, поэтому в планах совсем её вырезать
• Уменьшен размер структуры треугольников, что уменьшило потребление памяти
• Новый формат build.cform, имеющий меньший вес файла

Спавн:

• Оптимизация в фазе сборки графов
• В спавн добавлена поддержка классов W_MOUNTD и Z_AMEBA
• Экспериментальный отказ от необходимости заполнения секции [levels]. Теперь список формируется из добавленных пользователем спавнов, и идентификаторы уровней идут по возрастанию. Для возвращения чтения секции добавлен ключ -use_levels_section
• Добавлен ключ -spawn_version <значение> для принудительного выставления версии спавна
• При ошибке "Can't find any graphs! Check log" могут дополнительно выводиться количество уровней без АИ-сетки и количество АИ-сеток с расхождением версий, если таковые имеются

Интерфейс:

• В меню добавлена опция перезагрузки меню после успешной компиляции
• В случае успешной компиляции при наличии опции выключения ПК теперь появляется окно с полуминутным таймером и возможностью отменить выключение
• Сообщения об инвалид фейсах и split faces больше не выводятся в окне, выводится только их количество. В лог всё пишется как раньше
• Добавлены новые опции ускорения вычислений
• Исправлено сохранение дополнительных ключей для компилятора АИ-сетки
• Добавлено поле дополнительных ключей в сборку спавна

Изменено 6 октября, 2024 пользователем SkyLoader

[SamArt 407]

Вот это называется проставился на днюху.

Спойлер

 

Изменено 22 февраля, 2022 пользователем SamArt

[BashyOne 301]

Очень круто! 

[macron 1 144]

Потестировал на "Liberty City". Вылетает на стадии "Converting to OGFs".

Команда:   xrCompiler.exe -geometry -nohemi -removeinvalid -noise -f liberty_city

Лог:  https://disk.yandex.ru/d/qQ5uE-srHqA2qw

 

Совет по исходникам компилятора от тов. Дизеля:

https://www.gameru.net/forum/index.php?s=&showtopic=18879&view=findpost&p=1705693

 

UPD: чтобы не вылетало, помог параметр  -notess

UPD: чтобы нормально сглаживалось,  помог параметр  -nosmg

UPD: чтобы обходить инвалиды, помог -skipinvalid

А при -removeinvalid удалялись мелкие треугольники на высокодетализированных моделях, что не хорошо.

UPD: чтобы не было глюков на воде и местами повышался fps, всегда добавляю -noise

Изменено 23 февраля, 2022 пользователем macron

[Graff46 204]

Не ведутся работы по использованию просчетов на видеокарте в xrLC и xrDO?

[Misery 436]

Мучения облегчены

[SkyLoader 253]

9 часов назад, macron сказал:

Потестировал на "Liberty City". Вылетает на стадии "Converting to OGFs".

Судя по логу, причина кроется в меше с 36к вершин и 71к фейсов - это много. Оригинальный компилятор тоже должен падать на таких объектах. По хорошему, такие большие меши надо разбивать в 3д редакторе, но можно пропустить этот вылет, используя ключ -nostrip

П.С. Хотел написать про огромное количество инвалидов в логе, и что, возможно, много геометрии будет пожрано с ключом -removeinvalid, но ты уже написал про -skipinvalid

Цитата

Не ведутся работы по использованию просчетов на видеокарте в xrLC и xrDO?

Некоторые наработки есть, но пока не до этого

[Graff46 204]

Как гуи определяет список локаций? По относительным путям?

 

[BashyOne 301]

Компилятор просто отличный. Если обычными компилями локация просчитывалась за 4-5 часов, то этим - за 40 минут

Могло быть еще быстрее, потому что я помимо компиляции использовал фоновые приложения.

Результат вот:

[DarkSnowder 101]

Хаюшки. Недавно услыхал об этом новом компиляторе, ну и решил его на подземной лабе заценить.

Спойлер

* Detected CPU: GenuineIntel Intel(R) Core(TM) i7-8750H CPU @ 2.20GHz, F6/M158/S10
* CPU features: RDTSC, MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1, SSE4.2, AES, AVX, FMA3, RDRAND, AVX2
* CPU cores/threads: 12
* RAM: Total memory: 16 Gb

X-ray Exogenesis engine [Universal level compiler edition]
'xrCore' build 4449, Feb 21 2022
Initializing File System...
Using FileSystem ltx:  fsgame.ltx
FS: 44547 files cached 0 archives, 7576Kb memory used.
Init FileSystem 0.927567 sec

Initializing task sheduler...
Task sheduler initialized with 11 threads and 1 task groups
Startup time: 12:29:39, date: 27.2.2022
 
* New phase started: Reading project [l04u_labx18]...
    |    | Input file version: 17
    |    | Output file version: 17
* Phase ended: Reading project [l04u_labx18]... - 00:00:00
 
* New phase started: Converting data structures...
    | Vertices...
    |    | *         vertices: 517038
    | Faces...
    |    | *            faces: 869890
    | Models and References
    |    | * Loading model: 'statics\dead_body\dead_spetsnaz_8'
    |    | * Loaded model: 'statics\dead_body\dead_spetsnaz_8' - v(1509/1509), f(2931/2931)
    |    | * Loading model: ''
    |    | * Loaded model: '' - v(0/0), f(0/0)
 
FATAL ERROR
 
[error]Expression    : xr_strlen(m_name)&&m_vertices.size()&&m_faces.size()
[error]Function      : xrMU_Model::Load
[error]File          : f:\s.t.a.l.k.e.r.sources\x-ray_universal_compiler\src\utils\xrcompiler_light\xrmu_model_load.cpp
[error]Line          : 46
[error]Description   : Incorrect MU model with name []!
 

stack trace:

0033:000000008972BF89 xrCore.dll, xrDebug::fail()
0033:000000008002BCB6 xrCompiler_Light.dll, xrMU_Model::Load()
0033:00000000900FBE22 xrCompiler_Geometry.dll
0033:000000009011851D xrCompiler_Geometry.dll, xrCompileGeometry()

Ключ компиляции: start bin\compilers_sky_x64\xrCompiler.exe -geometry -shoc -f l04u_labx18 -underground -removeinvalid

Пробовал и через меню - всё равно вылет. Жалуется на какую-то модель, хотя стандартные компилы под ТЧ спокойно уровень запускают и не ругаются.

[SkyLoader 253]

DarkSnowder, сдк от Yara? Подобные проблемы были при использовании его сдк, потому что в нём был добавлен экспорт групп сглаживания. Можно попробовать экспортировать уровень другим сдк.

Изменено 27 февраля, 2022 пользователем SkyLoader

[DarkSnowder 101]

SkyLoader Мдя уж, и не думал что этот СДК такое выдать сможет. Самый функциональный СДК на мой взгляд под ТЧ, и не совместим с твоим компилятором.

[1_A 213]

Новые х64 компиляторы, новые надежды. Прежде использовал от K.D. и от XrOxygen, последние хорошо справлялись с драфт качеством компиляции и справлялись с АИ сеткой. В то время как K.D. с АИ сеткой не справлялись. В тоже время на высоком качестве только КД. Получалось собрать карту двумя разными компиляторами на выс, но не на одних. От Оксиджена к сожалению не справлялись с высоким качеством компиляции (собирало но на K.D. компиляторах быстрее и лучше). 

Build succesful!
Time elapsed: 01:15:04

Довольно долго х2-3 (геометрия).

[pirat 291]

Очень понравился данный компилятор. Но есть одна неудобная вещь, связанная с меню этого компилятора: хотелось бы, чтобы при завершении компиляции уровня\травы\сетки меню не закрывалось. Просто, чтобы не открывать меню второй раз, для компиляции чего-то другого. Большое спасибо!

[1_A 213]

    | Processing...
Build succesful!
Time elapsed: 85:54:32

Да, компиляторы хорошие, но как уже писал с геометрией дольше чем у других, в моем случае собрало без множества деревьев за 3 дня. С деревьями думаю все 4 дня, а это очень долго ?

[Diesel 227]

Специально зарегистрировался. Уж очень интересна сея тема.

Изменено 4 марта, 2022 пользователем Diesel

[Graff46 204]

SkyLoader Компилю локу с ключами -nohemi -skipinvalid. Среднее качество сборки в СДК. Получаю локацию разделенную примерно пополам, одна половина темная (как в тени) - вторая освещенная, имеется резкая граница. Пересобирал эту же локу компиляторами х64 с -norgb -nosun - собралось без затенений но дольше раз в 10.

Спойлер

 

Изменено 21 марта, 2022 пользователем Graff46

[Diesel 227]

11 часов назад, Graff46 сказал:

-nohemi

Я точно не знаю, как Скай реализовал этот ключ, но точно знаю что вмешательство в хеми, это как раковую опухаль вырезать. Хеми - это и есть подложка для освещения солнцем. Если убрать хеми, то солнцу не куда будет проецироваться (кроме террейна и лайтимплисит материалов).

 

Скай последний раз был 27 февраля на сайте, скоро месяц как нет в онлайн. 

Изменено 22 марта, 2022 пользователем Diesel

[Graff46 204]

Diesel Пересобрал локу

Спойлер

В итоге на террейне снова тень на пол локации

Спойлер

 

---

Дополнено 0 минут спустя

-noise не может такое делать?

[macron 1 144]

2 часа назад, Graff46 сказал:

-noise не может такое делать?

Вряд ли. Попробуй компилем SCS9 от тов. Дизеля. В SDK в свойствах проекта обязательно ставить hemi 0.

https://cloud.mail.ru/public/x4UH/teuCxJeyW

 

[Diesel 227]

10 часов назад, Graff46 сказал:

Пересобрал локу

В итоге на террейне снова тень на пол локации

Судя по скрину, похоже на баганутую текстуру альфы террейна в папке левел. Текстуру в папке левел, при желании, можно сделать вручную, но можно и не использовать вообще. Эта текстура служит для подчеркивания колора и детализации.

---

Дополнено 50 минуты спустя

7 часов назад, macron сказал:

Попробуй компилем SCS9 от тов. Дизеля

Это специальный компилятор, для вырезания лайтмап и вертексного освещения, со специфическим сглаживанием геометрии. Это же проект "гипер-звук", в котором рекомендуется подстройка шейдеров, либо настройка енв-мода. Желательно все локации в проекте прогонять этим компилятором, иначе будет разношерстность геома.

---

Дополнено 58 минуты спустя

10 часов назад, Graff46 сказал:

-noise

Возможно это способствует оптимизации, а на освещение он вообще не должен влиять.

 

Изменено 24 марта, 2022 пользователем Diesel

[macron 1 144]

9 часов назад, Diesel сказал:

Возможно это способствует оптимизации, а на освещение он вообще не должен влиять.

В либертисите с -noise местами повышался fps и исчезали глюки фейсов на воде.

[SkyLoader 253]

Проблема с запеканием террейна действительно есть, но проявляется она далеко не на всех террейнах. Будет исправлено в следующей версии.

Изменено 24 марта, 2022 пользователем SkyLoader

[SkyLoader 253]

Доступна версия 1.1

Спойлер

Изменено хранение загружаемых текстур, что уменьшило потребление оперативной памяти

Добавлено автоматическое уменьшение размеров загружаемых текстур высокого разрешения до 1К, что тоже повлияло на уменьшение потребления памяти

Уменьшен шанс появления черных треугольников при недостаточном значении Pixel per meter

Добавлено отключение стрипификации и прогрессивов у высоколигональных мешей для пропуска вылетов "iNumVerts < 65535" и "OGF::Stripify"

Добавлен ключ -noimpl для пропуска стадии LIGHT: Implicit

Добавлен ключ -noresize для отключения уменьшения размеров загружаемых текстур высокого разрешения

Исправлено возможное подвисание окна приложения

Исправлено некорректное запекание освещения для некоторых террейнов

Исправлено не добавление ключа формата при старте компиляции из меню

Исправлена оригинальная ошибка распараллеливания на стадиях запекания освещения

Исправлен вылет при отсутствии implicit текстур

Спойлер

Google drive

Yandex disk

 

Изменено 8 апреля, 2022 пользователем SkyLoader

[Graff46 204]

Что такое "Добавлен ключ -noimpl для пропуска стадии LIGHT: Implicit" как это влияет на локацию и когда это можно/нужно отключать?