Универсальные компиляторы уровней х64

[SkyLoader 262]

 

Универсальные 64-х битные компиляторы уровней

---

Оригинальные компиляторы разработаны: GSC Game world
Правки компиляторов и сборка: SkyLoader
Благодарности: Abramcumner, K.D., vTurbine

---

Текущая версия: 1.6

Состав компиляторов:

• Компилятор геометрии [ТЧ, ЧН, ЗП]
• Компилятор травы [ТЧ, ЧН, ЗП]
• Компилятор АИ-сетки [ТЧ, ЧН, ЗП]
• Сборщик спавна [ТЧ, ЧН, ЗП]

Основные изменения:

• Поддержка x64
• Поддержка основных игр серии
• Все компиляторы объединены в одно приложение
• Часть алгоритмов компиляторов была переписана под многопоточное использование и вычисление на видеокарте с помощью CUDA
• Для ускорения рейтрейсинга подключена библиотека Intel Embree с полноценной поддержкой прозрачных поверхностей и инстансов
• Полностью изменен интерфейс
• Добавлено меню компилятора, в котором можно выбрать проект уровня, выставить определенные настройки и запустить компиляцию
• Добавлена система сохранения и загрузки настроек последних проектов
• Произведен переход на библиотеку DirectXTex на замену устаревшим FreeImage и nvDXT
• Отключен просчет RGB и Sun компонентов статического освещения и опционально оставлен только Hemi
• Проведена работа по распоточиванию некоторых фаз компиляции и распоточиванию кода сторонних библиотек
• Интегрирован Discord Rich Presence для возможности следить за статусом компиляции на удаленном ПК
• Добавлена возможность автоматически выключить ПК после компиляции
• Реализован прогресс бар на панели задач для отображения состояния текущей фазы компиляции при свернутом приложении
• Добавлены ключи для ускоренной компиляции уровней в целях тестирования
• Добавлены экспериментальные ключи для отключения некоторых фаз компиляции и установки параметров в обход параметров СДК
• Расширен вывод информации по некоторым ошибкам
• Исправлены некоторые вылеты оригинальных компиляторов

Минимальные требования для использования Embree:

• Процессор с поддержкой SSE2 инструкций. Для достижения лучшей производительности рекомендуется процессор Intel с поддержкой AVX, AVX2 и AVX-512 инструкций

Минимальные требования для ускорения вычислений на CUDA:

• Операционная система: Windows 10
• Видеокарта Nvidia с поддержкой CUDA
• Видеодрайвер версии 452.39 и старше

 

Для работы требуется установленный Microsoft Visual C++ 2019 Redistributable х64.

Внимание: в данном компиляторе по умолчанию отключено запекание статического света и статических теней солнца. Для включения запекания этих компонентов необходимо использовать соответствующий ключ, указанный в описании.

 

Спойлер

Для компиляции геометрии уровня:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f имя_уровня -version название_версии (shoc/cs/cop)

Для компиляции детейлов (травы):

start bin\compilers_sky_x64\xrCompiler.exe -details -f имя_уровня -version название_версии (shoc/cs/cop)

Для компиляции АИ-сетки:

start bin\compilers_sky_x64\xrCompiler.exe -aispawn -f имя_уровня -version название_версии (shoc/cs/cop)

Для сборки спавна:

start bin\compilers_sky_x64\xrCompiler.exe -aispawn -s имя_уровня1,имя_уровня2,имя_уровня3 -out all

 

Спойлер

-static – запекать статическое освещение (не работает с ключом -nohemi)

-nohemi – отключить запекание освещения. Значительно ускоряет компиляцию. Предназначен для тестирования геометрии

-skipthm – не прерывать компиляцию при отсутствующих текстурах

-skipinvalid – не прерывать компиляцию при найденных invalid faces и пропускать их

-removeinvalid – не прерывать компиляцию при найденных invalid faces и удалять их

-noimpl  - пропуск стадии LIGHT: Implicit (запекание освещения для террейна)

-nocform - пропуск создания level.cform

-noresize - отключить уменьшение размеров загружаемых текстур высокого разрешения

-tex_rgba – не использовать сжатие для сохраняемых текстур

-tex_bc7 – использовать BC7 сжатие для сохраняемых текстур (формат поддерживается только на DX11)

-silent – автоматически закрыть приложение после завершения компиляции

-sleep – выключить компьютер после завершения компиляции

-underground – компилировать уровень как подземный. Ускоряет компиляцию

-cform – экспортировать только коллизию уровня

-noise – отключить создание Progressive геометрии. Ускоряет компиляцию, но не создает упрощенную геометрию для уровня и Multiple Usage объектов

-nosmg – не использовать группы сглаживания. В зависимости от конкретной геометрии помогает избежать ломаных фейсов/теней, или наоборот добавит их

-notess – не тесселировать геометрию. В некоторых случаях может повышать fps в зависимости от конкретной локации. Проверять на практике

-noweld – отключить сшивание маленьких треугольников. В некоторых случаях помогает избежать глюков на некоторых типах геометрии

-nomerge – пропустить стадию Merging geometry

-nostrip – отключить оптимизацию и стрипификацию геометрии

-dx_opt – включить оптимизацию геометрии средствами D3DX optimizer вместо NvTriStrip

-old_bcform - создавать build.cform в старом формате

-no_mt_mu – не запускать расчет освещения для Multiple Usage объектов параллельно основной компиляции

-high – более высокий приоритет для потоков

-saveobj_base – сохранить всю геометрию уровня в модели с расширением .obj (базовая развертка)

-saveobj_lmap – сохранить всю геометрию уровня в модели с расширением .obj (лайтмап развертка)

-saveobj_cform – сохранить всю коллизию уровня в модель с расширением .obj

-qual_draft – установить качество сцены в Draft (не влияет на выставленные шейдеры)

-qual_high – установить качество сцены в High (не влияет на выставленные шейдеры)

-force_default_shader - принудительно заменять шейдеры материалов с вершинного освещения на лайтмапное (def_vertex->default)

-force_vertex_shader - принудительно заменять шейдеры материалов с лайтмапного освещения на вершинное (default->def_vertex)
-ppm число – установить качество лайтмапов вместо значения в СДК

-weld_dist число – установить Weld distance вместо значения в СДК

-hemi_bias число – установить смещение позиции луча при запекании хеми (по умолчанию: 0.1, в оригинале: 0.001)

Спойлер

-skipthm – не прерывать компиляцию при отсутствующих текстурах и файлах thm

-silent – автоматически закрыть приложение после завершения компиляции

-sleep – выключить компьютер после завершения компиляции

-nohemi – отключить запекание освещения

-static – запекать статическое освещение (не работает с ключом -nohemi)

Спойлер

-draft – не просчитывать укрытия для АИ-сетки

-verify – проверить АИ-сетку на ошибки

-noverbose – не выводить информацию об одиночных нодах (при ключе -verify)

-skipthm – не прерывать компиляцию при отсутствующих текстурах и файлах thm

-silent – автоматически закрыть приложение после завершения компиляции

-sleep – выключить компьютер после завершения компиляции

Спойлер

-s имя_уровня1,имя_уровня2,имя_уровня3... - собрать спавн из перечисленных уровней (перечисление через запятую без пробела). Например, -s zaton,labx8,jupiter,jupiter_underground,pripyat

-out имя - выбрать имя выходного файла спавна. Например, -out all

-no_separator_check - отключить конфликты спейс рестрикторов и АИ-сетки, а также другие ошибки

-insert_graph - осуществлять сборку спавна со вшитыми в спавн графами для ТЧ спавна

-large_aimap - собрать спавн для уровней с расширенной АИ-сеткой. Все уровни должны иметь такой формат сетки

Спойлер

-help – вызов справки со списком всех ключей запуска

-t число – установить количество потоков для многопоточных операций (не работает с ключом -tbb)

-fsltx имя_файла – использовать свой ltx вместо fsgame.ltx.

-log_name имя_файла – создать файл лога с данным именем. Полезно для компиляции локаций очередью

-log_count число – установить максимальное количество множественных логов. По умолчанию, 30. Работает только через прописывание в .bat файл запуска

-discord – включить Discord Rich Presence с выводом имени уровня и статуса компиляции

-discord_s – включить Discord Rich Presence с выводом только статуса компиляции

-tbb – использовать TBB многопоточность (не рекомендуется)

-both_texture_pathes - загрузка текстур и thm файлов по обоим путям ($game_textures$ и $textures$)

Спойлер

Ускоренная компиляция уровня для тестирования геометрии без запеченного освещения:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f zaton -nohemi -noise

start bin\compilers_sky_x64\xrCompiler.exe -details -f zaton -nohemi

start bin\compilers_sky_x64\xrCompiler.exe -aispawn -f zaton -draft

Компиляция подземного уровня, полностью закрытого nosun геометрией:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f labx8 -underground

Компиляция только коллизии:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f zaton -cform

Компиляция локаций очередью с последующим выключением ПК:

start /wait bin\compilers_sky_x64\xrCompiler.exe -geometry -f zaton -log_name zaton_geometry -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -details -f zaton -log_name zaton_detail -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -aispawn -f zaton -log_name zaton_aimap -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -geometry -f jupiter -log_name jupiter_geometry -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -details -f jupiter -log_name jupiter_detail -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -aispawn -f jupiter -log_name jupiter_aimap -silent -sleep

 

Спойлер

Спойлер

Версия 1.6:

Спойлер

Геометрия:

• Часть алгоритмов компиляторов была переписана под многопоточное использование и вычисление на видеокарте
• Для ускорения рейтрейсинга подключена библиотека Embree с полноценной поддержкой прозрачных поверхностей и инстансов
• Оптимизированы фазы запекания освещения и расчетов укрытий АИ-сетки
• Оптимизированы фазы Building UV и Merging geometry
• Исправлен пересвет хеми у MU объектов в аутдоре. Данная проблема имелась даже на оригинальных локациях, и сейчас все объекты (для исключением объектов в зданиях) более менее выровнены по значению хеми
• При запекании хеми освещения реализована небольшая рандомизация направления лучей, что улучшило плавность запекания 
• Лайтмап текстуры теперь автоматически расширяются до 4К разрешения. Благодаря этому на этапе сшивания геометрии больше вершин будут объединены за счет схожих текстур. Также данное разрешение было выбрано, так как оно поддерживается более-менее старыми видеокартами
• Изменена последовательность условий при распределении лайтмапов по холстам
• Изменено условие тесселяции треугольников. Теперь тесселяция производится только при большой площади текстурных координат у треугольников
• Добавлена подфаза оптимизации текстурных координат, которая нацелена на исправление потяжек текстур
• Исправлена проблема потенциальных потяжек текстур на геометрии с наложенными текстурами большого разрешения
• Убрана фаза Building tangent-basis, теперь действия этой фазы выполняются в процессе Converting to OGFs
• Экспериментальный отказ от использования THM файлов. Данные файлы используются компилятором для определения наличия прозрачности у текстур, чтобы в дальнейшем использовать текстуры при запекании освещения. Теперь проверка прозрачности происходит через чтение игровых шейдеров (shaders.xr). Производится поиск материалов с шейдером, который поддерживает полупрозрачность, и подгружаются только нужные текстуры. Также в подгружаемых текстурах дополнительно проверяется наличие альфа канала. Если его не обнаруживается, то текстура выгружается, а поверхность становится непрозрачной. Данный переход на использование shaders.xr поможет избавиться от проблемы с обработкой сломанных и некорректно настроенных THM файлов
• Фаза Radiosity (ключ -gi) автоматически отключается с использованием Embree, поскольку фаза стала deprecated. На первых версиях компилятора она уже работала не так как надо, поэтому в планах совсем её вырезать
• Уменьшен размер структуры треугольников, что уменьшило потребление памяти
• Новый формат build.cform, имеющий меньший вес файла
• Добавлена возможность встроить кэш коллизии в level.cform через опцию -cache_cform. Требует модифицированный игровой движок с поддержкой встроенного кэша. Исходный код чтения обновленного формата представлен здесь: https://github.com/OpenXRay/xray-16/commit/8debe4df30070dcf4ed76afee2d93b3c55add757
• Исправлены потенциальные проблемы с появлением "фейковых" теней
• Добавлено больше информации о вылете "g_sectors"

Спавн:

• Оптимизация в фазе сборки графов
• В спавн добавлена поддержка классов W_MOUNTD и Z_AMEBA
• Экспериментальный отказ от необходимости заполнения секции [levels]. Теперь список формируется из добавленных пользователем спавнов, и идентификаторы уровней идут по возрастанию. Для возвращения чтения секции добавлен ключ -use_levels_section
• Добавлен ключ -spawn_version <значение> для принудительного выставления версии спавна
• При ошибке "Can't find any graphs! Check log" могут дополнительно выводиться количество уровней без АИ-сетки и количество АИ-сеток с расхождением версий, если таковые имеются

Интерфейс:

• В меню добавлена опция перезагрузки меню после успешной компиляции
• В случае успешной компиляции при наличии опции выключения ПК теперь появляется окно с полуминутным таймером и возможностью отменить выключение
• Сообщения об инвалид фейсах и split faces больше не выводятся в окне, выводится только их количество. В лог всё пишется как раньше
• Добавлены новые опции ускорения вычислений
• Исправлено сохранение дополнительных ключей для компилятора АИ-сетки
• Добавлено поле дополнительных ключей в сборку спавна
• При завершенной компиляции приложение просигнализирует об этом на панели задач

Остальное:

• Произведено объединение библиотек компилятора в монолитный вид, в результате чего некоторый код был соптимизирован
• Добавлены множественные логи. По умолчанию, создается до 30 логов, заменяя собой более старые файлы
• Добавлен ключ -log_count, устанавливающий максимальное количество множественных логов. Работает только через прописывание в .bat файл запуска

Google drive

Yandex disk

Версия 1.5:

Спойлер

• Добавлена возможность форсировать использование групп сглаживания на определенной геометрии даже при наличии ключа -nosmg. Для использования групп сглаживания на модели необходимо назначить на его материалы компил шейдер, имеющий в названии _smg. Например, def_vertex\def_vertex_smg. Сам компил шейдер достаточно склонировать с оригинального и переименовать с этим постфиксом
• Добавлена возможность отключить тесселяцию на определенной геометрии (например, на носан коробках). Для этого необходимо назначить на материал компил шейдер, имеющий _no_tess в названии. Однако следует помнить, что отключение тесселяции может порождать потяжки текстур, поскольку не создаются дополнительные вершины, необходимые для оптимизированной развертки
• Добавлена возможность отключить запекание теней от определенных MU моделей. Компил шейдеры MU моделей должны иметь _no_mu_shadow в названии. Отличие данного решения от обычного отключения галки Cast shadow заключается в том, что в данном случае будет применяться самозатенение MU модели, и модель не будет высветлена
• Отключены некоторые фазы компиляции в режиме -nohemi. Также теперь в этом режиме создается только одна пара лайтмап текстур на весь уровень
• При выключенном запекании статического освещения текстура лайтмапы террейна сохраняется с разрешением 32x32
• Исправлен экспорт левел ченджеров в ЧН и ЗП
• Добавлен новый алгоритм выполнения фазы "Merging geometry". Потребляет чуть больше памяти, но выполняется быстрее
• Фаза создания коллизии уровня перемещена перед фазой тесселяции для уменьшения полигонажа
• Добавлена опция отображения максимального потребления памяти при компиляции:

• Новые ключи для компилятора геометрии:

-no_bcform - пропустить фазы "Building rcast-CFORM model", "Building rcast-CFORM-mu model" и отключить создание файла build.cform, необходимого компиляторам для запекания освещения детейлов и расчета укрытий АИ-сетки. Работает только с ключом -nohemi и предназначен для ускорения компиляции без расчетов освещения
-old_merge - вернуть использование старого алгоритма фазы "Merging geometry"
-lmap_size число - разрешение лайтмап текстур. По умолчанию 1024
-border число - изменить значение переменной BORDER в коде компиляторов. По умолчанию 1
-subdiv_size число - изменить максимальный размер участков (в метрах), на которые разбивается большая геометрия. По умолчанию 32
-bparams_ext - поддержка расширенных настроек уровней, экспортированных SDK от Yara

• Новый ключ для компилятора АИ-сетки:

-force_large_aimap - форсировать открытие АИ-сетки оригинального формата с большим количеством АИ-нод (более 8 млн). Ключ экспериментальный, корректность АИ-сетки не гарантируется. Для корректного экспорта необходима АИ-сетка нового формата.

• Новые ключи для сборщика спавна:

-actor_level имя_уровня - выбрать уровень для спавна актора. Позволяет избежать рутинного удаления актора вручную с каждого уровня. Будет заспавнен только актор с выбранного уровня, остальные проигнорированы. Если же его нет на уровне, то он автоматически создастся в нулевых координатах
-no_levels_section - игнорировать список уровней из секции [levels]. Позволяет не прописывать каждый уровень в эту секцию. В этом случае общий спавн будет собран из списка уровней, прописанных в батнике
-skip_invalid_class - пропускать вылет "Can't create entity". Все объекты с некорректными и неизвестными классами будут проигнорированы и не попадут в общий спавн

Google drive

Yandex disk

 

Версия 1.4b:

Спойлер

• Добавлена поддержка формата расширенной АИ-сетки. Сетка будет автоматически экспортироваться в новый формат при обнаружении нового формата в файле проекта из СДК. Для данного формата также необходим измененный игровой движок и СДК
• Для сборки спавна добавлен ключ -large_aimap, предназначенный для уровней с расширенной АИ-сеткой. Все уровни должны иметь одинаковую версию АИ-сетки
• Оптимизована система трассировки. На оригинальных локациях стадии запекания освещения заняли на ~30% меньше времени. Предположительно, на тяжелых локациях ускорение будет больше
• Распоточена упаковка вершин коллизии. На тяжелых локациях может немного ускорить фазы, связанные с CFORM. Правка экспериментальная, поэтому для отключения добавлен ключ -no_mt_cdb_pack
• Создан новый формат build.cform, поддерживающий более 60 млн вершин и 110 млн треугольников
• Исправлено сохранение больших файлов
• Добавлена поддержка MU объектов, не имеющих ни одного материала с Cast shadow
• Компилятор травы больше не запрашивает и не загружает build.cform и build.lights при ключе -nohemi
• Компилятор АИ-сетки больше не запрашивает и не загружает build.cform при ключе -draft
• Добавлен ключ -force_default_shader для принудительной замены шейдеров материалов с вершинным освещением на лайтмапное (def_vertex -> default)
• Добавлен ключ -force_vertex_shader для принудительной замены шейдеров материалов с лайтмап освещением на вершинное (default -> def_vertex)
• Ключ -t теперь влияет на количество TBB потоков
• Расширена информация по некоторым ошибкам при сборке спавна 
• Отключена загрузка текстур и thm файлов по обоим путям ($game_textures$ и $textures$) во избежание путаницы и конфликтов. Теперь для ЧН/ЗП уровней производится загрузка только по $game_textures$, а для ТЧ по $textures$
• Добавлен ключ -both_texture_pathes для возвращения загрузки текстур по обоим путям
• Отключен вылет iFloor((source_position.z - header().box().min.z)/header().cell_size() + .5f) при нахождении объекта за пределами АИ-сетки. Добавлен вывод в лог некорректной позиции и производится попытка сместить позицию на крайнюю аи-ноду
• Убрано изменение level файла при ключе -cform
• Добавлено завершение записи level файла перед сообщением об успешной компиляции
• При ключе -saveobj_cform разделен экспорт геометрии на два файла: raycast геометрию и коллизию
• Не используемые при запекании выходные текстуры сохраняются с разрешением 32х32
• Добавлена возможность прописать абсолютный путь к выходному спавну. Такой путь должен быть указан в кавычках и не содержать кириллицы. Например: -out "e:\Games\STALKER - COP\gamedata\spawns\all.spawn" -no_separator_check 
• Добавлен вывод ключей в лог при старте компилятора через батник

Google drive

Yandex disk

 

Версия 1.3a:

Спойлер

• Добавлена поддержка сборки ТЧ спавна
• Для ТЧ спавна добавлен ключ -insert_graph, который осуществляет сборку спавна со вшитыми в спавн графами
• Мультивыбор уровней в списке на добавление в спавн
• Добавлена поддержка чтения файлов больше 2 Гб

Google drive

Yandex disk

 

Версия 1.2:

Спойлер

• Добавлена поддержка сборки ЧН спавна
• Добавлена поддержка групп сглаживания для ТЧ локаций
• При ключе -removeinvalid больше не удаляются полигоны с нулевой площадью текстурных координат. Координаты заменяются на константное значение
• Улучшено взаимодействие потоков расчетов лайтмапов и обработки MU моделей между собой
• Добавлен ключ -nocform для пропуска создания level.cform
• В создаваемый компилятором compiler.ini добавлены параметры проектов по умолчанию (секция [compiler_pref]). К примеру, чтобы включить автоматическую установку флага -static для новых проектов, следует выставить параметр gm_static в on.
• Добавлено больше информации о фазах сборки спавна

Google drive

Yandex disk

 

Версия 1.1:

Спойлер

• Изменено хранение загружаемых текстур, что уменьшило потребление оперативной памяти
• Добавлено автоматическое уменьшение размеров загружаемых текстур высокого разрешения до 1К, что тоже повлияло на уменьшение потребления памяти
• Уменьшен шанс появления черных треугольников при недостаточном значении Pixel per meter
• Добавлено отключение стрипификации и прогрессивов у высоколигональных мешей для пропуска вылетов "iNumVerts < 65535" и "OGF::Stripify"
• Добавлен ключ -noimpl для пропуска стадии LIGHT: Implicit
• Добавлен ключ -noresize для отключения уменьшения размеров загружаемых текстур высокого разрешения
• Исправлено возможное подвисание окна приложения
• Исправлено некорректное запекание освещения для некоторых террейнов
• Исправлено не добавление ключа формата при старте компиляции из меню
• Исправлена оригинальная ошибка распараллеливания на стадиях запекания освещения
• Исправлен вылет при отсутствии implicit текстур

Google drive

Yandex disk

 

Версия 1.0:

Google drive

Yandex disk

 

Спойлер

Есть возможность выставить настройки по умолчанию для загружаемых уровней. После первого запуска компилятора создаётся файл compiler.ini в корневой папке СДК. В секции [compiler_default_pref] этого файла можно поменять опции различных ключей, которые присутствуют в меню. Например, если ваш движок требует запекание статического освещения, то в данной секции нужно поменять опции gm_static и dt_static с off на on. После этого для всех новых проектов будет автоматически выставляться галка "Запекать статическое освещение".

Для уровней, собранных ТЧ СДК, будет автоматически применяться ТЧ сглаживание, а значит нет необходимости использовать ключ -nosmg. Исключение составляют модифицированные ТЧ СДК, добавляющие группы сглаживания (например, SDK от Yara).

При активном ключе -both_texture_pathes на этапе загрузки .thm файлов сначала производится попытка открыть файл по пути $game_textures$ (gamedata\textures), при его отсутствии – по пути $textures$ (rawdata\textures). По умолчанию, для ЧН/ЗП проектов используется только путь $game_textures$, для ТЧ проектов - $textures$.

Для частичного исправления часто встречающейся проблемы с появлением черных полигонов было изменено смещение позиции лучей при запекании затенений от хемисферы. В связи с этим, при моделировании геометрии зданий рекомендуется не создавать ту-сайд геометрию для стен (как, например, у кораблей на Затоне), а выдерживать определенную их толщину. Если же требуется оставить геометрию как есть, то можно вернуть смещение луча на оригинальное значение с помощью ключа -hemi_bias 0.001, но тогда количество черных треугольников будет как при использовании старых компиляторов. 

Увеличение значения -hemi_bias (например, на значение от 1.0 до 10.0) в определенных случаях позволяет избавиться от черных треугольников, оставшихся после запекания освещения, однако может увеличить просветы в других местах.

В продакшен версии уровня не рекомендуется использовать ключ -skipthm, поскольку из-за отсутствующих текстур и файлов thm на поверхностях может неправильно запечься свет.

Не следует выставлять настройку сцены Weld distance в ноль. Иногда это провоцирует создание кривых фейковых теней от некоторой геометрии. Лучше поставить небольшое значение, но больше нуля.

В случаях, когда на уровне нужно поправить только коллизию уровня или расставить фейки для актора, можно воспользоваться ключом -cform. Будет компилироваться только коллижн-геометрия уровня без запекания освещения, тем самым значительно уменьшится время компиляции.

Для анализа того, как компилятор изменил геометрию уровня под игру, можно воспользоваться ключами -saveobj_base, -saveobj_lmap и -saveobj_cform. Геометрия будет сохранена по пути temp\geom… в файлы с расширением obj для дальнейшего просмотра их в 3д редакторе. Также ключ -saveobj_lmap может помочь в ручном редактировании лайтмап текстур, если на них были обнаружены проблемы.

 

 

Изменено Воскресенье в 23:52 пользователем SkyLoader

[Злобная реклама]

[SkyLoader 262]

Доступно обновление до версии 1.6 beta!

В новом обновлении была проведена большая работа над ускорением алгоритмов, их оптимизации,  реализации расчетов на CUDA ядрах и внедрении новой современной библиотеки рейтрейсинга Intel Embree. По этой причине и по причине ввода некоторых экспериментальных фич, было решено выложить бета версию в публичный доступ, чтобы собрать фидбек и исправить возможные ошибки и недочеты

Спасибо за тестирование альфа версии: @Unfainthful, @AfterGlow, @Operator_Nanami, @Alexl

---

Минимальные требования для использования Embree:

• Процессор с поддержкой SSE2 инструкций. Для достижения лучшей производительности рекомендуется процессор Intel с поддержкой AVX, AVX2 и AVX-512 инструкций

Минимальные требования для ускорения вычислений на CUDA:

• Операционная система: Windows 10
• Видеокарта Nvidia с поддержкой CUDA
• Видеодрайвер версии 452.39 и старше

---

Скачать (upd: 06.10.24):

Google drive

Yandex disk

---

Основные изменения версии 1.6:

Геометрия:

• Часть алгоритмов компиляторов была переписана под многопоточное использование и вычисление на видеокарте
• Для ускорения рейтрейсинга подключена библиотека Embree с полноценной поддержкой прозрачных поверхностей и инстансов
• Оптимизированы фазы запекания освещения и расчетов укрытий АИ-сетки
• Исправлен пересвет хеми у MU объектов в аутдоре. Данная проблема имелась даже на оригинальных локациях, и сейчас все объекты (для исключением объектов в зданиях) более менее выровнены по значению хеми
• Лайтмап текстуры теперь автоматически расширяются до 4К разрешения. Благодаря этому на этапе сшивания геометрии больше вершин будут объединены за счет схожих текстур. Также данное разрешение было выбрано, так как оно поддерживается более-менее старыми видеокартами
• Изменена последовательность условий при распределении лайтмапов по холстам
• Изменено условие тесселяции треугольников. Теперь тесселяция производится только при большой площади текстурных координат у треугольников
• Добавлена подфаза оптимизации текстурных координат, которая нацелена на исправление потяжек текстур
• Исправлена проблема потенциальных потяжек текстур на геометрии с наложенными текстурами большого разрешения
• Убрана фаза Building tangent-basis, теперь действия этой фазы выполняются в процессе Converting to OGFs
• Экспериментальный отказ от использования THM файлов. Данные файлы используются компилятором для определения наличия прозрачности у текстур, чтобы в дальнейшем использовать текстуры при запекании освещения. Теперь проверка прозрачности происходит через чтение игровых шейдеров (shaders.xr). Производится поиск материалов с шейдером, который поддерживает полупрозрачность, и подгружаются только нужные текстуры. Также в подгружаемых текстурах дополнительно проверяется наличие альфа канала. Если его не обнаруживается, то текстура выгружается, а поверхность становится непрозрачной. Данный переход на использование shaders.xr поможет избавиться от проблемы с обработкой сломанных и некорректно настроенных THM файлов
• Фаза Radiosity (ключ -gi) автоматически отключается с использованием Embree, поскольку фаза стала deprecated. На первых версиях компилятора она уже работала не так как надо, поэтому в планах совсем её вырезать
• Уменьшен размер структуры треугольников, что уменьшило потребление памяти
• Новый формат build.cform, имеющий меньший вес файла

Спавн:

• Оптимизация в фазе сборки графов
• В спавн добавлена поддержка классов W_MOUNTD и Z_AMEBA
• Экспериментальный отказ от необходимости заполнения секции [levels]. Теперь список формируется из добавленных пользователем спавнов, и идентификаторы уровней идут по возрастанию. Для возвращения чтения секции добавлен ключ -use_levels_section
• Добавлен ключ -spawn_version <значение> для принудительного выставления версии спавна
• При ошибке "Can't find any graphs! Check log" могут дополнительно выводиться количество уровней без АИ-сетки и количество АИ-сеток с расхождением версий, если таковые имеются

Интерфейс:

• В меню добавлена опция перезагрузки меню после успешной компиляции
• В случае успешной компиляции при наличии опции выключения ПК теперь появляется окно с полуминутным таймером и возможностью отменить выключение
• Сообщения об инвалид фейсах и split faces больше не выводятся в окне, выводится только их количество. В лог всё пишется как раньше
• Добавлены новые опции ускорения вычислений
• Исправлено сохранение дополнительных ключей для компилятора АИ-сетки
• Добавлено поле дополнительных ключей в сборку спавна

Изменено 6 октября, 2024 пользователем SkyLoader

[SkyLoader 262]

9 часов назад, Chickenboss226 сказал:

все равно та же ошибка

Залей скрипты и конфиги из геймдаты сдк

[Yara 166]

В 09.08.2025 в 23:21, Chickenboss226 сказал:

Final core params: -aispawn -s kpp -no_separator_check -insert_graph -version shoc

Игра вылетит, если загрузить спавн, собранный с данным ключом и без указанной правки:

В 31.08.2022 в 02:18, SkyLoader сказал:

Второе нововведение для ТЧ спавна, это ключ -insert_graph. Он позволяет вшить все графы уровней в файл спавна, как это реализовано в ЗП. Это облегчит перенос спавна из рабочей директории сдк в директорию игры, поскольку не нужно переносить все файлы графов и таблиц связности АИ-сетки с графами, а лишь перенести один файл спавна. Однако такой формат спавна потребует изменения игрового движка, поэтому ниже приложена ссылка на коммит, который можно адаптировать под свою версию движка.

https://github.com/SkyLoaderr/OGSR-Engine/commit/c756706c6b1fb826bfaf53a83cedea579b38b971

 

[Chickenboss226 0]

Yara отключил -insert_graph, та ошибка пропала но теперь другая, написано "There is no ai-map for the level kpp!" хоть аи сетка есть

Спойлер

* Detected CPU: GenuineIntel Intel(R) Core(TM) i5-8250U CPU @ 1.60GHz, F6/M142/S10
* CPU features: RDTSC, MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1, SSE4.2, AES, FMA3, RDRAND, AVX, AVX2
* CPU cores/threads: 8
* RAM: Total memory: 8 Gb

X-ray Exogenesis engine [Universal level compiler edition]
'xrCore' build 5665, Jun 22 2025
Initializing File System...
Using FileSystem ltx:  fsgame.ltx
FS: 52300 files cached 0 archives, 12728Kb memory used.
Init FileSystem 3.003090 sec

Starting Level compiler v1.6
Initializing task sheduler...
Task sheduler initialized with 7 threads and 3 task groups
CUDA: Devices found:
Device 1: NVIDIA GeForce MX150
  Major minor: 6.1
  Total global memory: 2047 MB
Final core params: -aispawn -s kpp -no_separator_check -version shoc

Startup time: 13:15:05, date: 11.8.2025
Loading main config-script: "e:\_stalkermodding\x-ray sdk 0.4 fixed\xray_sdk_0.4\gamedata\config\system.ltx"
    |    | AI-map version: 8
    |    | Output spawn version: 118
    |    | Game spawn will have graphs: no
! There is no ai-map for the level kpp! (level is not included into the game graph)
 
* New phase started: Processing level graphs
! There is no ai-map for the level kpp! (level is not included into the game graph)
1 levels didn't add for some reasons

 
FATAL ERROR
 
[error]Expression    : tpGraphs.size()
[error]Function      : CGraphMerger::CGraphMerger
[error]File          : F:\S.T.A.L.K.E.R.Sources\x-ray_universal_compiler\src\utils\xrCompiler_Core\AI\xr_graph_merge.cpp
[error]Line          : 770
[error]Description   : Can't find any graphs! Check log
[error]Arguments     : 1 levels have no ai map
 

stack trace:

0033:00000000A28910E4 xrCore.dll, xrDebug::fail()
0033:000000009339F1DA xrCompiler_Core.dll, xrCompilerCore::TestCUDADevice()
0033:000000009338C7D7 xrCompiler_Core.dll, xrCompilerCore::TestCUDADevice()
0033:000000009338C1C1 xrCompiler_Core.dll, xrCompilerCore::TestCUDADevice()
0033:000000009338A628 xrCompiler_Core.dll, xrCompilerCore::TestCUDADevice()

 

[Yara 166]

Chickenboss226 

Для ясности, в папке уровня: 

build.aimap - для компилятора, чтобы получить level.ai, который требуется для сборки графа и спавна / игры. И какой есть у тебя?

[Chickenboss226 0]

Yara я пофиксил, надо было пересобрать аи сетку, но опять появилась ошибка bad argument #2 to 'format' (no value) 

[Yara 166]

Chickenboss226 

Раз ТЧ, делаешь распак оригинальных дб (1.0006), берёшь папку scripts и копируешь в геймдату сдк с заменой.

 

 

[Chickenboss226 0]

Yara закинул scripts из тч, та же ошибка. может это из за спавн элемента какого то на локации?

[Yara 166]

Chickenboss226 

Делаешь бекап папки уровня в rawdata\maps, и удаляешь по одному типу элемента, например - все патроны.

[Chickenboss226 0]

Yara я удалил смарт террейны, после них спавн скомпилировался. я думаю что это из за того что я не все параметры  в кастом дате смарт террейнам указал. какие для них параметры нужны?

[Yara 166]

Chickenboss226 

Пример простого лагеря:

[smart_terrain]
type = general_lager
capacity = 4
communities = stalker

[Chickenboss226 0]

Yara локация запустилась, но есть пару моментов:
1. Текстуры террейна и дороги плывут и меняют качество при движении камеры
2. Я поместил бандитов в смарт террейн, но они из него уходят
3. Я в другом смарт террейне сделал 2 респавна но там никто не респавнится

[macron 1 158]

С ключом -force_default_shader выводится ошибка: Engine shader 'default' not found in library.

    | Processing materials...
 
FATAL ERROR
 
[error]Expression    : defautEngineShaderId != u16(-1)
[error]Function      : post_process_materials
[error]File          : F:\S.T.A.L.K.E.R.Sources\x-ray_universal_compiler\src\utils\Shader_xrLC.h
[error]Line          : 307
[error]Description   : ERROR: Engine shader 'default' not found in library

[SkyLoader 262]

Есть вопрос по поводу вкладки Other tasks в окне компиляции. Ей кто-то пользуется? Насколько критично будет её убрать, чтобы она не грузила основное окно? Сообщения параллельных потоков будут всё так же писаться в лог файл, как и раньше, просто не добавляться в эту вкладку.

 

В 20.08.2025 в 04:44, macron сказал:

С ключом -force_default_shader выводится ошибка: Engine shader 'default' not found in library.

Проверил этот ключ на Затоне и одной сторонней локации, ошибки нет. Может этого компайл шейдера нет в библиотеке

Изменено Воскресенье в 22:42 пользователем SkyLoader

[macron 1 158]

2 часа назад, SkyLoader сказал:

Проверил этот ключ на Затоне и одной сторонней локации, ошибки нет. Может этого компайл шейдера нет в библиотеке

Проверил на ТЧ-SDK (до этого был ЧН-SDK вроде) с бассейном и одной наземной локой, пошло нормально. А на Либертисити опять вылет. Пришлю проект в личку.

[macron 1 158]

Замерил производительность геометрии от разных версий компилятора в двух местах на карте Либертисити: при старте игры и на улице. Также учитывались варианты с/без -notess. Погрешность в пределах нескольких fps.
Условия: r2, no wrapper, no vsync, no hud, no ui, fraps.

Командная строка такая:

@start bin\compiler\xrCompiler.exe -geometry -version soc -static -skipinvalid -notess -nosmg -noise -hemi_bias 10 -noweld -both_texture_pathes -f liberty_city



Результаты:

 

1-v14b без -notess
Newgame 1280x1024 = 280
Ulica          1280x1024 = 215
Newgame 1920x1080 = 188
Ulica          1920x1080 = 150

2-v14b с -notess
Newgame 1280x1024 = 279
Ulica          1280x1024 = 214
Newgame 1920x1080 = 188
Ulica          1920x1080 = 150

3-v15 без -notess
Newgame 1280x1024 = 267
Ulica          1280x1024 = 158
Newgame 1920x1080 = 178
Ulica          1920x1080 = 150

4-v15 с -notess
Newgame 1280x1024 = 279
Ulica          1280x1024 = 215
Newgame 1920x1080 = 183
Ulica          1920x1080 = 152

5-v16_final без -notess
Newgame 1280x1024 = 223
Ulica          1280x1024 = 213
Newgame 1920x1080 = 181
Ulica          1920x1080 = 118

6-v16_final с -notess
Newgame 1280x1024 = 222
Ulica          1280x1024 = 212
Newgame 1920x1080 = 182
Ulica          1920x1080 = 119

Вывод: самая "производительная" геометрия получалась на компиляторе v1.4b и v1.5 c -notess.

Изменено 22 часа назад пользователем macron

[Unfainthful 57]

1 час назад, macron сказал:

Замерил производительность геометрии от разных версий компилятора в двух местах на карте Либертисити: при старте игры и на улице. Также учитывались варианты с/без -notess. Погрешность в пределах нескольких fps.
Условия: r2, no wrapper, no vsync, no hud, no ui, fraps.

Командная строка такая:

@start bin\compiler\xrCompiler.exe -geometry -version soc -static -skipinvalid -notess -nosmg -noise -hemi_bias 10 -noweld -both_texture_pathes -f liberty_city



Результаты:

  Показать контент

1-v14b без -notess
Newgame 1280x1024 = 280
Ulica          1280x1024 = 215
Newgame 1920x1080 = 188
Ulica          1920x1080 = 150

2-v14b с -notess
Newgame 1280x1024 = 279
Ulica          1280x1024 = 214
Newgame 1920x1080 = 188
Ulica          1920x1080 = 150

3-v15 без -notess
Newgame 1280x1024 = 267
Ulica          1280x1024 = 158
Newgame 1920x1080 = 178
Ulica          1920x1080 = 150

4-v15 с -notess
Newgame 1280x1024 = 279
Ulica          1280x1024 = 215
Newgame 1920x1080 = 183
Ulica          1920x1080 = 152

5-v16_final без -notess
Newgame 1280x1024 = 223
Ulica          1280x1024 = 213
Newgame 1920x1080 = 181
Ulica          1920x1080 = 118

6-v16_final с -notess
Newgame 1280x1024 = 222
Ulica          1280x1024 = 212
Newgame 1920x1080 = 182
Ulica          1920x1080 = 119

Вывод: самая "производительная" геометрия получалась на компиляторе v1.4b и v1.5 c -notess.

Интересное сравнение компиляторов. Ещё бы при этом глянуть изменение скомпилированной геометрии и отдельно коллизии

[macron 1 158]

1 час назад, Unfainthful сказал:

Ещё бы при этом глянуть изменение скомпилированной геометрии и отдельно коллизии

По размеру так:

 

---

Дополнено 7 минуты спустя

В 24.08.2025 в 23:10, SkyLoader сказал:

Есть вопрос по поводу вкладки Other tasks в окне компиляции. Ей кто-то пользуется?

Только сейчас заметил вкладку. Да на фиг оно надо.

Изменено 20 часов назад пользователем macron

[SkyLoader 262]

13 часов назад, macron сказал:

По размеру так:

По поводу размера geomx и (может быть) фпс, скорее всего это связано с  временным решением проблемы одной локации, что мне скидывали. Видимо слишком сильно повлияло на экспорт. Откачу тогда это изменение, если подтвердится. Посмотри тогда еще бета версию 1.6 (в закрепе), там этой правки ещё не было. Интересно, что там с фпс

[macron 1 158]

4 часа назад, SkyLoader сказал:

бета версию 1.6 (в закрепе)

FPS особо не поменялся. А размер уменьшился. На всякий случай уточняю, что это конкретная карта с конкретными местами замера. Возможно, на других картах изменения не столь явны.