Универсальные компиляторы уровней х64

[SkyLoader 219]

 

Универсальные 64-х битные компиляторы уровней

---

Оригинальные компиляторы разработаны: GSC Game world
Правки компиляторов и сборка: SkyLoader
Благодарности: Abramcumner, K.D.

---

Текущая версия: 1.6 beta

Состав компиляторов:

• Компилятор геометрии [ТЧ, ЧН, ЗП]
• Компилятор травы [ТЧ, ЧН, ЗП]
• Компилятор АИ-сетки [ТЧ, ЧН, ЗП]
• Сборщик спавна [ТЧ, ЧН, ЗП]

Основные изменения:

• Поддержка x64
• Поддержка основных игр серии
• Все компиляторы объединены в одно приложение
• Интерфейс полностью переписан на WinForms
• Добавлено меню компилятора, в котором можно выбрать проект уровня, выставить определенные настройки и запустить компиляцию
• Добавлена система сохранения и загрузки настроек последних проектов
• Создаваемое количество потоков теперь не фиксировано, а зависит от количества ядер процессора
• Произведен переход на библиотеку DirectXTex на замену устаревшим FreeImage и nvDXT
• Убран просчет RGB и Sun компонентов освещения и оставлен только Hemi
• Проведена работа по распоточиванию некоторых фаз компиляции и распоточиванию кода сторонних библиотек
• Интегрирован Discord Rich Presence для возможности следить за статусом компиляции на удаленном ПК
• Добавлена возможность автоматически выключить ПК после компиляции
• Реализован прогресс бар на панели задач для отображения состояния текущей фазы компиляции при свернутом приложении
• Добавлены ключи для ускоренной компиляции уровней в целях тестирования
• Добавлены экспериментальные ключи для отключения некоторых фаз компиляции и установки параметров в обход параметров СДК
• Добавлены основные изменения прошлых компиляторов
• Расширен вывод информации по некоторым ошибкам
• Исправлены некоторые вылеты оригинальных компиляторов

 

Для работы требуется установленный Microsoft Visual C++ 2017 Redistributable х64.

Внимание: в данном компиляторе по умолчанию отключено запекание статического света и статических теней солнца. Для включения запекания этих компонентов необходимо использовать соответствующий ключ, указанный в описании.

 

Спойлер

Для компиляции геометрии уровня:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f имя_уровня -version название_версии (shoc/cs/cop)

Для компиляции детейлов (травы):

start bin\compilers_sky_x64\xrCompiler.exe -details -f имя_уровня -version название_версии (shoc/cs/cop)

Для компиляции АИ-сетки:

start bin\compilers_sky_x64\xrCompiler.exe -aispawn -f имя_уровня -version название_версии (shoc/cs/cop)

Для сборки спавна:

start bin\compilers_sky_x64\xrCompiler.exe -aispawn -s имя_уровня1,имя_уровня2,имя_уровня3 -out all

 

Спойлер

-noimpl  - пропуск стадии LIGHT: Implicit (запекание освещения для террейна)

-nocform - пропуск создания level.cform

-noresize - отключить уменьшение размеров загружаемых текстур высокого разрешения

-skipthm – не прерывать компиляцию при отсутствующих текстурах и файлах thm

-removeinvalid – не прерывать компиляцию при найденных invalid faces и удалять их

-skipinvalid – не прерывать компиляцию при найденных invalid faces и пропускать их

-tex_rgba – не использовать сжатие для сохраняемых текстур

-tex_bc7 – использовать BC7 сжатие для сохраняемых текстур (формат поддерживается только на DX11)

-silent – автоматически закрыть приложение после завершения компиляции

-sleep – выключить компьютер после завершения компиляции

-nohemi – отключить запекание освещения. Значительно ускоряет компиляцию. Предназначен для тестирования геометрии

-underground – компилировать уровень как подземный. Ускоряет компиляцию

-static – запекать статическое освещение (не работает с ключом -nohemi)

-cform – экспортировать только коллизию уровня

-noise – отключить создание Progressive геометрии. Ускоряет компиляцию, но не создает упрощенную геометрию для уровня и Multiple Usage объектов

-nosmg – не использовать группы сглаживания. В зависимости от конкретной геометрии помогает избежать ломаных фейсов/теней, или наоборот добавит их

-notess – не тесселировать геометрию. В некоторых случаях может повышать fps в зависимости от конкретной локации. Проверять на практике

-noweld – отключить сшивание маленьких треугольников. В некоторых случаях помогает избежать глюков на некоторых типах геометрии

-nomerge – пропустить стадию Merging geometry

-nostrip – отключить оптимизацию и стрипификацию геометрии

-dx_opt – включить оптимизацию геометрии средствами D3DX optimizer вместо NvTriStrip

-old_bcform - создавать build.cform в старом формате

-gi – включить фазу Radiosity

-no_mt_mu – не запускать расчет освещения для Multiple Usage объектов параллельно основной компиляции

-high – более высокий приоритет для потоков

-saveobj_base – сохранить всю геометрию уровня в модели с расширением .obj (базовая развертка)

-saveobj_lmap – сохранить всю геометрию уровня в модели с расширением .obj (лайтмап развертка)

-saveobj_cform – сохранить всю коллизию уровня в модель с расширением .obj

-qual_draft – установить качество сцены в Draft (не влияет на выставленные шейдеры)

-qual_high – установить качество сцены в High (не влияет на выставленные шейдеры)

-force_default_shader - принудительно заменять шейдеры материалов с вершинного освещения на лайтмапное (def_vertex->default)

-force_vertex_shader - принудительно заменять шейдеры материалов с лайтмапного освещения на вершинное (default->def_vertex)
-ppm число – установить качество лайтмапов вместо значения в СДК

-weld_dist число – установить Weld distance вместо значения в СДК

-hemi_bias число – установить смещение позиции луча при запекании хеми (по умолчанию: 0.1, в оригинале: 0.001)

Спойлер

-skipthm – не прерывать компиляцию при отсутствующих текстурах и файлах thm

-silent – автоматически закрыть приложение после завершения компиляции

-sleep – выключить компьютер после завершения компиляции

-nohemi – отключить запекание освещения

-static – запекать статическое освещение (не работает с ключом -nohemi)

Спойлер

-draft – не просчитывать укрытия для АИ-сетки

-verify – проверить АИ-сетку на ошибки

-noverbose – не выводить информацию об одиночных нодах (при ключе -verify)

-skipthm – не прерывать компиляцию при отсутствующих текстурах и файлах thm

-silent – автоматически закрыть приложение после завершения компиляции

-sleep – выключить компьютер после завершения компиляции

Спойлер

-s имя_уровня1,имя_уровня2,имя_уровня3... - собрать спавн из перечисленных уровней (перечисление через запятую без пробела). Например, -s zaton,labx8,jupiter,jupiter_underground,pripyat

-out имя - выбрать имя выходного файла спавна. Например, -out all

-no_separator_check - отключить конфликты спейс рестрикторов и АИ-сетки, а также другие ошибки

-insert_graph - осуществлять сборку спавна со вшитыми в спавн графами для ТЧ спавна

-large_aimap - собрать спавн для уровней с расширенной АИ-сеткой. Все уровни должны иметь такой формат сетки

Спойлер

-help – вызов справки со списком всех ключей запуска

-t число – установить количество потоков для многопоточных операций (не работает с ключом -tbb)

-fsltx имя_файла – использовать свой ltx вместо fsgame.ltx.

-log_name имя_файла – создать файл лога с данным именем. Полезно для компиляции локаций очередью

-discord – включить Discord Rich Presence с выводом имени уровня и статуса компиляции

-discord_s – включить Discord Rich Presence с выводом только статуса компиляции

-tbb – использовать TBB многопоточность (не рекомендуется)

-both_texture_pathes - загрузка текстур и thm файлов по обоим путям ($game_textures$ и $textures$)

Спойлер

Ускоренная компиляция уровня для тестирования геометрии без запеченного освещения:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f zaton -nohemi -noise

start bin\compilers_sky_x64\xrCompiler.exe -details -f zaton -nohemi

start bin\compilers_sky_x64\xrCompiler.exe -aispawn -f zaton -draft

Компиляция подземного уровня, полностью закрытого nosun геометрией:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f labx8 -underground

Компиляция только коллизии:

start bin\compilers_sky_x64\xrCompiler.exe -geometry -f zaton -cform

Компиляция локаций очередью с последующим выключением ПК:

start /wait bin\compilers_sky_x64\xrCompiler.exe -geometry -f zaton -log_name zaton_geometry -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -details -f zaton -log_name zaton_detail -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -aispawn -f zaton -log_name zaton_aimap -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -geometry -f jupiter -log_name jupiter_geometry -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -details -f jupiter -log_name jupiter_detail -silent

start /wait bin\compilers_sky_x64\xrCompiler.exe -aispawn -f jupiter -log_name jupiter_aimap -silent -sleep

 

Спойлер

Спойлер

Версия 1.6 beta:

Google drive

Yandex disk

Версия 1.5:

Спойлер

• Добавлена возможность форсировать использование групп сглаживания на определенной геометрии даже при наличии ключа -nosmg. Для использования групп сглаживания на модели необходимо назначить на его материалы компил шейдер, имеющий в названии _smg. Например, def_vertex\def_vertex_smg. Сам компил шейдер достаточно склонировать с оригинального и переименовать с этим постфиксом
• Добавлена возможность отключить тесселяцию на определенной геометрии (например, на носан коробках). Для этого необходимо назначить на материал компил шейдер, имеющий _no_tess в названии. Однако следует помнить, что отключение тесселяции может порождать потяжки текстур, поскольку не создаются дополнительные вершины, необходимые для оптимизированной развертки
• Добавлена возможность отключить запекание теней от определенных MU моделей. Компил шейдеры MU моделей должны иметь _no_mu_shadow в названии. Отличие данного решения от обычного отключения галки Cast shadow заключается в том, что в данном случае будет применяться самозатенение MU модели, и модель не будет высветлена
• Отключены некоторые фазы компиляции в режиме -nohemi. Также теперь в этом режиме создается только одна пара лайтмап текстур на весь уровень
• При выключенном запекании статического освещения текстура лайтмапы террейна сохраняется с разрешением 32x32
• Исправлен экспорт левел ченджеров в ЧН и ЗП
• Добавлен новый алгоритм выполнения фазы "Merging geometry". Потребляет чуть больше памяти, но выполняется быстрее
• Фаза создания коллизии уровня перемещена перед фазой тесселяции для уменьшения полигонажа
• Добавлена опция отображения максимального потребления памяти при компиляции

• Новые ключи для компилятора геометрии:

-no_bcform - пропустить фазы "Building rcast-CFORM model", "Building rcast-CFORM-mu model" и отключить создание файла build.cform, необходимого компиляторам для запекания освещения детейлов и расчета укрытий АИ-сетки. Работает только с ключом -nohemi и предназначен для ускорения компиляции без расчетов освещения
-old_merge - вернуть использование старого алгоритма фазы "Merging geometry"
-lmap_size число - разрешение лайтмап текстур. По умолчанию 1024
-border число - изменить значение переменной BORDER в коде компиляторов. По умолчанию 1
-subdiv_size число - изменить максимальный размер участков (в метрах), на которые разбивается большая геометрия. По умолчанию 32
-bparams_ext - поддержка расширенных настроек уровней, экспортированных SDK от Yara

• Новый ключ для компилятора АИ-сетки:

-force_large_aimap - форсировать открытие АИ-сетки оригинального формата с большим количеством АИ-нод (более 8 млн). Ключ экспериментальный, корректность АИ-сетки не гарантируется. Для корректного экспорта необходима АИ-сетка нового формата.

• Новые ключи для сборщика спавна:

-actor_level имя_уровня - выбрать уровень для спавна актора. Позволяет избежать рутинного удаления актора вручную с каждого уровня. Будет заспавнен только актор с выбранного уровня, остальные проигнорированы. Если же его нет на уровне, то он автоматически создастся в нулевых координатах
-no_levels_section - игнорировать список уровней из секции [levels]. Позволяет не прописывать каждый уровень в эту секцию. В этом случае общий спавн будет собран из списка уровней, прописанных в батнике
-skip_invalid_class - пропускать вылет "Can't create entity". Все объекты с некорректными и неизвестными классами будут проигнорированы и не попадут в общий спавн

Google drive

Yandex disk

 

Версия 1.4b:

Спойлер

Добавлена поддержка формата расширенной АИ-сетки. Сетка будет автоматически экспортироваться в новый формат при обнаружении нового формата в файле проекта из СДК. Для данного формата также необходим измененный игровой движок и СДК

Для сборки спавна добавлен ключ -large_aimap, предназначенный для уровней с расширенной АИ-сеткой. Все уровни должны иметь одинаковую версию АИ-сетки

Оптимизована система трассировки. На оригинальных локациях стадии запекания освещения заняли на ~30% меньше времени. Предположительно, на тяжелых локациях ускорение будет больше

Распоточена упаковка вершин коллизии. На тяжелых локациях может немного ускорить фазы, связанные с CFORM. Правка экспериментальная, поэтому для отключения добавлен ключ -no_mt_cdb_pack

Создан новый формат build.cform, поддерживающий более 60 млн вершин и 110 млн треугольников

Исправлено сохранение больших файлов

Добавлена поддержка MU объектов, не имеющих ни одного материала с Cast shadow

Компилятор травы больше не запрашивает и не загружает build.cform и build.lights при ключе -nohemi

Компилятор АИ-сетки больше не запрашивает и не загружает build.cform при ключе -draft

Добавлен ключ -force_default_shader для принудительной замены шейдеров материалов с вершинным освещением на лайтмапное (def_vertex -> default)

Добавлен ключ -force_vertex_shader для принудительной замены шейдеров материалов с лайтмап освещением на вершинное (default -> def_vertex)

Ключ -t теперь влияет на количество TBB потоков

Расширена информация по некоторым ошибкам при сборке спавна 

Отключена загрузка текстур и thm файлов по обоим путям ($game_textures$ и $textures$) во избежание путаницы и конфликтов. Теперь для ЧН/ЗП уровней производится загрузка только по $game_textures$, а для ТЧ по $textures$

Добавлен ключ -both_texture_pathes для возвращения загрузки текстур по обоим путям

Отключен вылет iFloor((source_position.z - header().box().min.z)/header().cell_size() + .5f) при нахождении объекта за пределами АИ-сетки. Добавлен вывод в лог некорректной позиции и производится попытка сместить позицию на крайнюю аи-ноду

Убрано изменение level файла при ключе -cform

Добавлено завершение записи level файла перед сообщением об успешной компиляции

При ключе -saveobj_cform разделен экспорт геометрии на два файла: raycast геометрию и коллизию

Не используемые при запекании выходные текстуры сохраняются с разрешением 32х32

Добавлена возможность прописать абсолютный путь к выходному спавну. Такой путь должен быть указан в кавычках и не содержать кириллицы. Например: -out "e:\Games\STALKER - COP\gamedata\spawns\all.spawn" -no_separator_check 

Добавлен вывод ключей в лог при старте компилятора через батник

Google drive

Yandex disk

 

Версия 1.3a:

Спойлер

Добавлена поддержка сборки ТЧ спавна

Для ТЧ спавна добавлен ключ -insert_graph, который осуществляет сборку спавна со вшитыми в спавн графами

Мультивыбор уровней в списке на добавление в спавн

Добавлена поддержка чтения файлов больше 2 Гб

Google drive

Yandex disk

 

Версия 1.2:

Спойлер

Добавлена поддержка сборки ЧН спавна

Добавлена поддержка групп сглаживания для ТЧ локаций

При ключе -removeinvalid больше не удаляются полигоны с нулевой площадью текстурных координат. Координаты заменяются на константное значение

Улучшено взаимодействие потоков расчетов лайтмапов и обработки MU моделей между собой

Добавлен ключ -nocform для пропуска создания level.cform

В создаваемый компилятором compiler.ini добавлены параметры проектов по умолчанию (секция [compiler_pref]). К примеру, чтобы включить автоматическую установку флага -static для новых проектов, следует выставить параметр gm_static в on.

Добавлено больше информации о фазах сборки спавна

Google drive

Yandex disk

 

Версия 1.1:

Спойлер

Изменено хранение загружаемых текстур, что уменьшило потребление оперативной памяти

Добавлено автоматическое уменьшение размеров загружаемых текстур высокого разрешения до 1К, что тоже повлияло на уменьшение потребления памяти

Уменьшен шанс появления черных треугольников при недостаточном значении Pixel per meter

Добавлено отключение стрипификации и прогрессивов у высоколигональных мешей для пропуска вылетов "iNumVerts < 65535" и "OGF::Stripify"

Добавлен ключ -noimpl для пропуска стадии LIGHT: Implicit

Добавлен ключ -noresize для отключения уменьшения размеров загружаемых текстур высокого разрешения

Исправлено возможное подвисание окна приложения

Исправлено некорректное запекание освещения для некоторых террейнов

Исправлено не добавление ключа формата при старте компиляции из меню

Исправлена оригинальная ошибка распараллеливания на стадиях запекания освещения

Исправлен вылет при отсутствии implicit текстур

Google drive

Yandex disk

 

Версия 1.0:

Google drive

Yandex disk

 

Спойлер

Можно не устанавливать ключ -version. В таком случае выходной формат данных будет следующим: для уровня из ТЧ СДК – ТЧ формат, для уровня ЧН/ЗП СДК – ЗП формат.

Для уровней, собранных ТЧ СДК, будет автоматически применяться ТЧ сглаживание, а значит нет необходимости использовать ключ -nosmg (за исключением модифицированных ТЧ СДК, добавляющих группы сглаживания).

При активном ключе -both_texture_pathes на этапе загрузки .thm файлов сначала производится попытка открыть файл по пути $game_textures$ (gamedata\textures), при его отсутствии – по пути $textures$ (rawdata\textures). По умолчанию, для ЧН/ЗП проектов используется только путь $game_textures$, для ТЧ проектов - $textures$.

Для частичного исправления часто встречающейся проблемы с появлением черных полигонов было изменено смещение позиции лучей при запекании затенений от хемисферы. В связи с этим, при моделировании геометрии зданий рекомендуется не создавать ту-сайд геометрию для стен (как, например, у кораблей на Затоне), а выдерживать определенную их толщину. Если же требуется оставить геометрию как есть, то можно вернуть смещение луча на оригинальное значение с помощью ключа -hemi_bias 0.001, но тогда количество черных треугольников будет как при использовании старых компиляторов. 

Увеличение значения -hemi_bias (например, на значение от 1.0 до 10.0) в определенных случаях позволяет избавиться от черных треугольников, оставшихся после запекания освещения.

В продакшен версии уровня не рекомендуется использовать ключ -skipthm, поскольку из-за отсутствующих текстур и файлов thm на поверхностях может неправильно запечься свет.

Не следует выставлять Weld distance в ноль. Иногда это провоцирует создание кривых фейковых теней от некоторой геометрии. Лучше поставить небольшое значение, но больше нуля.

В случаях, когда на уровне нужно поправить только коллизию уровня или расставить фейки для актора, можно воспользоваться ключом -cform. Будет компилироваться только коллижн-геометрия уровня без запекания освещения, тем самым значительно уменьшится время компиляции.

Для анализа того, как компилятор изменил геометрию уровня под игру, можно воспользоваться ключами -saveobj_base, -saveobj_lmap и -saveobj_cform. Геометрия будет сохранена по пути temp\geom… в файлы с расширением obj для дальнейшего просмотра их в 3д редакторе. Также ключ -saveobj_lmap может помочь в ручном редактировании лайтмап текстур, если на них были обнаружены проблемы.

 

 

Изменено 15 августа пользователем SkyLoader

[Злобная реклама]

[SkyLoader 219]

Доступно обновление до версии 1.6 beta!

В новом обновлении была проведена большая работа над ускорением алгоритмов, их оптимизации,  реализации расчетов на CUDA ядрах и внедрении новой современной библиотеки рейтрейсинга Intel Embree. По этой причине и по причине ввода некоторых экспериментальных фич, было решено выложить бета версию в публичный доступ, чтобы собрать фидбек и исправить возможные ошибки и недочеты

Спасибо за тестирование альфа версии: @Unfainthful, @AfterGlow, @Operator_Nanami, @Alexl

---

Минимальные требования для использования Embree:

• Процессор с поддержкой SSE2 инструкций. Для достижения лучшей производительности рекомендуется процессор Intel с поддержкой AVX, AVX2 и AVX-512 инструкций

Минимальные требования для ускорения вычислений на CUDA:

• Операционная система: Windows 10
• Видеокарта Nvidia с поддержкой CUDA
• Видеодрайвер версии 452.39 и старше

---

Скачать (upd: 16.08.24):

Google drive

Yandex disk

---

Основные изменения версии 1.6:

Геометрия:

• Часть алгоритмов компиляторов была переписана под многопоточное использование и вычисление на видеокарте
• Для ускорения рейтрейсинга подключена библиотека Embree с полноценной поддержкой прозрачных поверхностей и инстансов
• Оптимизированы фазы запекания освещения и расчетов укрытий АИ-сетки
• Исправлен пересвет хеми у MU объектов в аутдоре. Данная проблема имелась даже на оригинальных локациях, и сейчас все объекты (для исключением объектов в зданиях) более менее выровнены по значению хеми
• Лайтмап текстуры теперь автоматически расширяются до 4К разрешения. Благодаря этому на этапе сшивания геометрии больше вершин будут объединены за счет схожих текстур. Также данное разрешение было выбрано, так как оно поддерживается более-менее старыми видеокартами
• Изменена последовательность условий при распределении лайтмапов по холстам
• Изменено условие тесселяции треугольников. Теперь тесселяция производится только при большой площади текстурных координат у треугольников
• Добавлена подфаза оптимизации текстурных координат, которая нацелена на исправление потяжек текстур
• Исправлена проблема потенциальных потяжек текстур на геометрии с наложенными текстурами большого разрешения
• Убрана фаза Building tangent-basis, теперь действия этой фазы выполняются в процессе Converting to OGFs
• Экспериментальный отказ от использования THM файлов. Данные файлы используются компилятором для определения наличия прозрачности у текстур, чтобы в дальнейшем использовать текстуры при запекании освещения. Теперь проверка прозрачности происходит через чтение игровых шейдеров (shaders.xr). Производится поиск материалов с шейдером, который поддерживает полупрозрачность, и подгружаются только нужные текстуры. Также в подгружаемых текстурах дополнительно проверяется наличие альфа канала. Если его не обнаруживается, то текстура выгружается, а поверхность становится непрозрачной. Данный переход на использование shaders.xr поможет избавиться от проблемы с обработкой сломанных и некорректно настроенных THM файлов
• Фаза Radiosity (ключ -gi) автоматически отключается с использованием Embree, поскольку фаза стала deprecated. На первых версиях компилятора она уже работала не так как надо, поэтому в планах совсем её вырезать
• Уменьшен размер структуры треугольников, что уменьшило потребление памяти
• Новый формат build.cform, имеющий меньший вес файла

Спавн:

• Оптимизация в фазе сборки графов
• В спавн добавлена поддержка классов W_MOUNTD и Z_AMEBA
• Экспериментальный отказ от необходимости заполнения секции [levels]. Теперь список формируется из добавленных пользователем спавнов, и идентификаторы уровней идут по возрастанию. Для возвращения чтения секции добавлен ключ -use_levels_section
• Добавлен ключ -spawn_version <значение> для принудительного выставления версии спавна
• При ошибке "Can't find any graphs! Check log" могут дополнительно выводиться количество уровней без АИ-сетки и количество АИ-сеток с расхождением версий, если таковые имеются

Интерфейс:

• В меню добавлена опция перезагрузки меню после успешной компиляции
• В случае успешной компиляции при наличии опции выключения ПК теперь появляется окно с полуминутным таймером и возможностью отменить выключение
• Сообщения об инвалид фейсах и split faces больше не выводятся в окне, выводится только их количество. В лог всё пишется как раньше
• Добавлены новые опции ускорения вычислений
• Исправлено сохранение дополнительных ключей для компилятора АИ-сетки
• Добавлено поле дополнительных ключей в сборку спавна

Изменено 15 августа пользователем SkyLoader

[RobocatiK 93]

35 минут назад, SkyLoader сказал:

Пишет, что у АИ-сетки не соответствующая версия для экспорта. Вообще, при ошибках вида Can't find any graphs! Check log лучше сразу прикладывать полный лог

Спойлер

 

Startup time: 22:25:27, date: 21.7.2024
Loading main config-script: "g:\games\stalker\cop\asdk\editors\gamedata\configs\system.ltx"
    |    | AI-map version: 13
    |    | Output spawn version: 128
    |    | Game spawn will have graphs: yes
! AI-map for the level zaton is incompatible (version mismatch)! (level is not included into the game graph)
 
* New phase started: Processing level graphs
! AI-map for the level zaton is incompatible (version mismatch)! (level is not included into the game graph)
1 levels didn't add for some reasons

 
FATAL ERROR
 
[error]Expression    : tpGraphs.size()
[error]Function      : CGraphMerger::CGraphMerger
[error]File          : F:\S.T.A.L.K.E.R.Sources\x-ray_universal_compiler\src\utils\xrCompiler_AI\xr_graph_merge.cpp
[error]Line          : 768
[error]Description   : Can't find any graphs! Check log
[error]Arguments     : 1 level ai maps are incompatible (version mismatch)
 

stack trace:

0033:000000005986EF44 xrCore.dll, xrDebug::fail()
0033:0000000060FF276A xrCompiler_AI.dll, xrCompileAI()
0033:0000000060FE1568 xrCompiler_AI.dll
0033:0000000060FE0EB6 xrCompiler_AI.dll
0033:0000000060FEF67B xrCompiler_AI.dll, xrCompileAI()

 

В общем, я просто отключил ключ -large_aimap и сборка спавна пошла без проблем, может я не понял в каких случаях его нужно включать?

[SkyLoader 219]

13 минут назад, RobocatiK сказал:

    |    | AI-map version: 13

Это версия для формата расширенной аи-сетки. Она поддерживается, если сама аи-сетка скомпилирована правленным СДК, который экспортирует в этот формат. Если при сборке спавна была включена опция -large_aimap, то её следует выключить

[Prostomod 1 201]

3 часа назад, SkyLoader сказал:

 Она поддерживается, если сама аи-сетка скомпилирована правленным СДК, который экспортирует в этот формат.

Снова вопрос: а какие именно СДК экспортируют в этот формат? И какие движки с ним работают?
Ну и ещё, раз уж начал спрашивать: у такой сетки есть ещё какие-то преимущества перед ванильной помимо максимального количества нод?

Изменено 21 июля пользователем Prostomod

[SkyLoader 219]

7 часов назад, Prostomod сказал:

какие именно СДК экспортируют в этот формат? И какие движки с ним работают?

Экспортирует B.O.R.S.C.H.T. SDK, а поддерживает движок OpenXRay. Насчёт других вариантов не знаю, но может быть за это время кто-то ещё добавил себе этот формат, не в курсе

7 часов назад, Prostomod сказал:

у такой сетки есть ещё какие-то преимущества перед ванильной помимо максимального количества нод?

Размеры и количество нод

[imcrazyhoudini 1 034]

По описанию обновление крайне годное, обязательно потестируем.

[1_A 188]

Проверил на своем уровне компиляторы, геометрия действительно собирается быстрее в разы, не в десятки но что то в этом роде. На Геометрии у меня уровень собрался за 19 минут и 20 секунд, при том из всех позиций дольше всего постраивались сектора (Building sectors), около 9 минут. У меня всего 1 сектор на всю локацию.
Сборка спавна ускорилась в 2 раза.
Тестировал на драфте. Потестировать на высоких настройках нету возможности, отключают свет каждый день, тут ничего не сделать.
В игре не пробывал, как получилось, сидел только в компиляторах.
Релиз хоть и бета, однозначно хороший, сэкономит много времени, а время как известно - деньги!
 

[Se7Kills 12]

В 20.07.2024 в 15:23, SkyLoader сказал:

Доступно обновление до версии 1.6 beta!

В новом обновлении была проведена большая работа над ускорением алгоритмов, их оптимизации,  реализации расчетов на CUDA ядрах и внедрении новой современной библиотеки рейтрейсинга Intel Embree. По этой причине и по причине ввода некоторых экспериментальных фич, было решено выложить бета версию в публичный доступ, чтобы собрать фидбек и исправить возможные ошибки и недочеты

Спасибо за тестирование альфа версии: @Unfainthful, @AfterGlow, @Operator_Nanami, @Alexl

---

Минимальные требования для использования Embree:

• Процессор с поддержкой SSE2 инструкций. Для достижения лучшей производительности рекомендуется процессор Intel с поддержкой AVX, AVX2 и AVX-512 инструкций

Минимальные требования для ускорения вычислений на CUDA:

• Операционная система: Windows 10
• Видеокарта Nvidia с поддержкой CUDA
• Видеодрайвер версии 452.39 и старше

---

Скачать:

Google drive

Yandex disk

---

Основные изменения версии 1.6:

Геометрия:

• Часть алгоритмов компиляторов была переписана под многопоточное использование и вычисление на видеокарте
• Для ускорения рейтрейсинга подключена библиотека Embree с полноценной поддержкой прозрачных поверхностей и инстансов
• Оптимизированы фазы запекания освещения и расчетов укрытий АИ-сетки
• Исправлен пересвет хеми у MU объектов в аутдоре. Данная проблема имелась даже на оригинальных локациях, и сейчас все объекты (для исключением объектов в зданиях) более менее выровнены по значению хеми
• Лайтмап текстуры теперь автоматически расширяются до 4К разрешения. Благодаря этому на этапе сшивания геометрии больше вершин будут объединены за счет схожих текстур. Также данное разрешение было выбрано, так как оно поддерживается более-менее старыми видеокартами
• Изменена последовательность условий при распределении лайтмапов по холстам
• Изменено условие тесселяции треугольников. Теперь тесселяция производится только при большой площади текстурных координат у треугольников
• Добавлена подфаза оптимизации текстурных координат, которая нацелена на исправление потяжек текстур
• Исправлена проблема потенциальных потяжек текстур на геометрии с наложенными текстурами большого разрешения
• Убрана фаза Building tangent-basis, теперь действия этой фазы выполняются в процессе Converting to OGFs
• Экспериментальный отказ от использования THM файлов. Данные файлы используются компилятором для определения наличия прозрачности у текстур, чтобы в дальнейшем использовать текстуры при запекании освещения. Теперь проверка прозрачности происходит через чтение игровых шейдеров (shaders.xr). Производится поиск материалов с шейдером, который поддерживает полупрозрачность, и подгружаются только нужные текстуры. Также в подгружаемых текстурах дополнительно проверяется наличие альфа канала. Если его не обнаруживается, то текстура выгружается, а поверхность становится непрозрачной. Данный переход на использование shaders.xr поможет избавиться от проблемы с обработкой сломанных и некорректно настроенных THM файлов
• Фаза Radiosity (ключ -gi) автоматически отключается с использованием Embree, поскольку фаза стала deprecated. На первых версиях компилятора она уже работала не так как надо, поэтому в планах совсем её вырезать
• Уменьшен размер структуры треугольников, что уменьшило потребление памяти
• Новый формат build.cform, имеющий меньший вес файла

Спавн:

• Оптимизация в фазе сборки графов
• В спавн добавлена поддержка классов W_MOUNTD и Z_AMEBA
• Экспериментальный отказ от необходимости заполнения секции [levels]. Теперь список формируется из добавленных пользователем спавнов, и идентификаторы уровней идут по возрастанию. Для возвращения чтения секции добавлен ключ -use_levels_section
• Добавлен ключ -spawn_version <значение> для принудительного выставления версии спавна
• При ошибке "Can't find any graphs! Check log" могут дополнительно выводиться количество уровней без АИ-сетки и количество АИ-сеток с расхождением версий, если таковые имеются

Интерфейс:

• В меню добавлена опция перезагрузки меню после успешной компиляции
• В случае успешной компиляции при наличии опции выключения ПК теперь появляется окно с полуминутным таймером и возможностью отменить выключение
• Сообщения об инвалид фейсах и split faces больше не выводятся в окне, выводится только их количество. В лог всё пишется как раньше
• Добавлены новые опции ускорения вычислений
• Исправлено сохранение дополнительных ключей для компилятора АИ-сетки
• Добавлено поле дополнительных ключей в сборку спавна

Embree поченили (брали код с моего)? А то там с водой косяк был, и под сеткой (на юпитере бункере ученых например) были темные тени.  

---

Дополнено 0 минут спустя

если удалось можете поделиться?

---

Дополнено 2 минуты спустя

Исправлен пересвет хеми у MU объектов в аутдоре.  Я так понимаю это тот косяк с буфером colors в MU_ref расчете?

[SkyLoader 219]

1 час назад, Se7Kills сказал:

Embree поченили (брали код с моего)?

Всё изначально работало, так как это по сути мои завершенные наработки, про часть которых я писал ещё на первой странице темы

1 час назад, Se7Kills сказал:

А то там с водой косяк был, и под сеткой (на юпитере бункере ученых например) были темные тени

Видимо вся геометрия запихнута в один буфер, и непрозрачная и полупрозрачная. Надо фильтрацию делать

2 часа назад, Se7Kills сказал:

Я так понимаю это тот косяк с буфером colors в MU_ref расчете?

Нет, изолирование colors было сделано ещё в первых версиях

[Se7Kills 12]

2 часа назад, SkyLoader сказал:

Всё изначально работало, так как это по сути мои завершенные наработки, про часть которых я писал ещё на первой странице темы

Видимо вся геометрия запихнута в один буфер, и непрозрачная и полупрозрачная. Надо фильтрацию делать

Нет, изолирование colors было сделано ещё в первых версиях

А кстати в Embree пакетные лучи делал ? 

---

Дополнено 2 минуты спустя

Ну у меня она есть только почему то багает

---

Дополнено 39 минуты спустя

Печально в моем это быстрее (может добавишь плз) через переключайку 

---

Дополнено 39 минуты спустя

8к текстуру у меня выплевывает

---

Дополнено 53 минуты спустя

а все я понял ты на cuda сделал

---

Дополнено 53 минуты спустя

я его офнул )))

---

Дополнено 37 минуты спустя

лан реально мощно 37минут

[imcrazyhoudini 1 034]

Проверил на своём барахле.

Подопытный: Intel Core 2 Quad Q9500, GeForce GTX 750 Ti, 8,00ГБ 2-канальная DDR3.

Билдовский кордон с новой флорой и всякой всячиной - всего 2 часа. Трава - пол часа.

Скай, ты гений, это невероятно.

Вопросы:
1. Компиляторы появились если бы не разработка True Stalker?
2. Ещё обновления какие-то будут касательно прибавки скорости, или это фактически бета-тест финальной версии?

А так - огромное спасибо. Ты крут, мужик.

[basil 80]

Текстура террейна после компиляции. В игре выглядит, как светлые полосы. В прошлой версии компилятора всё нормально.

Изменено 25 июля пользователем basil

[SkyLoader 219]

В 23.07.2024 в 16:35, Se7Kills сказал:

А кстати в Embree пакетные лучи делал ? 

Думал о них, но решил не откладывать релиз ради этого. Возможно, позже дойдут руки

В 23.07.2024 в 16:35, Se7Kills сказал:

Ну у меня она есть только почему то багает

Судя по названию, это intersection filter. Нужен occluded filter, чтобы луч дальше шёл, собирая данные о прозрачности

В 24.07.2024 в 17:57, imcrazyhoudini сказал:

1. Компиляторы появились если бы не разработка True Stalker?

Думаю, да. Они изначально делались не под True Stalker, а под другой проект. Тем не менее, благодаря True Stalkerу и левел дизайнеру команды удалось обкатать их и протестировать на кастомных локациях, что ускорило выход в паблик

В 24.07.2024 в 17:57, imcrazyhoudini сказал:

2. Ещё обновления какие-то будут касательно прибавки скорости, или это фактически бета-тест финальной версии?

Может быть что-то мелкое будет правиться, но это по сути просто тест версии 1.6

В 25.07.2024 в 12:49, basil сказал:

Текстура террейна после компиляции. В игре выглядит, как светлые полосы.

Скинь в лс build.prj, shaders.xr и текстуру террейна, посмотрю

[basil 80]

Компиляция аи-сетки, с просчётом укрытий, для локации Касьяны из СВ-3 компилятором xrAI, длилась более 5-ти часов. На этом компиляторе - чуть более 4-х минут!

Изменено 29 июля пользователем basil

[Se7Kills 12]

В 27.07.2024 в 19:59, SkyLoader сказал:

Думал о них, но решил не откладывать релиз ради этого. Возможно, позже дойдут руки

Судя по названию, это intersection filter. Нужен occluded filter, чтобы луч дальше шёл, собирая данные о прозрачности

Ок постараюсь себе закинуть в ближайшее время, у меня не фильтрованный буфер но я думаю раз в Intersection делаю обработку, то все ок будет но реально Occluded сделать поидее ускорится там U, V не нужно будет расщитывать Embree

[Se7Kills 12]

Случаем Tnear не увеличивал для старта? 

[Se7Kills 12]

Все поченил местами поменять в фильтре нужно было 

 

[imcrazyhoudini 1 034]

В 20.07.2024 в 15:23, SkyLoader сказал:

нацелена на исправление потяжек текстур

То есть условно растяжки на геометрии как в билдах компилятор поправит сам?

Что даст сохранение лайтмапов в формате BC7?

Выйдет 1.6 с беты, планируется ли 1.7, или всё?

[SkyLoader 219]

2 часа назад, imcrazyhoudini сказал:

То есть условно растяжки на геометрии как в билдах компилятор поправит сам?

Нет, конечно. Речь про те потяжки, которые могли появиться после компиляции, но их не было на объектах в 3д редакторе и СДК

2 часа назад, imcrazyhoudini сказал:

Что даст сохранение лайтмапов в формате BC7?

Меньше шакалов от сжатия текстур. Актуально для лайтмапов со статическим освещением. На текстурах, где только хеми, лично я особой разницы не увидел. Но может она есть

2 часа назад, imcrazyhoudini сказал:

Выйдет 1.6 с беты, планируется ли 1.7, или всё?

Планировалось ещё сделать реализацию с давними наработками по Optix рейтрейсингу, вероятно как раз для 1.7. Но, это пока отложено

[imcrazyhoudini 1 034]

27 минут назад, SkyLoader сказал:

Планировалось ещё сделать реализацию с давними наработками по Optix рейтрейсингу

Для простого работяги по типу меня - что это даст? Ещё большее ускорение компиляции?

[Se7Kills 12]

На гпу расчет освещения. Если выше 3050 будет быстрее чем на CPU с 16 потоками 

---

Дополнено 2 минуты спустя

Но там есть косяк там нужно будет делать чанки для геометрии, и возможно для текстур динамическую загрузку а иначе будет высокое потребление памяти для расчета

Изменено 3 августа пользователем Se7Kills

[РСФСР 90]

Цитата

Убран просчет RGB и Sun компонентов освещения и оставлен только Hemi

правильно понимаю, что в бета-версии это не исправлено?
Неужели так сложно не вырезать это а хотя бы галочку оставить на включение выключение?

[SkyLoader 219]

19 часов назад, РСФСР сказал:

Неужели так сложно не вырезать это а хотя бы галочку оставить на включение выключение?

Если прочитать пост внимательнее хотя бы до абзаца "Внимание" или посмотреть на опции на скриншоте меню, то всё станет понятно. Всё это время это было убрано только по умолчанию с возможностью включения

Изменено 6 августа пользователем SkyLoader

[DarkSnowder 57]

Компиляторы огонь просто - собрать локу на максе за 20 минут - это мощно!

Протестировал на 2 локациях - никаких крит.багов не обнаружил.

[Romann 76]

SkyLoader впервые пробую щупать компиляторы на КоК: ну вот допустим мне не нужно перекомпилировать все локации, у меня работа только со спавном - он то требует 'build.prj' - , которого естественно нет, т.к. локации не компилировались, то вовсе в меню не даёт право выбора - ставит ТЧ по умолчанию и всё...
Пробовал батниками компилить - одну локацию компилит - а общий спавн нет, говорит что на них нет актора - так естественно, он же только на одной из них.
Можешь подробнее объяснить эти моменты? Как собрать общий спавн под ЗП - не перекомпилируя все локации и т.п.?
----------------------------------
При компиляции батником общего спавна, на первой же локации в списке:

Изменено 14 августа пользователем Romann

[SkyLoader 219]

8 часов назад, Romann сказал:

у меня работа только со спавном - он то требует 'build.prj'

Да, есть такое. Подумаю, как сделать удобнее с обходом ошибки. Сейчас можно выбрать уровень с prj проектом, а потом выбрать уровень без него и собрать спавн. Или запустить через батник

8 часов назад, Romann сказал:

Пробовал батниками компилить - одну локацию компилит - а общий спавн нет, говорит что на них нет актора - так естественно, он же только на одной из них.

Как пробовал? Нужно перечислить все нужные уровни в батнике для создания общего спавна

Изменено 14 августа пользователем SkyLoader