EchoForge Engine

[loxotron13 19]

Решил наконец завести отдельную тему по EchoForge Engine — собственному игровому движку и редактору, который я разрабатываю уже довольно продолжительное время.

Проект начинался значительно скромнее, фактически как набор экспериментов с рендерингом и игровым кодом, изначально на нем делалась песочница EchoForge с живым миром в 2D, был простенький прототип, но потом сабж перерос в полноценный движок с редактором сцены, материалами, анимациями, UI, визуальными скриптами, навигацией и собственным пайплайном ассетов.

Сразу уточню: это не законченный коммерческий Unreal-конкурент и не проект, который появился вчера. EchoForge находится в длительной активной разработке уже год, дорабатывается с большими перерывами на другие проекты, когда у меня есть время. Некоторые системы уже достаточно зрелые, другие всё ещё находятся в процессе развития.

Основная цель — получить удобный самостоятельный движок, в котором можно собрать полноценную игру без необходимости постоянно переходить между десятком внешних инструментов. Писался он конечно не вручную, выверяя кажду строчку, а нейронками от бесплатных до платных, то есть это был эдакий эксперимент можно ли их эффективно использовать для разработки таких трудоемких вещей.

EchoForge Engine

Технологии

Движок написан преимущественно на C++.

На данный момент используется:

• DirectX 11
• развиваемый native DirectX 12 renderer
• SDL2
• Dear ImGui
• FBX SDK
• NVIDIA PhysX
• Box2D
• Windows 10 / 11 x64

Система координат движка:

Y-Up, Left-Handed

Основные приложения проекта:

EchoForge — runtime / game executable (тот самый 2D прототип)
EchoForgeStudio — основной редактор движка
ShooterForge — коммерческий шутер который я хотел бы выпустить рано или поздно, ранние наработки.
StalkerForge — наработки для модмейкеров сталкера, уровень МГ (Мёртвый город), хотелось бы там повторить хотя бы билд 1511 и привлечь заинтересантов из комьюнити с движком поработать.

EchoForge Studio

Большая часть разработки сейчас сосредоточена вокруг Studio.

Редактор постепенно превращается в полноценную среду разработки игры, а не просто окно для расстановки объектов.

Scene Editor

На данный момент редактор позволяет:

• создавать и редактировать уровни;
• размещать Actor'ы;
• редактировать Position / Rotation / Scale;
• работать с transform gizmo;
• настраивать камеры;
• добавлять освещение;
• редактировать collision;
• сохранять и загружать сцены;
• работать с игровыми классами;
• заменять Actor'ы;
• работать с компонентами;
• использовать несколько viewport-режимов.

Помимо основного 3D-вида существуют дополнительные редакторские viewport'ы.

Play In Editor

В EchoForgeStudio есть собственный PIE — Play In Editor.

Текущий уровень можно запустить непосредственно внутри редактора и проверить игровую логику без постоянного ручного запуска отдельного exe.

PIE поддерживает:

• игровой runtime;
• ввод;
• Player / NPC / Actor logic;
• Blueprint;
• UI;
• Pause / ESC menu;
• возврат обратно в редактор.

Разделение Editor World и Runtime World постепенно развивается по мере усложнения проекта.

Renderer

Основной renderer работает на DirectX.

Уже реализованы:

• PBR shading;
• GGX;
• Albedo;
• Normal Maps;
• Metallic;
• Roughness;
• Ambient Occlusion;
• Emissive;
• ORM textures;
• two-sided materials;
• динамическое освещение;
• shadow mapping;
• PCF shadows;
• локальные настройки теней для Actor'ов.

Поддерживаются достаточно большие shadow maps, а Actor может отдельно управлять параметрами casting / receiving shadows.

Отдельно развивается полноценный DirectX 12 backend.

DirectX 12

DX12 в EchoForge — это не wrapper поверх DX11.

В native DX12 backend уже реализованы:

• per-frame command allocators;
• fences;
• frame synchronization;
• resource upload;
• root bindings;
• binding cache;
• работа с frame resources;
• часть оптимизаций GPU/CPU synchronization.

DX12 backend постепенно догоняет основной DX11 renderer по функциональности.

Полностью переписать многолетний renderer за один проход даже нейронками невозможно, поэтому переход идёт поэтапно.

Physics

В EchoForge используются две физические системы:

• NVIDIA PhysX — основная 3D-физика;
• Box2D — 2D-физика.

Поддерживаются:

• rigid bodies;
• collision shapes;
• static / dynamic objects;
• capsule / box / mesh collision;
• physics-driven interaction;
• 2D collision and simulation.

Material Editor

В Studio есть отдельный редактор материалов.

Он позволяет работать с:

• Base Color;
• Normal;
• Metallic;
• Roughness;
• AO;
• Emissive;
• ORM;
• параметрами PBR shading.

Поддерживается работа с несколькими открытыми материалами одновременно.

Поиск материалов работает по проекту, а не только в одном жёстко заданном каталоге.

Model Editor

Для моделей существует отдельный Model Editor.

Он позволяет:

• просматривать static mesh;
• просматривать skeletal mesh;
• работать с материалами;
• просматривать skeleton;
• проверять collision;
• работать с sockets;
• назначать preview meshes;
• настраивать параметры импорта;
• просматривать bind pose.

FBX importer за время разработки пережил очень большое количество исправлений.

Особенно много работы было связано с:

• coordinate systems;
• bind pose;
• skin clusters;
• normals;
• hard edges;
• smoothing;
• skeleton hierarchy;
• helper objects;
• sockets;
• старыми и новыми вариантами FBX.

Цель — чтобы импортированная модель максимально соответствовала исходнику в 3ds Max / Blender / Maya, а не просто "примерно выглядела нормально".

Animation Editor

Также имеется отдельный Animation Editor.

Поддерживается:

• проигрывание skeletal animation;
• animation clips;
• просмотр skeleton;
• работа с sockets;
• preview meshes;
• редактирование части параметров непосредственно в редакторе.

Постепенно развивается система animation retargeting.

Skeleton / Skinning

Движок поддерживает полноценные skeletal meshes.

Реализованы:

• bone hierarchy;
• skin weights;
• bind pose;
• animation tracks;
• sockets;
• skeletal attachments;
• импорт FBX-анимаций.

При разработке большое внимание уделяется корректности transform spaces и соответствию результата исходной модели.

Particle System

В EchoForge есть собственная система частиц для игровых и визуальных эффектов.

На текущем этапе поддерживаются:

• particle emitters;
• настройка количества и lifetime частиц;
• позиция / скорость / направление;
• размер и изменение размера со временем;
• цвет и прозрачность;
• текстуры частиц;
• looping и one-shot эффекты;
• использование particle systems внутри игровых сцен и Actor'ов.

Система используется для различных VFX: дыма, искр, огня, пыли, вспышек и других эффектов.

Particle System продолжает развиваться вместе с renderer'ом и редакторскими инструментами.

Actor Blueprint System

В EchoForge существует собственная система visual scripting, по концепции похожая на Blueprint.

Actor Blueprint позволяет собирать игровую логику из node graph.

Уже имеются:

• Event Nodes;
• Branch;
• Variables;
• Functions;
• Spawn Actor;
• Print String;
• execution wires;
• reroute nodes;
• runtime execution;
• debug output.

Система пока развивается и по количеству нод, разумеется, не пытается соревноваться с Unreal Engine.

Но базовая архитектура уже работает непосредственно в игровом runtime.

UI Editor

В Studio есть отдельный визуальный редактор интерфейсов.

Поддерживаются:

• Canvas;
• Widgets;
• Anchors;
• Layout;
• UI Graph;
• Reroute Nodes;
• runtime UI.

Цель — дать возможность собирать игровой интерфейс непосредственно внутри Studio без постоянного ручного написания разметки в коде.

Navigation

В движке развивается собственная NavMesh-система.

На данный момент существуют режимы:

• Disabled;
• Baked;
• Build On Load.

Навигация используется NPC и другими игровыми Actor'ами.

Collision

В EchoForge есть собственная collision-система и редакторские средства её настройки.

Поддерживаются:

• Actor collision;
• capsule collision;
• model collision;
• визуализация collision geometry;
• редактирование collision через Inspector.

Старые разрозненные решения постепенно переводятся к более единому компонентному подходу.

Asset Browser

EchoForgeStudio имеет собственный Asset Browser.

Через него можно работать с:

• моделями;
• материалами;
• текстурами;
• Blueprint;
• UI;
• прочими ресурсами проекта.

Поиск постепенно переводится на весь проект, чтобы не приходилось вручную лазить по отдельным каталогам.

Игровой runtime

EchoForge — это не только редактор.

В runtime уже используются:

• Actor system;
• Player;
• NPC;
• Weapons;
• Animation;
• AI Navigation;
• Doors;
• Interactive Objects;
• UI;
• Pause Menu;
• Level Loading;
• Blueprint Runtime;
• Components.

Для постоянной проверки используются отдельные тестовые уровни и небольшие игровые сцены.

Почему проект разрабатывается так долго

EchoForge — большой долгосрочный проект, который развивается постепенно и без огромной команды разработчиков.

Поэтому процесс зачастую выглядит примерно так:

новая система -> использование в реальной сцене -> обнаружение архитектурных проблем -> переработка нейронкой -> обнаружение связанного старого кода -> исправление старого кода -> новые инструменты редактора -> новые тесты.

Иногда seemingly небольшая задача вроде "нормально импортировать FBX skeleton" превращается в длительное изучение:

• bind poses;
• skin matrices;
• local/global transforms;
• coordinate spaces;
• особенностей Max;
• особенностей Blender;
• особенностей Maya.

То же самое происходит практически с любой большой системой движка.

Текущее состояние

На данный момент EchoForge уже давно вышел за рамки простого renderer demo.

Сейчас можно:

• создать уровень;
• импортировать модели;
• настроить материалы;
• добавить skeletal animation;
• создать Actor;
• собрать игровую логику через Blueprint;
• создать UI;
• настроить collision;
• добавить NPC;
• запустить сцену через PIE;
• запустить standalone game executable.

При этом состояние проекта я пока всё равно считаю active development.

Редактор, внутренние API и отдельные подсистемы продолжают достаточно активно меняться.

Обратная совместимость со всеми старыми версиями проекта не является абсолютной целью: иногда ради нормальной архитектуры приходится ломать старое поведение.

Что планируется дальше

Основные направления дальнейшей разработки:

• material instances
• физические материалы
• свой формат для моделек, а не через нативный FBX
• bake lighting / lightmaps;
• дальнейшее развитие DX12 renderer;
• расширение Blueprint System;
• animation retargeting;
• улучшение asset pipeline;
• развитие component system;
• profiling / debugging tools;
• улучшение Actor / prefab workflow;
• дальнейшая унификация Editor и Runtime систем.

О проекте

EchoForge не позиционируется как "убийца Unreal Engine" или попытка заменить Unity для всех.

Это собственный движок, который я разрабатываю в первую очередь потому, что мне интересна возможность контролировать весь pipeline самостоятельно:

импорт ассетов -> renderer -> animation -> editor -> scripting -> UI -> runtime.

Когда используешь готовый движок, огромное количество вещей воспринимается как данность.

При разработке собственного быстро выясняется, сколько на самом деле скрыто за простой кнопкой "Import FBX", обычным transform gizmo, playback анимации или одним Blueprint node.

Тема как Devlog

Эту тему планирую использовать в качестве своеобразного devlog EchoForge.

Проект находится в длительной активной разработке и развивается дальше.

Если кому-то интересна разработка собственного игрового движка, renderer'а, редактора, asset pipeline или отдельных его подсистем — буду рад обсуждению.

Скриншоты и видео
 

 

 

 

---

Дополнено 18 минуты спустя

Еще немного скриншотов.

Изменено Понедельник в 16:53 пользователем loxotron13

[Злобная реклама]

[cryptopterius 1 654]

Не очень удачный ник для стартапа 

---

Дополнено 28 минуты спустя

3 часа назад, loxotron13 сказал:

Писался он конечно не вручную, выверяя кажду строчку, а нейронками от бесплатных до платных, то есть это был эдакий эксперимент можно ли их эффективно использовать для разработки таких трудоемких вещей.

За нейронкой потом с матом дописывают спецы, так было с дровами у красных досок и виндой, это то что я слышал мимоходом. Не знаю насколько этот нейробум полезен и эффективн ли, время покажет. Но нейронка всего лишь инструмент, в умелых руках может быть помогает. 

А вот двигло твое...тебе надо кратко сформулировать основные тезисы: зачем это нужно Сталкеру? Какие преимущества дает. Ведь тут вьелись уже в икс-рей так, что закостенели рудименты древнего двигла в сталкерах за 20 лет модостроя. И уже бесшовный мир шьют на модификате икс-рея, а графика намного лучше того же анрыла мыльного. Моды это подтверждают.

[loxotron13 19]

2 часа назад, cryptopterius сказал:

За нейронкой потом с матом дописывают спецы, так было с дровами у красных досок и виндой, это то что я слышал мимоходом. Не знаю насколько этот нейробум полезен и эффективн ли, время покажет. Но нейронка всего лишь инструмент, в умелых руках может быть помогает. 

А вот двигло твое...тебе надо кратко сформулировать основные тезисы: зачем это нужно Сталкеру? Какие преимущества дает. Ведь тут вьелись уже в икс-рей так, что закостенели рудименты древнего двигла в сталкерах за 20 лет модостроя. И уже бесшовный мир шьют на модификате икс-рея, а графика намного лучше того же анрыла мыльного. Моды это подтверждают.

Спасибо за за пост. Да, ну архитектуру двигла я старался продумывать самостоятельно конечно, просто инструктировал нейронки в нужном мне направлении. Качество их самих скакало по ходу разработки, так что частенько самому приходилось лезть в сорцы после их работы и проверять/исправлять явный быдлокод, да и сами инструкции, ну или даже моментами дописывать.

А по тезисам:

1. Меньше исторических ограничений архитектуры.
X-Ray можно бесконечно расширять, но многие его решения всё равно происходят из начала 2000-х. Новую систему там часто приходится не просто написать, а ещё встраивать в часто малопонятный и излишне переусложненный код с кучей костылей, да и все эти компиляции карт там с большим количеством "особенностей" и глюков та еще болячка.

2. Современный редактор вместо набора разрозненных утилит.
Уровени, модели, материалы, анимации, collision, UI, Blueprint-логика, NavMesh и прочее редактируются в одной Studio. Изменил — сразу запустил через PIE и проверил. В рее с этим понятно как дела обстоят.

3. Нормальный пайплайн для ассетов.
FBX, skeletal meshes, PBR-материалы, animation clips, sockets и т.д. Не нужно постоянно конвертировать ассет через несколько древних промежуточных форматов и утилит, вставил и работай.

4. Движок и редактор развиваются вместе.
Actor, components, Blueprint, UI, материалы и остальные системы сразу делаются с учётом Editor + Runtime. Намного проще его развивать дальше.

5. Ну и современные возможности типа блюпринтов — визуального программирования, работы с лендскейпом, уи, а не тяп ляп через xml или сторонний софт, тулзы для моделлинга непосредственно в самом редакторе и т.п.

Изменено Понедельник в 20:00 пользователем loxotron13

[cryptopterius 1 654]

13 минут назад, loxotron13 сказал:

X-Ray можно бесконечно расширять, но многие его решения всё равно происходят из начала 2000-х.

Тут такая фишка сложилась в игровой индустрии, что родственные двигла для своих легендарных игр подгоняют успешные студии. Но со Сталкером парадокс прям какой-то, у хуторянина Грига - нет ни студии, ни денег, ни мозгов, но Сталкер знает вся планета.

Ну и на Западе тоже не дураки среди игроков сидят и отмечают, что старый икс-рей лучше справляется с динамическим освещением в Сталкере, где имеется жанр хоррора. Анрыло - увы, конвейерный движок зафейлил  этот жанр: свет, тени и ночи с катакомбами не работают как надо.

А у тебя как с этим будет?

[loxotron13 19]

21 минуту назад, cryptopterius сказал:

Тут такая фишка сложилась в игровой индустрии, что родственные двигла для своих легендарных игр подгоняют успешные студии. Но со Сталкером парадокс прям какой-то, у хуторянина Грига - нет ни студии, ни денег, ни мозгов, но Сталкер знает вся планета.

Ну и на Западе тоже не дураки среди игроков сидят и отмечают, что старый икс-рей лучше справляется с динамическим освещением в Сталкере, где имеется жанр хоррора. Анрыло - увы, конвейерный движок зафейлил  этот жанр: свет, тени и ночи с катакомбами не работают как надо.

А у тебя как с этим будет?

Рендер в движке уже строится вокруг полноценного динамического освещения. Есть PBR, динамические источники света, shadow maps, PCF-фильтрация теней, отдельные настройки cast/receive shadows у Actor'ов.

В будущем мб завезу Build/Bake. Это не отказ от динамического освещения, а выбор подхода под конкретную сцену.

По сути ближе к Unreal: хочешь — используешь полностью динамический свет, хочешь — часть данных считаешь заранее, хочешь — комбинируешь оба подхода. Как-то так.

ЗЫЫ Ну шутерок который я пытался на своем двигле делать в жанре фантастики-хоррора, так что графоний должен соответствовать)). На тестовых сценах выглядело довольно неплохо именно для этого жанра.

Изменено Понедельник в 20:39 пользователем loxotron13

[cryptopterius 1 654]

1 час назад, loxotron13 сказал:

В будущем мб завезу Build/Bake. Это не отказ от динамического освещения, а выбор подхода под конкретную сцену.

По сути ближе к Unreal: хочешь — используешь полностью динамический свет, хочешь — часть данных считаешь заранее, хочешь — комбинируешь оба подхода. Как-то так.

Если это близко к Анрылу, Сталкер ломает перспективу быть постоянным движком у  многожанровых игр, где имеется хоррор. Свет, тени, смена суток и цвета должны соответствовать атмосфере игры. Как подмечают профессиональные художники, анрыло надо основательно перелопатить, чтоб было атмосферно в конкретных играх. Посему некоторым играм делаются персональные движки.

Изменено Понедельник в 21:50 пользователем cryptopterius

[loxotron13 19]

8 минут назад, cryptopterius сказал:

Если это близко к Анрылу, Сталкер ломает перспективу быть постоянным движком у  многожанровых игр, где имеется хоррор. Свет, тени, смена суток и цвета должны соответствовать атмосфере игры. Как подмечают профессиональные художники, анрыло надо основательно перелопатить, чтоб было красиво в конкретных играх. Посему некоторым играм делаются персональные движки.

Ну в движке можно буквально каждую сцену настроить как тебе надо по цвету, теням, амбиенту, лайтам, то есть каких-то ограничений на этот счёт нет, выставляй что тебе хочется, настраивай тени и получишь нужную атмосферу.) Погоду я правда не завозил еще толком, но скайбокс классический уже есть в двигле, работает норм вроде, подцепляет рей 2.0 подобные кубмапы/strip'ы, можно будет погоду сделать настраиваемой если кому надо и адаптировать под любой проект как мне кажется.

Изменено Понедельник в 20:48 пользователем loxotron13

[COMPLEXTER 322]

@cryptopterius про анрыло плюсы 100500%-тные, но цветовая палитра по большей части задаётся за счёт погоды. Подборка из текстуры скайбокса с цветом горизонтной дымки+ текстуры облаков, lumscale/amb/hemi параметров каждого отдельного взятого цикла и в т.ч. отдельно взятой локации. На той же статике фурычит вроде только hemi, но если в самой погоде подкорректить общее освещение, то там уже без балды будет освещение плюс-минус нормальное, то бишь, соответствующее. Даже кинув на другой двиг игру, путём коррекции погоды можно добиться около оригинального результата в плане графона, ну только если не двиг этой игры совсем допотопный. Если очень сильно постараться, то по этому методу можно и на анрыле добится околонужного результата. Да, не без огрехов, но они не столько существенны. А про тени это вообще отдельная тема, беда с ними была всегда, а после краша качества графики 2017-18ых годов через драйвера, там вообще ад. Уж за что, так за тени я бы вообще иксрей не хвалил.

[dmitry_41 122]

10 часов назад, loxotron13 сказал:

создавать и редактировать уровни

Привет.

Получается, можно зайти в редактор и с нуля создать полноценный уровень, наложить текстуры, задать материалы и т.д. и т.п. правильно понимаю?

 

[loxotron13 19]

1 минуту назад, dmitry_41 сказал:

Привет.

Получается, можно зайти в редактор и с нуля создать полноценный уровень, наложить текстуры, задать материалы и т.д. и т.п. правильно понимаю?

Конечно, никаких проблем, а потом еще и в игре протестировать.

[dmitry_41 122]

Только что, loxotron13 сказал:

Конечно, никаких проблем, а потом еще и в игре протестировать.

А импортировать карту, допкстим из макса или майи?

[loxotron13 19]

2 минуты назад, dmitry_41 сказал:

А импортировать карту, допкстим из макса или майи?

В движке нативная поддержка FBX, тупо копируй что тебе надо в ассеты и вставляй на уровень, есть возможность моделить прямо в студии движка, еще возможно не очень идеально пока до конца, но можно простые вещи создавать. Лендскейп можно сгенерить спокойно тот же.

Изменено Вторник в 02:59 пользователем loxotron13

[andreyholkin 390]

loxotron13 , а что обсуждать? Когда будет база в билде, а лучше исходники, тогда и поговорим. 

[dmitry_41 122]

Ну если будет возможность строить уровни и подключать их, то будет здорово.  Остается пощупать сам релиз инструментария

[loxotron13 19]

5 часов назад, andreyholkin сказал:

loxotron13 , а что обсуждать? Когда будет база в билде, а лучше исходники, тогда и поговорим. 

Хотелось бы найти заинтересованных людей, которые захотят на движке что-то поделать и продать, и инвесторов, готовых вложить в проект деньги, а то я за всю жизнь когда занялся геймдевом всерьез где-то с 2018 года таких не встречал в России, а желающих что-то совместно разрабатывать по пальцам можно пересчитать буквально. У меня умерло куча проектов именно по этой причине, просто нет людей и заинтересантов. Я понимаю что сейчас тяжелое время, люди вообще не склонны друг с другом контактировать в условиях боевых действий, отчужденности, огромных панельных многоэтажек, но это печально что выбиться в люди здесь кроме как работать на чужого дядю в какой-нибудь пятерочке или на заводе как мне предлагали, вообще невозможно, а 500 рублей  - это "дофига", по-сути максимально подъемная сумма для сталкер комьюнити чтобы купить софт, как писал макрон, словно никому не нужно платить за квартиру, впн, еду и так далее и никто денег в глаза не видел. С предложениями всегда можно в личку обращаться.

Изменено Вторник в 12:11 пользователем loxotron13

[Mawrak 1 145]

del

---

Дополнено 5 минуты спустя

loxotron13 сори не в ту тему написал случайно) Работа на Win 7 касалось Asset Fetcher, я туда отправил сообщение правильное

Изменено Вторник в 22:15 пользователем Mawrak