Как добавить систему трекинга в Unreal Engine через плагин DragonFly от Glassbox Tech

Плагин DragonFly от Glassbox Tech поддерживает подключение трекинга Antilatency к виртуальной камере в Unreal Engine. В данном руководстве описан способ подключения и настройки системы трекинга. С помощью DragonFly можно отслеживать только одну камеру одновременно.

Содержание

Подготовка;
Установка плагинов;
Транслирование трекинга с помощью VRPN;
Добавление трекинга Antilatency в DragonFly;
Включение вида от камеры DragonFly;
Полезные ссылки.

Подготовка

Зона трекинга Antilatency
Сначала установите вашу зону трекинга. При установке учитывайте, что зона трекинга должна находиться там, где будет перемещаться отслеживаемая камера, а не у предметов съёмки.
Прикрепление сокета к камере
Затем разместите сокет с Alt на корпусе камеры так, чтобы трекер был направлен на ИК-маркеры. Например, для напольной зоны трекинга следует выбрать место снизу камеры, для потолочной — сверху камеры. Прикрепите сокет на камеру, например, клейкой лентой, и вставьте в него Alt.
Настройка сокета Antilatency
Теперь можно настроить соединение, задать свойство Tag и Placement сокету на камере.
- В зависимости от вашего сокета, осуществите проводное или беспроводное соединение с оборудованием. Для настройки беспроводных сокетов (2 штуки) воспользуйтесь этой инструкцией.
- Чтобы задать свойство Tag (напр. MainCamera, Camera1) и проверить подключение всех сокетов и Alt-трекера, ипользуйте вкладку Device Network приложения AntilatencyService.
- В конце перейдите во вкладку Placements приложения AntilatencyService и создайте Placement для сокета на камере.

Установка плагинов

До того, как открыть ваш проект в UE, установите плагин DragonFly, подходящий вашей версии Unreal Engine:

загрузите бесплатную 30-дневную пробную версию плагина DragonFly или приобретите лицензию на сайте Glassbox;
распакуйте архив с плагином в удобную папку;
установите DragonFly, следуя инструкции «INSTALL DRAGONFLY» в прилагаемом файле, в нашем примере – DragonFly 3.1 for Unreal Quick Start Guide.pdf.

Откройте ваш проект в Unreal Engine, если он ещё не открыт.

Откройте окно плагинов: вкладка Edit – Plugins.

Найдите и включите плагины DragonFly, Live Link и LiveLinkVRPN.

Если плагин DragonFly не появился в секции Installed, включите сначала Live Link и LiveLinkVRPN и затем перезапустите Unreal Editor (кнопка Restart Now). После этого, если плагин DragonFly не включился автоматически, включите его и перезапустите Unreal Editor ещё раз.

Транслирование трекинга с помощью VRPN

Настройте получение данных трекинга с помощью VRPN по этой инструкции.

Запустите сервер VRPN.

В Unreal Engine откройте меню LiveLink: вкладка Window – Virtual Production – Live Link.

Добавьте новый источник видео: кнопка + Source – LiveLink VRPN Source. Его параметры:

IPAddress – ip-адрес сервера, который транслирует данные трекинга. По умолчанию равен 127.0.0.1 — сервер запущен на локальном компьютере. Кроме ip-адреса можно задать и номер порта сервера через ":" (127.0.0.1:3884).
Local Update Rate in Hz – соответствует частоте кадров в секунду.
Device Name – tag сокета.
Subject Name – произвольное имя объекта. В дальнейшем оно будет использоваться для добавления тракинга в DragonFly.
Type – tracker.

Выполните трансформацию координат. Для этого:

В секции Source выберите ваш VRPN источник, в секции Subject – добавленный трекер по его имени Subject Name.
Справа во вкладке LiveLink в параметре Pre Processors добавьте элемент кнопкой + .
Во вложенном параметре Index [0] выберите опцию Transform Axis Switch и раскройте вкладку этого параметра.
Далее раскройте вкладку LiveLink и установите параметры: Front Axis – Z-Axis, Right Axis – X-Axis, Up-Axis – Y-Axis.

Теперь данные трекинга, поставляемые через VRPN, корректны. Можно закрыть окно Live Link.

Добавление трекинга Antilatency в DragonFly

На панели инструментов Unreal нажмите на панель DragonFly – Setup. Далее в секции General Tracking:

для параметра Tracking выберите вариант LiveLink;
в параметре Unit Conversion установите значение 1.

В секции LiveLink Tracking Settings:

Source – вариант VRPN;
Subject – <Subject Name> из окна Live Link;
в конце нажмите Connect.

После подключения убедитесь, что в параметре Unit Conversion стоит значение 1. Иначе может возникнуть эффект тряски камеры.

Остальные настройки, которые частно используются во время записи, нужно проводить в меню DragonFly – Operator Main. Подробнее – в прилагаемой инструкции к загруженному плагину (в нашем примере файл DragonFly 3.1 for Unreal User Manual.pdf).

Включение вида от камеры DragonFly

Чтобы включить отображение (Viewport) на вид DragonFly (DragonFly View), в левом верхнем углу секции Viewport нажмите на Perspective - DragonFly Viewport. Если данный инструмет отсутсвует, нажмите на иконку в левом верхнем углу секции Viewport, выберите Show Toolbar – Perspective.

Полезные ссылки

Antilatency: Первые шаги
DragonFly от Glassbox Tech: документация, туториалы для DragonFly, поддержка

Как добавить систему трекинга в Unreal Engine через плагин DragonFly от Glassbox TechBehaviour.Initialize("Title")