Как добавить систему трекинга в приложение Live FX Studio от Assimilate

Продукты от ASSIMILATE поддерживают подключение и настройку трекинга Antilatency для реальных и виртуальных камер. Для приложения Live FX Studio доступно подключение трекинга Antilatency напрямую, а для Live FX – по протокуолу FreeD через AntilatencyFreeDServer (утилита скоро будет доступна). Приложение позволяет выбрать только один трекер для использования одновременно.

В этой статье

1. Подготовка;
2. Быстрый старт в Live FX;
3. Прямое подключение трекера Antilatency;
4. Подключение как FreeD tracker;
5. Дополнительные настройки трекинга в Live Links;
6. Полезные ссылки.

Подготовка

• Зона трекинга Antilatency
  Сначала установите вашу зону трекинга. При установке учитывайте, что зона трекинга должна находиться там, где будет перемещаться отслеживаемая камера, а не у предметов съёмки.
• Прикрепление сокета к камере
  Затем разместите сокет с Alt на корпусе камеры так, чтобы трекер был направлен на ИК-маркеры. Например, для напольной зоны трекинга следует выбрать место снизу камеры, для потолочной — сверху камеры. Прикрепите сокет на камеру, например, клейкой лентой, и вставьте в него Alt.
• Настройка сокета Antilatency и его расположения
  Теперь можно настроить соединение и задать Placement сокету на камере.

  Согласно используемой версии SDK, вам понадобится AntilatencyService версии 3.5.3.

  • В зависимости от вашего сокета, осуществите проводное или беспроводное соединение с компьютером, на котором запущено приложение Live FX. Для настройки беспроводных сокетов (2 штуки) воспользуйтесь этой инструкцией.
  • Чтобы проверить подключение всех сокетов и Alt-трекера, иcпользуйте вкладку Device Network приложения AntilatencyService.

    Если устройства Antilatency не отображаются в AntilatencyService на вкладке Device Network, нужно, не покидая эту вкладку:

    • либо закрыть другие приложения, использующие трекинг, например Steam VR;
    • либо физически отсоединить все сокеты, которые напрямую подключены к компьютеру (Wired USB Socket, Universal Radio Socket), и затем подсоединить их заново.

    Кроме того, во вкладке Device Network можно просмотреть серийный номер сокета, в котором установлен Alt. Значение свойства sys/HardwareSerialNumber будет использоваться в качестве имени трекера в программе Live FX Studio.
  • В конце перейдите во вкладку Placements приложения AntilatencyService и создайте Placement для сокета на камере.

Быстрый старт в Live FX

• Создайте новый проект для теста (кнопка New) и задайте ему минимальные настройки, такие как Project Paths и Default Image Format Settings.
• Прежде чем начать с ним работу, откройте настройки Video IO Settings и выберите в выпадающем меню какой-либо источник видео, например, NDI. Включите этот источник, щёлкнув на кнопку On/Off, и активируйте по одному Input и Output каналу. В конце примените настройки кнопкой Apply Settings и закройте окно.
• Войдите в проект (кнопка Enter Project), и во вкладке Construct создайте новую композицию (кнопка Live Setup).
• Задайте выделенные настройки композиции как на скриншоте ниже, а в качестве фона можете скачать это изображение из открытого источника. В зависимости от версии приложения Live FX, вы можете подключить трекинг Antilatency напрямую или как FreeD-трекер.
• (Необязательно) Для удобного отображения фона при пустом источнике изображения: выберите слой Keyer в секции Layers и переместите его выше слоя Background.

Добавление трекинга Antilatency напрямую

1. Выпадающий список Environment – выберите имя нужной зоны трекинга или default для использования зоны по умолчанию в AntilatencyService.
2. Список Trackers – если используете один трекер, то в списке он будет выбран автоматически. Физически Alt будет мигать зелёным цветом, так как сразу активируется режим трекинга. Если трекеров больше одного, выберите тот, имя которого совпадает с серийным номером сокета на камере. Это значение можно посмотреть в приложении AntilatencyService во вкладке Device Network.
3. Выпадающий список Placement – выберите имя созданного размещения из AntilatencyService или выберите default по аналогии с Environment. Кроме того, вы можете настроить размещение трекера непосредственно в Live FX (блок настроек Mount Offset + выбрать вариант Identity в Placement), но мы настоятельно рекомендуем производить эти настройки именно в AntilatencyService.

Добавление трекинга Antilatency в качестве FreeD-трекера

1. Поле Port – укажите тот же номер порта, что и в файле settings.json, который вы настраивали для использования AntilatencyFreeDServer.
2. Список Trackers – если используете один трекер, то в списке он будет выбран автоматически. Иначе выберите номер нужной камеры.
3. Выпадающий список Encoder – выберите вариант Generic.

Дополнительные настройки трекинга в Live Links

• Delay
  Данные трекера на камере и данные изображения обычно перемещаются по разным путям. Данные трекера обычно отправляются по сети IP, а прямое изображение с камеры поступает через SDI. Это также означает, что данные передаются с разной скоростью. Если вы снова объедините данные в единую композицию, вам нужно это компенсировать. Поскольку данные трекера, как правило, быстрее, чем данные изображения, для каждого трекера предусмотрена настройка задержки. Эта задержка указывается в миллисекундах и представляет собой временной интервал между поступлением данных трекера и поступлением/захватом соответствующего изображения с камеры по каналу VideoIO.
• Smooth
  Параметр Smooth применяет фильтр к данным трекера, чтобы избавиться от любого дрожания. Обратите внимание, что чем сильнее фильтр, тем более запоздалые изменения движения. Это присуще фильтрации данных в реальном времени.
• Threshold
  Это ещё один способ отфильтровать потенциальный шум в данных трекера: изменения в данных трекера меньше порогового значения игнорируются. Обратите внимание, что установка слишком высокого порога может привести к тому, что фактическое движение камеры будет выглядеть как небольшой скачок.

Полезные ссылки