Перемещение матча - Match moving - Wikipedia

В визуальный эффект, движение матча это метод, который позволяет вставлять компьютерную графику в живое действие кадры с правильным положением, масштабом, ориентацией и движением относительно сфотографированных объектов в кадре. Этот термин используется в широком смысле для описания нескольких различных методов извлечения камеры. движение информация от кинофильм. Иногда упоминается как отслеживание движения или же решение камеры, перемещение матча связано с ротоскопирование и фотограмметрия.Перемещение совпадений иногда путают с захвата движения, который записывает движение объектов, часто людей, а не камеры. Обычно для захвата движения требуются специальные камеры и датчики, а также контролируемая среда (хотя недавние разработки, такие как Kinect камера и Apple Face ID начали это менять). Перемещение матча также отличается от фотография с контролем движения, который использует механическое оборудование для выполнения нескольких одинаковых движений камеры. Движение совпадения, напротив, обычно является программной технологией, применяемой постфактум к обычным материалам, записанным в неконтролируемой среде с помощью обычной камеры.

Соответствующее движение в основном используется для отслеживания движения камеры в кадре, чтобы идентичное движение виртуальной камеры можно было воспроизвести в кадре. 3D анимация программа. Когда новые анимированные элементы снова объединяются в исходный снимок живого действия, они будут отображаться в идеально подобранной перспективе и, следовательно, будут выглядеть бесшовно.

Поскольку в основном это программное обеспечение, перемещение спичек становится все более доступным по мере снижения стоимости компьютерных мощностей; теперь это признанный инструмент визуальных эффектов и даже используется в прямых телетрансляциях как часть создания таких эффектов, как желтый виртуальный нисходящий поток в Американский футбол.

Принцип

Процесс перемещения спичек можно разбить на два этапа.

Отслеживание

Первый шаг - это определение и отслеживание Особенности. А особенность - это определенная точка на изображении, которую алгоритм отслеживания может зафиксировать и проследить через несколько кадров (SynthEyes называет их вспышки). Часто объекты выбираются, потому что это яркие / темные пятна, края или углы, в зависимости от конкретного алгоритма отслеживания. Популярные программы используют сопоставление шаблонов на основе Оценка NCC и Ошибка RMS. Важно то, что каждая особенность представляет собой определенную точку на поверхности реального объекта. По мере отслеживания объекта он становится серией двумерных координат, которые представляют положение объекта в серии кадров. Эта серия именуется «треком». После создания треков их можно сразу использовать для 2D-отслеживания движения или затем использовать для вычисления 3D-информации.

Калибровка

Второй шаг включает решение для трехмерного движения. Этот процесс пытается получить движение камеры путем решения обратной проекции 2D путей для положения камеры. Этот процесс называется калибровка.

Когда фотографируется точка на поверхности трехмерного объекта, ее положение в двухмерном кадре можно вычислить с помощью 3D проекция функция. Мы можем рассматривать камеру как абстракцию, которая содержит все параметры, необходимые для моделирования камеры в реальном или виртуальном мире. Следовательно, камера - это вектор, который включает в себя в качестве своих элементов положение камеры, ее ориентацию, фокусное расстояние и другие возможные параметры, которые определяют, как камера фокусирует свет на фильм самолет. То, как именно построен этот вектор, не имеет значения, если существует совместимая функция проекции. п.

Функция проекции п принимает в качестве входных данных вектор камеры (обозначенный камера) и другой вектор положения трехмерной точки в пространстве (обозначенный xyz) и возвращает двухмерную точку, которая была спроецирована на плоскость перед камерой (обозначена XY). Мы можем выразить это:

XY = P (камера, xyz)

Иллюстрация проекции функции. Красные точки вокруг визуализации 3D-структуры представляют собой точки, выбранные в процессе отслеживания. Камеры в кадре я и j спроецировать вид на плоскость в зависимости от параметров камеры. Таким образом объекты отслеживаются в 2D соответствовать к реальным точкам в трехмерном пространстве. Хотя эта конкретная иллюстрация сгенерирована компьютером, перемещение совпадения обычно выполняется на реальных объектах.

Функция проекции преобразует трехмерную точку и удаляет компонент глубины. Не зная глубины компонента, функция обратной проекции может возвращать только набор возможных трехмерных точек, которые образуют линию, исходящую из узловая точка объектива камеры и проходя через проецируемую 2D точку. Мы можем выразить обратную проекцию как:

xyz ∈ P '(камера, XY)

или же

{xyz:П(камера, xyz) = XY}

Допустим, мы находимся в ситуации, когда отслеживаемые нами объекты находятся на поверхности твердого объекта, такого как здание. Поскольку мы знаем, что настоящая точка xyz будет оставаться в одном и том же месте в реальном пространстве от одного кадра изображения до следующего, мы можем сделать точку постоянной, даже если мы не знаем, где она находится. Так:

xyz_я = xyz_j

где индексы я и j относятся к произвольным кадрам в анализируемом нами кадре. Поскольку это всегда так, мы знаем, что:

П'(камера_я, XY_я) ∩ P '(камера_j, XY_j) ≠ {}

Потому что ценность XY_я был определен для всех кадров, через которые функция отслеживается программой отслеживания, мы можем решить функцию обратной проекции между любыми двумя кадрами до тех пор, пока P '(камера_я, XY_я) ∩ P '(камера_j, XY_j) - небольшой набор. Набор возможных камера векторы, которые решают уравнение в i и j (обозначены C_ij).

C_ij = {(камера_я,камера_j):П'(камера_я, XY_я) ∩ P '(камера_j, XY_j) ≠ {})

Итак, есть набор пар векторов камеры C_ij для которого пересечение обратных проекций двух точек XY_я и XY_j - это непустое, надеюсь, маленькое множество, сосредоточенное на теоретической стационарной точке xyz.

Другими словами, представьте черную точку, плавающую в белой пустоте и камеру. Для любой позиции в пространстве, в которую мы помещаем камеру, существует набор соответствующих параметров (ориентация, фокусное расстояние и т. Д.), Которые позволят сфотографировать эту черную точку точно так же. С C имеет бесконечное количество членов, одной точки никогда не бывает достаточно, чтобы определить фактическое положение камеры.

Когда мы начнем добавлять точки слежения, мы можем сузить возможные положения камеры. Например, если у нас есть набор точек {xyz_{я, 0},...,xyz_в} и {xyz_{j, 0},...,xyz_{j, n}} где i и j по-прежнему относятся к кадрам, а n - это индекс одной из многих точек отслеживания, за которыми мы следим. Мы можем получить набор наборов векторных пар камер {C_{я, j, 0}, ..., C_{я, j, n}}.

Таким образом, несколько треков позволяют сузить возможные параметры камеры. Набор возможных параметров камеры, F, является пересечением всех наборов:

F = C_{я, j, 0} ∩ ... ∩ C_{я, j, n}

Чем меньше элементов в этом наборе, тем ближе мы сможем подойти к извлечению фактических параметров камеры. На самом деле ошибки, внесенные в процесс отслеживания, требуют более статистического подхода к определению хорошего вектора камеры для каждого кадра, оптимизация алгоритмы и регулировка блока пучка часто используются. К сожалению, в векторе камеры так много элементов, что, когда каждый параметр свободен, мы все равно не сможем сузить F до единственной возможности, независимо от того, сколько функций мы отслеживаем. Чем больше мы можем ограничить различные параметры, особенно фокусное расстояние, тем легче будет найти решение.

В целом, процесс трехмерного решения - это процесс сужения возможных решений движения камеры до тех пор, пока мы не достигнем того, которое соответствует потребностям композита, который мы пытаемся создать.

Проекция облака точек

После того, как положение камеры было определено для каждого кадра, можно оценить положение каждого объекта в реальном пространстве с помощью обратной проекции. Результирующий набор точек часто называют облако точек из-за его сырого вида, как туманность. Поскольку облака точек часто раскрывают некоторую форму трехмерной сцены, их можно использовать в качестве ориентира для размещения синтетических объектов или реконструкция программа для создания 3D-версии реальной сцены.

Определение плоскости земли

Камеру и облако точек нужно ориентировать в каком-то пространстве. Следовательно, после завершения калибровки необходимо определить заземляющую поверхность. Обычно это единичная плоскость, которая определяет масштаб, ориентацию и исходную точку проецируемого пространства. Некоторые программы пытаются сделать это автоматически, хотя чаще пользователь определяет эту плоскость. Поскольку при смещении плоскостей земли происходит простое преобразование всех точек, фактическое положение плоскости на самом деле является вопросом удобства.

Реконструкция

Реконструкция представляет собой интерактивный процесс воссоздания сфотографированного объекта с использованием данных отслеживания. Эта техника связана с фотограмметрия. В данном конкретном случае мы имеем в виду использование программного обеспечения по перемещению спичек для восстановления сцены из случайных отснятых материалов.

Программа реконструкции может создавать трехмерные объекты, имитирующие реальные объекты на сфотографированной сцене. Используя данные из облака точек и оценку пользователя, программа может создать виртуальный объект, а затем извлечь текстуру из отснятого материала, которую можно спроецировать на виртуальный объект в качестве текстуры поверхности.

2D против 3D

Перемещение матча имеет две формы. Некоторые программы для композитинга, такие как Встряхнуть, Adobe After Effects, и Незаметное горение, включают двумерный отслеживание движения возможности. Двумерное совпадение с перемещением отслеживает только объекты в двухмерном пространстве, не обращая внимания на движение или искажение камеры. Его можно использовать для добавления Размытость или же стабилизация изображения эффекты к отснятому материалу. Этого метода достаточно для создания реалистичных эффектов, когда исходный материал не содержит серьезных изменений перспективы камеры. Например, рекламный щит на заднем плане кадра часто можно заменить с помощью двухмерного отслеживания.

Трехмерный Инструменты согласованного перемещения позволяют экстраполировать трехмерную информацию из двухмерной фотографии. Эти инструменты позволяют пользователям определять движение камеры и другое относительное движение из произвольного материала. Информация об отслеживании может быть передана на программное обеспечение для компьютерной графики и используется для анимации виртуальных камер и имитируемых объектов. Программы, способные перемещать совпадения в 3D, включают:

3DEqualizer от Science.D.Visions (получившей Премия Оскар за технические достижения )^[1]
Блендер (открытый исходный код; использует libmv)
Вуду
АКТЫ автоматическое отслеживание камеры с плотной системой восстановления глубины для обработки последовательностей изображений / видео
LS-ACTS надежная и эффективная система, основанная на движении, которая может обрабатывать большие наборы данных изображений / видеопоследовательностей почти в реальном времени и надежно работать в сложных случаях (например, кольцевые последовательности и множественные последовательности)
VISCODA VooCAT
Икар (Исследовательский проект Манчестерского университета, сейчас прекращенный, но все еще популярный)
Майя MatchMover
Пиксельная ферма PFTrack, PFMatchit, PFHoe (на основе алгоритмов PFTrack)
KeenTools GeoTracker, PinTool
SynthEyes от Andersson Technologies
Boujou (который выиграл Премия Эмми в 2002)
NukeX из Литейного
fayIN плагин для Adobe After Effects из Файтека
CameraTracker (плагин для Adobe After Effects ) из The Foundry.
VideoTrace from Punchcard (программа для создания 3D-моделей из видео и изображений)
IXIR 2D Track Editor Он поддерживает 2D-треки и файлы масок программного обеспечения, такого как 3D Equalizer, PFTrack, Boujou, SynthEyes, Matchmover, Movimento, Nuke, Shake, Fusion, After Effects, Combustion, Mocha, Silhouette.
мокко Pro от Imagineer Systems, утилиты для постпроизводства на базе Planar Tracker

Автоматическое и интерактивное отслеживание

Существует два метода извлечения информации о движении из изображения. Интерактивное отслеживание, иногда называемое «контролируемым отслеживанием», предполагает, что пользователь следит за функциями в сцене. Автоматическое отслеживание зависит от компьютера алгоритмы для определения и отслеживания особенностей в кадре. Затем отслеживаемые движения точек используются для расчета «решения». Это решение состоит из всей информации о камере, такой как движение, фокусное расстояние и искажение объектива.

Преимущество автоматического отслеживания состоит в том, что компьютер может создавать множество точек быстрее, чем человек. Большое количество точек можно проанализировать с помощью статистика для определения наиболее достоверных данных. Недостатком автоматического слежения является то, что в зависимости от алгоритма компьютер может легко запутаться, поскольку он отслеживает объекты на сцене. Методы автоматического слежения особенно неэффективны при съемке с быстрым движением камеры, например при съемке с ручной камеры, а также при съемке повторяющихся объектов, таких как маленькие плитки или любой обычный узор, где одна область не очень четкая. Этот метод отслеживания также страдает, когда снимок содержит большое количество размытия при движении, что затрудняет различение мелких деталей.

Преимущество интерактивного отслеживания состоит в том, что человек-пользователь может следить за функциями на протяжении всей сцены, и его не смущают нежесткие функции. Пользователь-человек также может определить, где в кадре находятся элементы, которые страдают от размытия движения; Автоматическому слежению чрезвычайно сложно правильно найти объекты с большим количеством размытия при движении. Недостатком интерактивного отслеживания является то, что пользователь неизбежно будет вносить небольшие ошибки, следя за объектами по сцене, что может привести к так называемому «дрейфу».

Отслеживание движения на профессиональном уровне обычно достигается с помощью комбинации интерактивных и автоматических методов. Художник может удалить явно аномальные точки и использовать «подложки отслеживания», чтобы заблокировать вводящую в заблуждение информацию из процесса автоматического отслеживания. Следящие маты также используются для покрытия областей кадра, содержащих движущиеся элементы, такие как актер или вращающийся потолочный вентилятор.

Следящие маты

Подложка для отслеживания похожа по концепции на мусорный матовый используется в дорожный матовый композитинг. Однако цель подложки отслеживания - предотвратить использование алгоритмами отслеживания ненадежных, нерелевантных или нежестких точек отслеживания. Например, в сцене, где актер идет впереди фона, исполнитель отслеживания захочет использовать только фон для отслеживания камеры через сцену, зная, что движение актера нарушит вычисления. В этом случае художник создаст маску отслеживания, чтобы следовать за актером по сцене, блокируя эту информацию из процесса отслеживания.

Рафинирование

Поскольку часто существует несколько возможных решений процесса калибровки и может накапливаться значительное количество ошибок, последний шаг для согласования перемещения часто включает уточнение решения вручную. Это может означать изменение самого движения камеры или подсказки для механизма калибровки. Эта интерактивная калибровка называется «уточнением».

Большинство приложений для перемещения совпадений основаны на аналогичных алгоритмах отслеживания и калибровки. Часто полученные первоначальные результаты похожи. Однако у каждой программы разные возможности по уточнению.

Реальное время

На съемочной площадке отслеживание камеры в реальном времени становится все более широко используемым в производстве художественных фильмов, чтобы элементы, которые будут вставлены в пост-продакшн, можно было визуализировать вживую на съемочной площадке. Это помогает режиссеру и актерам улучшать исполнение, фактически видя расширения набора или персонажей CGI, пока (или вскоре после этого) они делают дубль. Им больше не нужно работать на зеленых / синих экранах и не получать обратной связи о конечном результате. Ссылки по линиям глаз, позиционирование актеров и взаимодействие с компьютерной графикой теперь можно выполнять в прямом эфире на съемочной площадке, что дает всем уверенность в том, что снимок правильный и будет работать в окончательной композиции.

Для этого необходимо объединить ряд компонентов от аппаратного до программного. Программное обеспечение собирает все 6 степеней свободы движения камеры, а также метаданные, такие как зум, фокус, диафрагму и элементы затвора, от многих различных типов аппаратных устройств, начиная от систем захвата движения, таких как система на основе активных светодиодных маркеров от PhaseSpace, пассивные системы, такие как анализ движения или Vicon, для датчиков вращения, установленных на операторских кранах и тележках, таких как Technocranes и Fisher Dollies, или инерционные и гироскопические датчики, установленные непосредственно на камере. Существуют также лазерные системы слежения, которые можно прикрепить ко всему, включая стедикамы, для слежения за камерами на улице под дождем на расстоянии до 30 метров.

Камеры управления движением также можно использовать в качестве источника или назначения для данных 3D-камеры. Движение камеры можно предварительно визуализировать, а затем преобразовать в данные управления движением, которые перемещают кран с камерой точно по тому же пути, что и 3D-камера. Энкодеры на кране также можно использовать в режиме реального времени на съемочной площадке, чтобы обратить этот процесс в обратном направлении и создать живые 3D-камеры. Данные могут быть отправлены в любое количество различных 3D-приложений, что позволяет 3D-художникам изменять свои элементы CGI прямо на съемочной площадке. Основное преимущество состоит в том, что некоторые проблемы с дизайном, которые потребуют много времени и денег, могут быть решены в процессе съемки, гарантируя, что актеры «вписываются» в каждую среду для каждого кадра, пока они играют свою роль.

Системы захвата движения в реальном времени также могут быть смешаны с потоком данных камеры, что позволяет вставлять виртуальных персонажей в живые кадры на съемочной площадке. Это значительно улучшает взаимодействие между реальными и ненастоящими персонажами, управляемыми MoCap, поскольку и пластинки, и компьютерная игра могут быть поставлены вместе.

Смотрите также

внешняя ссылка

Matchmoving объяснил в блоге FLIP Animation Дата обращения: май 2013 г.

[1] 3DEqualizer: 74-я научно-техническая награда

[1]