Поле движения - Motion field - Wikipedia

В компьютерное зрение то поле движения является идеальным представлением трехмерного движения, проецируемого на изображение камеры. Учитывая упрощенную модель камеры, каждая точка ${\displaystyle (y_{1},y_{2})}$ на изображении - это проекция какой-то точки в 3D-сцене, но положение проекции фиксированной точки в пространстве может меняться со временем. Поле движения можно формально определить как производную по времени от положения всех точек изображения при условии, что они соответствовать к фиксированным 3D точкам. Это означает, что поле движения может быть представлено как функция, которая отображает координаты изображения в двумерный вектор. Поле движения является идеальным описанием проецируемого трехмерного движения в том смысле, что оно может быть определено формально, но на практике обычно можно определить только приближение поля движения по данным изображения.

Вступление

Иллюстрация некоторых трехмерных точек и соответствующих им точек изображения, как описано модель камеры-обскуры. Поскольку трехмерные точки перемещаются в пространстве, соответствующие точки изображения также перемещаются. Поле движения состоит из векторов движения в изображении для всех точек изображения.

Модель камеры отображает каждую точку ${\displaystyle (x_{1},x_{2},x_{3})}$ в 3D-пространстве до точки 2D-изображения ${\displaystyle (y_{1},y_{2})}$ согласно некоторым функциям отображения ${\displaystyle m_{1},m_{2}}$:

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\begin{pmatrix}m_{1}(x_{1},x_{2},x_{3})\\m_{2}(x_{1},x_{2},x_{3})\end{pmatrix}}}$

Предполагая, что сцена, изображаемая камерой, является динамической; он состоит из объектов, перемещающихся друг относительно друга, объектов, которые деформируются, и, возможно, также камеры, перемещающейся относительно сцены, фиксированная точка в трехмерном пространстве сопоставляется с различными точками на изображении. Дифференцируя предыдущее выражение по времени, получаем

${\displaystyle {\begin{pmatrix}{\frac {dy_{1}}{dt}}\\[2mm]{\frac {dy_{2}}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac {dm_{1}(x_{1},x_{2},x_{3})}{dt}}\\[2mm]{\frac {dm_{2}(x_{1},x_{2},x_{3})}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}\,{\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}}$

Здесь

${\displaystyle \mathbf {u} ={\begin{pmatrix}{\frac {dy_{1}}{dt}}\\[2mm]{\frac {dy_{2}}{dt}}\end{pmatrix}}}$

поле движения и вектор ты зависит как от положения изображения ${\displaystyle (y_{1},y_{2})}$ а также по времени т. По аналогии,

${\displaystyle \mathbf {x'} ={\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}}$

- движение соответствующей трехмерной точки, и ее связь с полем движения определяется выражением

${\displaystyle \mathbf {u} =\mathbf {M} \,\mathbf {x} '}$

куда ${\displaystyle \mathbf {M} }$ зависит от положения изображения ${\displaystyle 2\times 3}$ матрица

${\displaystyle \mathbf {M} ={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}}$

Это соотношение подразумевает, что поле движения в определенной точке изображения инвариантно по отношению к трехмерным движениям, которые лежат в пустое пространство из ${\displaystyle \mathbf {M} }$. Например, в случае камеры-обскуры все компоненты трехмерного движения, которые направлены к точке фокусировки камеры или от нее, не могут быть обнаружены в поле движения.

Особые случаи

Поле движения ${\displaystyle \mathbf {v} }$ определяется как:

${\displaystyle \mathbf {v} =f{\frac {Z\mathbf {V} -V_{z}\mathbf {P} }{Z^{2}}}}$

куда

${\displaystyle \mathbf {V} =-\mathbf {T} -\mathbf {\omega } \times \mathbf {P} }$.

куда

• ${\displaystyle \mathbf {P} }$ - это точка сцены, где Z - расстояние до этой точки сцены.
• ${\displaystyle \mathbf {V} }$ относительное движение между камерой и сценой,
• ${\displaystyle \mathbf {T} }$ - поступательная составляющая движения, а
• ${\displaystyle \mathbf {\omega } }$ - угловая скорость движения.

Отношение к оптическому потоку

Основная статья: оптический поток

Поле движения - это идеальная конструкция, основанная на идее, что можно определить движение каждой точки изображения, и выше описывается, как это 2D движение связано с 3D движением. Однако на практике истинное поле движения может быть приблизительно определено только на основе измерений данных изображения. Проблема в том, что в большинстве случаев каждая точка изображения совершает индивидуальное движение, которое, следовательно, необходимо локально измерять с помощью операция по соседству на данных изображения. Как следствие, правильное поле движения не может быть определено для определенных типов окрестностей и вместо этого может быть определено приближение, часто называемое оптический поток, необходимо использовать. Например, окрестность, которая имеет постоянную интенсивность, может соответствовать ненулевому полю движения, но оптический поток равен нулю, поскольку локальное движение изображения невозможно измерить. Аналогично, окрестность внутренняя 1-мерная (например, край или линия) могут соответствовать произвольному полю движения, но оптический поток может захватывать только нормальную составляющую поля движения. Существуют также другие эффекты, такие как шум изображения, 3D-окклюзия, временное искажение, которые присущи любому методу измерения оптического потока и вызывают отклонение результирующего оптического потока от истинного поля движения.

Короче говоря, поле движения не может быть правильно измерено для всех точек изображения, а оптический поток является приближением поля движения. Существует несколько различных способов вычисления оптического потока на основе разных критериев того, как должна производиться оптическая оценка.

Рекомендации

• Бернд Яне и Хорст Хаусекер (2000). Компьютерное зрение и приложения, Руководство для студентов и практиков. Академическая пресса. ISBN  0-13-085198-1.

• Линда Г. Шапиро и Джордж К. Стокман (2001). Компьютерное зрение. Прентис Холл. ISBN  0-13-030796-3.

• Милан Сонька, Вацлав Главац и Роджер Бойл (1999). Обработка изображений, анализ и машинное зрение. PWS Publishing. ISBN  0-534-95393-X.