Цифровой композитинг - Digital compositing - Wikipedia

Четыре изображения собраны в одно окончательное изображение

Цифровой композитинг это процесс цифровой сборки нескольких изображений для создания окончательного изображения, обычно для печати, кинофильмы или экранный дисплей. Это цифровой аналог оптической пленки. композитинг.

Математика

Основная операция, используемая в цифровом композитинге, известна как 'альфа-смешение ', где значение непрозрачности' α 'используется для управления пропорциями двух входных пиксель значения, которые в итоге образуют один выходной пиксель.

В качестве простого примера предположим, что доступны два изображения одинакового размера, и их нужно объединить. Входные изображения называются изображением переднего плана и фоновым изображением. Каждое изображение состоит из одинакового количества пиксели. Композиция выполняется путем математического объединения информации из соответствующих пикселей двух входных изображений и записи результата в третье изображение, которое называется составным изображением.

Рассмотрим три пикселя;

  • пиксель переднего плана, f
  • фоновый пиксель, b
  • составной пиксель, c

и

  • α, значение непрозрачности пикселя переднего плана. (α = 1 для непрозрачного переднего плана, α = 0 для полностью прозрачного переднего плана). Монохромное растровое изображение, в котором значения пикселей должны интерпретироваться как значения альфа, известно как матовый.

Затем, учитывая все три цветовых канала и предполагая, что цветовые каналы выражены в цветовом пространстве γ = 1 (то есть измеренные значения пропорциональны интенсивности света), мы имеем:

cр = α fр + (1 - α) Ьр
cграмм = α fграмм + (1 - α) Ьграмм
cб = α fб + (1 - α) Ьб

Обратите внимание, что если операции выполняются в цветовом пространстве, где γ не равно 1, тогда операция приведет к нелинейным эффектам, которые потенциально можно рассматривать как сглаживание артефакты (или 'неровности ') по острым краям в матовой. В более общем смысле, нелинейный композитинг может иметь эффекты, такие как «ореолы» вокруг составных объектов, потому что влияние альфа-канала нелинейно. Художник-композитор может компенсировать эффекты композитинга в нелинейном пространстве.

Выполнение альфа-смешивания - дорогостоящая операция, если она выполняется для всего изображения или 3D-сцены. Если эта операция должна выполняться в видеоиграх в реальном времени, есть простой способ повысить производительность.

cиз = α fв + (1 - α) Ьв
cиз = α fв + bв - α бв
cиз = bв + α (fв - бв)

Просто переписав математическое выражение, можно сэкономить 50% необходимых умножений.

Алгебраические свойства

Когда необходимо объединить несколько частично прозрачных слоев вместе, стоит рассмотреть алгебраические свойства используемых операторов композиции. В частности, ассоциативность и коммутативность определяют, когда можно или нельзя избежать повторных вычислений.

Рассмотрим случай, когда у нас есть четыре слоя для смешивания для создания окончательного изображения: F = A * (B * (C * D)), где A, B, C, D - частично прозрачные слои изображения, а «*» обозначает оператор композитинга. (с левым слоем поверх правого). Если изменяется только слой C, мы должны найти способ избежать повторного смешивания всех слоев при вычислении F. Без каких-либо особых соображений потребуется четыре смешивания полного изображения. Для операторов композиции, которые коммутативный, Такие как аддитивное смешение, можно безопасно изменить порядок операций смешивания. В этом случае мы могли бы вычислить T = A * (B * D) только один раз и просто смешать T * C для получения F, одной операции. К сожалению, большинство операторов не коммутативны. Однако многие ассоциативный, предполагая, что можно безопасно перегруппировать операции в F = (A * B) * (C * D), то есть без изменения их порядка. В этом случае мы можем вычислить S: = A * B один раз и сохранить этот результат. Чтобы сформировать F с помощью ассоциативного оператора, нам нужно выполнить только две дополнительные операции компоновки, чтобы интегрировать новый слой S, вычислив F: = S * (C * D). Обратите внимание, что это выражение указывает на композицию C со всеми нижележащими слоями на одном этапе, а затем на смешивание всех слоев поверх него с предыдущим результатом для создания окончательного изображения на втором этапе.

Если все слои изображения меняются регулярно, но многие слои все еще необходимо объединить (например, в распределенный рендеринг ), коммутативность оператора композиции все еще может быть использована для ускорения вычислений за счет параллелизм даже если предварительное вычисление не дает никакой выгоды. Снова рассмотрим изображение F = A * (B * (C * D)). Каждая операция компоновки в этом выражении зависит от следующей, что приводит к последовательному вычислению. Однако ассоциативность может позволить нам переписать F = (A * B) * (C * D), где явно есть две операции, которые не зависят друг от друга, которые могут выполняться параллельно. В общем, мы можем построить дерево операций попарного наложения с высотой, логарифмической по количеству слоев.

Программного обеспечения

Наиболее исторически значимой системой нелинейного композитинга была Cineon, который работает в логарифмическом цветовом пространстве, которое более точно имитирует естественный световой отклик пленочных эмульсий (система Cineon, производимая Kodak, больше не производится). Из-за ограничений скорости обработки и памяти художники-композиторы обычно не могли позволить себе позволить системе выполнять промежуточные преобразования в линейное пространство для этапов композитинга. Со временем ограничения стали гораздо менее значительными, и теперь большая часть композитинга выполняется в линейном цветовом пространстве, даже в тех случаях, когда исходное изображение находится в логарифмическом цветовом пространстве.

Композиция часто также включает масштабирование, ретуширование и цветокоррекцию изображений.

Композиция на основе узлов и слоев

Существует два радикально разных рабочих процесса цифрового композитинга: композитинг на основе узлов и композитинг на основе слоев.

Композиция на основе узлов представляет собой всю композицию как ориентированный ациклический граф, связывание медиа-объектов и эффектов в процедурной карте, интуитивно понятное отображение перехода от исходного ввода к окончательному выводу, и фактически это способ, которым все приложения для композитинга внутренне обрабатывают композиты. Этот тип интерфейса компоновки обеспечивает большую гибкость, включая возможность изменять параметры более раннего этапа обработки изображения «в контексте» (при просмотре финального составной ). Пакеты композитинга на основе узлов часто плохо справляются с ключевыми кадрами и временными эффектами, поскольку их рабочий процесс не зависит непосредственно от временной шкалы, как это делают пакеты композитинга на основе слоев. Программное обеспечение, которое включает интерфейс на основе узлов, включает: Натрон, Яблочный коктейль, Блендер, Blackmagic Fusion, и Ядерная бомба литейной.

Композиция на основе слоев представляет каждый мультимедийный объект в композиции как отдельный слой на временной шкале, каждый со своими временными границами, эффектами и ключевыми кадрами. Все слои уложены один над другим в любом желаемом порядке; а нижний слой обычно оказано в качестве основы для результирующего изображения, причем каждый более высокий слой постепенно визуализируется поверх ранее составленных слоев, перемещаясь вверх, пока все слои не будут визуализированы в окончательный композит. Послойный композитинг очень хорошо подходит для быстрого 2D и ограниченный 3D эффекты, такие как анимированная графика, но становится неудобным для более сложных композитов, влекущих за собой многочисленные слои. Частичным решением этой проблемы является возможность некоторых программ просматривать составной порядок элементов (таких как изображения, эффекты или другие атрибуты) с помощью визуальной диаграммы, называемой блок-схема для вложения композиций или «композиций» непосредственно в другие композиции, тем самым добавляя сложность к порядку рендеринга, сначала составляя слои в начальной композиции, а затем комбинируя полученный имоме.

Смотрите также

дальнейшее чтение

  • Манси Шарма; Сантану Чаудхури; Бреджеш Лалл (2014). Бесшовный стереоскопический 3D-композитинг с учетом содержимого. Труды Индийской конференции 2014 года по графике компьютерного зрения и обработке изображений, ACM New York, NY, USA. Дои:10.1145/2683483.2683555.
  • Т. Портер и Т. Дафф, "Составление цифровых изображений", Труды СИГГРАФ '84, 18 (1984).
  • Искусство и наука цифрового композитинга (ISBN  0-12-133960-2)