Внутренний размер - Intrinsic dimension

В областях распознавание образов и машинное обучение, то внутреннее измерение для набора данных можно рассматривать как количество переменных, необходимых для минимального представления данных. Точно так же в обработка сигнала многомерных сигналов внутреннее измерение сигнала описывает, сколько переменных необходимо для создания хорошего приближения сигнала.

Однако при оценке внутренней размерности часто используется несколько более широкое определение, основанное на размерности многообразия, когда представление во внутренней размерности действительно должно существовать только локально. Таким образом, такие методы оценки внутренних измерений могут обрабатывать наборы данных с различными внутренними измерениями в разных частях набора данных.

Внутреннее измерение можно использовать как нижнюю границу того, в какое измерение можно сжать набор данных посредством уменьшения размерности, но его также можно использовать как меру сложности набора данных или сигнала.

Для набора данных или сигнала N переменные, его внутренняя размерность M удовлетворяет 0 ≤ M ≤ N.

пример

Позволять ${ extstyle f(x_{1},x_{2})}$ быть функция двух переменных (или сигнал ) который имеет вид

$${displaystyle f(x_{1},x_{2})=g(x_{1})}$$

для некоторых функция одной переменной г который не постоянный. Это значит, что ж варьируется в зависимости от г, с первой переменной или по первой координировать. С другой стороны, ж постоянна по второй переменной или по второй координате. Необходимо знать только значение одной, а именно первой переменной, чтобы определить значение ж. Следовательно, это функция с двумя переменными, но ее внутренняя размерность равна единице.

Чуть более сложный пример:

$${displaystyle f(x_{1},x_{2})=g(x_{1}+x_{2})}$$

ж по-прежнему является внутренне одномерным, что можно увидеть, сделав преобразование переменных

${displaystyle y_{1}=x_{1}+x_{2}}$

${displaystyle y_{2}=x_{1}-x_{2}}$

который дает

$${displaystyle fleft({frac {y_{1}+y_{2}}{2}},{frac {y_{1}-y_{2}}{2}}ight)=gleft(y_{1}ight)}$$

Поскольку вариация в ж можно описать одной переменной y₁ его внутреннее измерение равно единице.

В случае, если ж постоянна, его внутренняя размерность равна нулю, поскольку для описания вариации не требуется никакой переменной. В общем случае, когда внутренняя размерность функции двух переменных ж нет ни нуля, ни единицы, это два.

В литературе функции, имеющие внутреннюю размерность ноль, единица или два, иногда называют i0D, i1D или i2Dсоответственно.

Формальное определение сигналов

Для N-переменная функция ж, набор переменных можно представить в виде N-мерный вектор Икс:

${displaystyle f=fleft(mathbf {x} ight){ ext{ where }}mathbf {x} =left(x_{1},dots ,x_{N}ight)}$

Если для некоторых M-переменная функция г и M × N матрица А это тот случай, когда

• для всех Икс; ${ extstyle f(mathbf {x} )=g(mathbf {Ax} ),}$
• M - наименьшее число, для которого указанное выше соотношение между ж и г может быть найден,

тогда внутреннее измерение ж является M.

Внутреннее измерение - это характеристика ж, это не однозначная характеристика г ни А. То есть, если указанное выше соотношение выполняется для некоторого ж, г, и А, он также должен быть удовлетворен тем же ж и г' и A ′ данный

${displaystyle g'left(mathbf {y} ight)=gleft(mathbf {By} ight)}$

${displaystyle mathbf {A'} =mathbf {B} ^{-1}mathbf {A} }$

где B неособое M × M матрица, поскольку

$${displaystyle fleft(mathbf {x} ight)=g'left(mathbf {A'x} ight)=gleft(mathbf {BA'x} ight)=gleft(mathbf {Ax} ight)}$$

Преобразование Фурье сигналов малой внутренней размерности

An N переменная функция, имеющая внутреннее измерение M имеет характерную преобразование Фурье. Интуитивно, поскольку этот тип функции является постоянным по одному или нескольким измерениям, его преобразование Фурье должно выглядеть как импульс (преобразование Фурье константы) по той же размерности в частотная область.

Простой пример

Позволять ж быть функцией с двумя переменными, то есть i1D. Это означает, что существует нормализованный вектор ${ extstyle mathbf {n} in mathbb {R} ^{2}}$ и функция одной переменной г такой, что

${displaystyle f(mathbf {x} )=g(mathbf {n} ^{operatorname {T} }mathbf {x} )}$

для всех ${ extstyle mathbf {x} in mathbb {R} ^{2}}$. Если F - преобразование Фурье ж (обе функции с двумя переменными) должно быть так, что

$${displaystyle Fleft(mathbf {u} ight)=Gleft(mathbf {n} ^{mathrm {T} }mathbf {u} ight)cdot delta left(mathbf {m} ^{mathrm {T} }mathbf {u} ight)}$$

Вот г - преобразование Фурье г (обе функции с одной переменной), δ это Импульсная функция Дирака и м нормализованный вектор в ${ extstyle mathbb {R} ^{2}}$ перпендикулярно п. Это значит, что F исчезает везде, кроме линии, проходящей через начало частотной области и параллельной м. Вдоль этой линии F варьируется в зависимости от г.

Общий случай

Позволять ж быть N-переменная функция, имеющая внутреннюю размерность M, то есть существует M-переменная функция г и M × N матрица А такой, что

${ extstyle f(mathbf {x} )=g(mathbf {Ax} )quad forall mathbf {x} .}$

Его преобразование Фурье F можно тогда описать следующим образом:

• F обращается в нуль всюду, кроме подпространства размерности M
• Подпространство M натянуто на строки матрицы А
• В подпространстве F варьируется в зависимости от г преобразование Фурье г

Обобщения

Тип внутреннего измерения, описанный выше, предполагает, что линейное преобразование применяется к координатам N-переменная функция ж производить M переменные, которые необходимы для представления каждого значения ж. Это значит, что ж постоянна вдоль линий, плоскостей или гиперплоскостей, в зависимости от N и M.

В общем случае ж имеет внутреннее измерение M если есть M функции а₁, а₂, ..., а_M и M-переменная функция г такой, что

• ${ extstyle f(mathbf {x} )=gleft(a_{1}(mathbf {x} ),a_{2}(mathbf {x} ),dots ,a_{M}(mathbf {x} )ight)}$для всех Икс
• M - наименьшее количество функций, которое допускает вышеуказанное преобразование

Простой пример - преобразование функции с двумя переменными ж в полярные координаты:

$${displaystyle fleft({frac {y_{1}+y_{2}}{2}},{frac {y_{1}-y_{2}}{2}}ight)=gleft(y_{1}ight)}$$

• ${displaystyle f(x_{1},x_{2})=gleft({sqrt {x_{1}^{2}+x_{2}^{2}}}ight)}$, ж i1D и постоянен вдоль любой окружности с центром в начале координат
• ${displaystyle f(x_{1},x_{2})=gleft(arctan left({frac {x_{2}}{x_{1}}}ight)ight)}$, ж i1D и постоянна на всех лучах из начала координат

В общем случае простое описание либо точечных множеств, для которых ж постоянна или его преобразование Фурье обычно невозможно.

История

В 1950-х годах в США были разработаны методы так называемого «масштабирования». социальные науки для изучения и обобщения многомерных наборов данных.^[1] После того, как Шепард ввел неметрическое многомерное масштабирование в 1962 г.^[2] Одним из основных направлений исследований в области многомерного масштабирования (MDS) была оценка внутренней размерности.^[3] Тема также изучалась в теория информации, впервые примененный Беннетом в 1965 году, который ввел термин «внутреннее измерение» и написал компьютерную программу для его оценки.^[4][5][6]

В течение 1970-х годов были созданы методы оценки внутренней размерности, которые не зависели от уменьшения размерности, такие как MDS: на основе локальных собственных значений.^[7]на основе распределений расстояний,^[8] и на основе других геометрических свойств, зависящих от размеров^[9]

Оценка внутренней размерности множеств и вероятностных мер также широко изучается примерно с 1980 года в области динамических систем, где размерности (странных) аттракторов были предметом интереса.^{[10][11][12][13]} Для странных аттракторов нет предположения о многообразии, и измеряемая размерность является некоторой версией фрактальной размерности, которая также может быть нецелочисленной. Однако определения фрактальной размерности дают многомерное измерение многообразий.

В 2000-х годах «проклятие размерности» было использовано для оценки внутренней размерности.^[14][15]

Приложения

Случай сигнала с двумя переменными, которым является i1D, часто встречается в компьютерное зрение и обработка изображений и отражает идею локальных областей изображения, которые содержат линии или края. Анализ таких регионов имеет долгую историю, но только после того, как началось более формальное и теоретическое рассмотрение таких операций, была установлена ​​концепция внутреннего измерения, хотя название менялось.

Например, концепция, которая здесь упоминается как окрестность изображения внутренней размерности 1 или i1D окрестности называется 1-мерный Кнутссона (1982),^[16] линейный симметричный Авторы Bigün & Granlund (1987)^[17] и простой район в Granlund & Knutsson (1995).^[18]

Смотрите также

• Размер
• Фрактальное измерение
• Хаусдорфово измерение
• Топологическое измерение

использованная литература

1. Торгерсон, Уоррен С. (1978) [1958]. Теория и методы масштабирования. Вайли. ISBN  0471879452. OCLC  256008416.
2. Шепард, Роджер Н. (1962). «Анализ близости: многомерное масштабирование с неизвестной функцией расстояния. I.». Психометрика. 27 (2): 125–140. Дои:10.1007 / BF02289630.
3. Шепард, Роджер Н. (1974). «Представление структуры в данных подобия: проблемы и перспективы». Психометрика. 39 (4): 373–421. Дои:10.1007 / BF02291665.
4. Беннет, Роберт С. (июнь 1965 г.). «Представление и анализ сигналов - Часть XXI: Внутренняя размерность коллекций сигналов». Реп.163. Балтимор, Мэриленд: Университет Джона Хопкинса.
5. Роберт С. Беннетт (1965). Представление и анализ сигналов Часть XXI. Внутренняя размерность коллекций сигналов (PDF) (Кандидат наук). Анн-Арбор, Мичиган: Университет Джона Хопкинса.
6. Беннет, Роберт С. (сентябрь 1969 г.). «Внутренняя размерность коллекций сигналов». IEEE Transactions по теории информации. 15 (5): 517–525. Дои:10.1109 / TIT.1969.1054365.
7. Фукунага, К .; Олсен, Д. Р. (1971). «Алгоритм определения внутренней размерности данных». Транзакции IEEE на компьютерах. 20 (2): 176–183. Дои:10.1109 / T-C.1971.223208.
8. Pettis, K. W .; Бейли, Томас А .; Джайн, Анил К .; Дубс, Ричард С. (1979). «Оценка внутренней размерности на основе информации о ближайшем соседе». IEEE Transactions по анализу шаблонов и машинному анализу. 1 (1): 25–37. Дои:10.1109 / TPAMI.1979.4766873. PMID  21868828.
9. Багажник, Г. В. (1976). «Статистическая оценка внутренней размерности зашумленного набора сигналов». Транзакции IEEE на компьютерах. 100 (2): 165–171. Дои:10.1109 / TC.1976.5009231.
10. Grassberger, P .; Прокачча, И. (1983). «Измерение странностей странных аттракторов». Physica D: нелинейные явления. 9 (1–2): 189–208. Bibcode:1983PhyD .... 9..189G. Дои:10.1016/0167-2789(83)90298-1.
11. Такенс, Ф. (1984). «О численном определении размерности аттрактора». В Тонге, Хауэлл (ред.). Динамические системы и бифуркации, материалы семинара, проведенного в Гронингене, Нидерланды, 16-20 апреля 1984 г.. Конспект лекций по математике. 1125. Springer-Verlag. С. 99–106. Дои:10.1007 / BFb0075637. ISBN  3540394117.
12. Катлер, К. Д. (1993). «Обзор теории и оценки фрактальной размерности». Оценка размеров и модели. Нелинейные временные ряды и хаос. 1. World Scientific. С. 1–107. ISBN  9810213530.
13. Харт, Д. (2001). Мультифракталы - теория и приложения. Чепмен и Холл / CRC. ISBN  9781584881544.
14. Чавес, Э. (2001). «Поиск в метрических пространствах». Опросы ACM Computing. 33 (3): 273–321. Дои:10.1145/502807.502808.
15. Пестов, В. (2008). «Аксиоматический подход к внутреннему измерению набора данных». Нейронные сети. 21 (2–3): 204–213. arXiv:0712.2063. Дои:10.1016 / j.neunet.2007.12.030. PMID  18234471.
16. Кнутссон, Ханс (1982). Фильтрация и реконструкция при обработке изображений (PDF). Линчёпинг изучает науку и технологии. 88. Линчёпингский университет. ISBN  91-7372-595-1. oai: DiVA.org: liu-54890.
17. Бигюн, Йозеф; Гранлунд, Гёста Х. (1987). «Обнаружение оптимальной ориентации линейной симметрии» (PDF). Материалы Международной конференции по компьютерному зрению. С. 433–438.
18. Granlund, Gösta H .; Кнутссон, Ханс (1995). Обработка сигналов в компьютерном зрении. Kluwer Academic. ISBN  978-1-4757-2377-9.

• Майкл Фельсберг; Синан Калкан; Норберт Крюгер (2009). «Непрерывная характеристика размерности структур изображения». Вычисления изображений и зрения. 27 (6): 628–636. Дои:10.1016 / j.imavis.2008.06.018.