Майкл Дж. Блэк - Michael J. Black

Майкл Дж. Блэк
Майкл Дж. Блэк Авторские права MPI-IS.jpg
Майкл Дж. Блэк
Директор Института интеллектуальных систем Макса Планка в Тюбингене, Германия
РодившийсяИюнь 1962 г. (57–58 лет)
Северная Каролина, Соединенные Штаты
Альма-матер
Известен
НаградыПремия Лонге-Хиггинса (2020)
Премия Гельмгольца (2013)
Премия Кендеринка (2010)
Приз Марра, почетное упоминание, ICCV (2005)
Приз Марра, почетное упоминание, ICCV (1999)
Премия IEEE Outstanding Paper Award (1991)
Иностранный член, Шведская королевская академия наук
Научная карьера
Поля
УчрежденияИнститут Макса Планка интеллектуальных систем
Amazon
ТезисНадежный инкрементный оптический поток  (1992)
ДокторантП. Анандан
Докторанты
Интернет сайтпс.является.tuebingen.mpg.de/человек/чернить

Майкл Дж. Блэк американский компьютерный ученый, работающий в Тюбинген, Германия. Он является директором-основателем Институт Макса Планка интеллектуальных систем где он возглавляет отдел систем восприятия в исследованиях в области компьютерного зрения, машинного обучения и компьютерной графики. Он также является заслуженным ученым Amazon и почетным профессором Тюбингенский университет.

Блэк - единственный исследователь в этой области, получивший все три основных приза в области компьютерного зрения, прошедших проверку временем: премию Кендринка 2010 года на Европейской конференции по компьютерному зрению (ECCV), премию Гельмгольца 2013 года на Международной конференции по компьютерному зрению. (ICCV) и премии Лонге-Хиггинса 2020 года на конференции IEEE по компьютерному зрению и распознаванию образов (CVPR).

Исследование

Оптический поток

Тезис Блэка [1] переформулированный оптический поток оценка как робастная M-оценка проблема. Основное наблюдение заключалось в том, что пространственные разрывы движения изображения и нарушения стандартного предположения о постоянстве яркости можно рассматривать как выбросы. Переформулировка классической задачи оптимизации как задачи робастного оценивания дала более точные результаты.

Этот алгоритм оптического потока «Черный и Анандан» широко используется, например, в спецэффектах.[2] Метод был использован для расчета оптического потока для живописных эффектов в Куда приводят мечты и для регистрации 3D-сканов лица в Матрица перезагружена.

Версия этой работы получила награду IEEE Outstanding Paper Award на CVPR 1991 [3] и премии Гельмгольца на ICCV 2013 год за работу, «выдержавшую испытание временем».[4]

Его раннее сосредоточение на статистическом моделировании движения, особенно при разрывах движения, привело к двум другим призовым работам. Его работа с Дэвидом Флитом над «Вероятностным обнаружением и отслеживанием границ движения» была отмечена премией Марра на ICCV '99.[5] Работа Блэка с Стефан Рот Работа «О пространственной статистике оптического потока» получила почетную награду премии Марра на ICCV 2005.[6]

Его работа с Deqing Sun и Стефан Рот на "Секреты оптического потока »Был награжден премией 2020 Премия Лонге-Хиггинса. Премия ежегодно присуждается Техническим комитетом IEEE Pattern Analysis and Machine Intelligence (PAMI) за «Вклад в компьютерное зрение, выдержавшее испытание временем». Документ «Секреты» помог установить состояние дел в этой области и привел к широко используемому алгоритму потока Classic + NL.

Надежная статистика и статистика изображений

Метод «Черного и Анандана» способствовал популяризации надежная статистика в компьютерном зрении. Этому способствовали несколько работ, в которых робастные штрафные функции были связаны с классическими "линейными процессами", используемыми Марковские случайные поля (MRF) в то время. Блэк и Рангараджан [7] охарактеризовал формальные свойства устойчивых функций, которые имеют эквивалентную форму линейного процесса, и предоставил процесс преобразования между этими формулировками (известный теперь как «двойственность Черного-Рангараджана».[8]Блэк и его коллеги применили эти идеи к шумоподавлению изображения,[9] анизотропная диффузия,[10] и анализ главных компонентов (PCA) [11][12]

Надежная формулировка создавалась вручную с использованием небольших пространственных окрестностей. Работа над Fields of Experts со Стефаном Ротом сняла эти ограничения.[13] Они изучили потенциальные функции MRF с большими пространственными кликами, моделируя потенциалы поля как продукт экспертов. Их формулировку можно рассматривать как неглубокую сверточная нейронная сеть.

Многослойная оценка движения

В 1993 году Блэк и Джепсон использовали модели смеси для представления полей оптического потока с множественными движениями [14] (также называемый «слоистым» оптическим потоком). Это ввело использование Максимизация ожиданий (EM) в область компьютерного зрения.

Расшифровка нейронов и нейропротезирование

В 2000-е годы Блэк работал с Джон Донохью и другие на Брауновский университет создать технологию, лежащую в основе BrainGate нервное протезирование технологии. Блэк и его коллеги разработали Байесовские методы к декодировать нейронные сигналы из моторная кора. Команда первой применила Калмана фильтрация [15][16][17] и фильтрация частиц [18] расшифровывать активность моторного кортикального ансамбля. С помощью этих методов байесовского декодирования команда продемонстрировала успешное управление компьютерным курсором человека с параличом в режиме «укажи и щелкни». [19][20] и расшифровка полного движения руки и кисти у нечеловеческих приматов.[21]

Человеческое движение и форма

Блэк наиболее известен своими работами по оценке движения и формы человека. Вместе с Хедвиг Сиденблад и Дэвидом Флитом он представил использование фильтрации частиц для отслеживания трехмерных движений человека.[22] Эта работа была удостоена Премии Кендеринка Кендеринка за фундаментальный вклад в компьютерное зрение на ECCV 2000.

Его текущая работа сосредоточена на моделировании и оценке формы и позы человека по изображениям и видео. Его команда была первой, кто приспособил изученную трехмерную модель человеческого тела к данным многокамерного изображения в CVPR 2007,[23] под одеждой в ECCV 2008,[24] из одного изображения на ICCV 2009,[25] и из RGB-D данные на ICCV 2011.[26]

Его группа создала популярную 3D-модель тела SMPL. [27] (и различные расширения, такие как FLAME [28] для 3D человеческих лиц, MANO [29] для 3D рук и SMPL-X [30], выразительная трехмерная модель тела с руками и лицами) и популярные методы оценки трехмерной формы тела по изображениям.[31][32] SMPL широко используется как в академических кругах, так и в промышленности и был одной из основных технологий, лицензированных Body Labs Inc.

Отличный рендеринг

Лопер и Блэк популяризировали "дифференцируемую визуализацию" [33] который стал важным компонентом самостоятельного обучения нейронных сетей для решения таких задач, как анализ лица. Классические методы анализа путем синтеза формулируют целевую функцию, а затем дифференцируют ее. OpenDR [34] был более общим в том смысле, что он (приблизительно) различал движок графического рендеринга, Автоматическая дифференциация. Это обеспечило основу для постановки задачи прямого синтеза и автоматического получения метода оптимизации для решения обратной задачи.

Наборы данных

Блэк внес свой вклад в несколько важных наборов данных. Набор данных Middlebury Flow стал первым комплексным эталоном для этой области.[35] Набор данных MPI-Sintel Flow продемонстрировал, что синтетические данные достаточно богаты и похожи на реальные данные, чтобы обеспечить строгий тест и быть полезными для изучения оптического потока.[36]

Набор данных HumanEva [37] был первым набором данных с достоверными трехмерными позами людей в соответствии с RGB-видео людей в движении. В подходе использовалось сочетание оптических захвата движения и многокамерный захват видео. Этот набор данных позволил исследователям впервые оценить точность и сравнить производительность.

Что касается позы, формы и активности человека, Блэк внес свой вклад в набор данных SURREAL о человеческих движениях,[38] набор данных JHMDB о человеческих действиях,[39] и набор данных FAUST с трехмерными формами тела.[40] FAUST получил награду за набор данных от Симпозиум Eurographics по обработке геометрии (SGP), 2016.[41]

Занятость

1985–1989: После получения степени бакалавра Блэк перешел в Bay Area и работал инженером-программистом в GTE Government Systems и Advanced Decision Systems (ADS), занимаясь разработкой экспертные системы о ксерокопии и символике Лисп-машины. За это время он получил степень магистра компьютерных наук в области символических и эвристических вычислений в рамках программы совместной работы с отличием в Стэнфорде. Его советник был Джон Маккарти.

1989–1992: В этот период Блэк защитил докторскую диссертацию в Йельском университете и получил стипендию НАСА. Он получил докторскую степень в Исследовательский центр НАСА Эймса в отделе исследования человеческого фактора под руководством Эндрю (Бо) Уотсона. В Йельском университете ему посоветовал П. Анандан и Дрю Макдермотт.

1992–1993: Блэк работал в докторантуре Университет Торонто в качестве доцента информатики (назначение с ограниченным сроком действия контракта). Его курировал Аллан Джепсон. Во время своего пребывания там он получил премию Союза студентов-информатиков за преподавание.

1993-2000: В 1993 году Блэк присоединился к Исследовательский центр Xerox в Пало-Альто (PARC) как член исследовательского персонала. Он работал в области понимания изображений под руководством Даниэль Хаттенлохер. В 1996 году он принял руководство компанией Huttenlocher. Он основал направление анализа цифрового видео в 1998 году.

2000–2011: В 2000 году Блэк поступил на факультет Брауновского университета в качестве адъюнкт-профессора компьютерных наук (со сроком пребывания). В 2004 году он получил звание профессора.

2011 – настоящее время: В 2011 году Блэк стал научным членом Общество Макса Планка и один из директоров-основателей нового MPI для интеллектуальных систем.

2017 – настоящее время: В 2017 году, когда Amazon приобрела Body Labs, Блэк присоединился к Amazon в качестве почетного ученого Amazon на неполную ставку.

Администрация

Помимо соучредителя MPI для интеллектуальных систем, Блэк руководил основанием Международной школы исследований Макса Планка (IMPRS) для интеллектуальных систем.

В 2015 году он выступил с инициативой, которая с тех пор превратилась в Cyber ​​Valley, цель которой - сделать регион Штутгарт-Тюбинген в Германии мировым лидером в области исследований и приложений ИИ. Он входит в состав Исполнительного совета исследовательского консорциума и является его представителем.

Предпринимательство

В 2013 году команда из группы Блэка создала Body Labs, которая коммерциализировала технологию 3D-моделей тела для индустрии одежды и игр. Блэк был соучредителем и инвестором. Body Labs была приобретена Amazon.com в 2017 году.[42]

В 2018 году из его группы вышла компания Meshcapade GmbH. Стартап специализируется на лицензировании технологий, разработанных в MPI-IS, и предоставлении услуг.[43]

Рекомендации

  1. ^ Блэк, М.Дж. (1992). «Надежный инкрементный оптический поток». Йельский университет, факультет компьютерных наук.
  2. ^ «Искусство оптического потока, руководство по FX». 2006-02-28. В архиве из оригинала на 2020-01-16. Получено 2 марта 2020.
  3. ^ Блэк, M.J .; Анандан, П. (июнь 1991 г.). «Надежная оценка динамического движения с течением времени». IEEE Conf. по компьютерному зрению и распознаванию образов (CVPR). CVPR. Мауи, Гавайи. С. 296–302. Черный: CVPR: 1991.
  4. ^ Блэк, M.J .; Анандан, П. (май 1993 г.). «Основа для робастной оценки оптического потока». Int. Конф. по компьютерному зрению (ICCV). ICCV. Берлин, Германия. С. 231–236. Черный: ICCV: 1993.
  5. ^ Блэк, M.J .; Флит, Д.Дж. (Сентябрь 1999 г.). «Вероятностное обнаружение и отслеживание неоднородностей движения». Int. Конф. по компьютерному зрению (ICCV). ICCV. Корфу, Греция: ICCV. С. 551–558. Черный: ICCV: 1999.
  6. ^ Roth, R .; Блэк, М.Дж. (2005). «О пространственной статистике оптического потока». Int. Конф. по компьютерному зрению (ICCV). ICCV. С. 42–49. Рот: ICCV: 05.
  7. ^ Блэк, M.J .; Рангараджан, А. (июль 1996 г.). «Об объединении линейных процессов, отклонении выбросов и надежной статистике с приложениями в раннем видении». Международный журнал компьютерного зрения (IJCV). 19: 57–92. CiteSeerX  10.1.1.75.6656. Дои:10.1007 / BF00131148.
  8. ^ Бэррон, Джонатан Т. (2017). «Общая и адаптивная надежная функция потерь». arXiv:1701.03077. Bibcode:2017arXiv170103077B. Цитировать журнал требует | журнал = (помощь)
  9. ^ Блэк, M.J .; Рангараджан, А. (1996). «Об объединении линейных процессов, отклонении выбросов и надежной статистике с приложениями в раннем видении». Международный журнал компьютерного зрения. 19: 57–92.
  10. ^ Блэк, M.J .; Sapiro, G .; Marimont, D .; Хигер, Д. (март 1998 г.). «Устойчивая анизотропная диффузия». IEEE Transactions по обработке изображений. 7 (3): 421–432. Bibcode:1998ITIP .... 7..421B. Дои:10.1109/83.661192. PMID  18276262.
  11. ^ Де ла Торре, Ф .; Блэк, М.Дж. (2001). «Надежный анализ главных компонентов для компьютерного зрения». Int. Конф. по компьютерному зрению (ICCV). ICCV. Ванкувер, Британская Колумбия, США. С. 362–369. Торре: ICCV: 2001.
  12. ^ Блэк, M.J .; Джепсон, А. (1998). «EigenTracking: надежное сопоставление и отслеживание сочлененных объектов с использованием представления на основе вида». Международный журнал компьютерного зрения (IJCV). 26: 63–84. Дои:10.1023 / А: 1007939232436.
  13. ^ Roth, S .; Блэк, М.Дж. (апрель 2009 г.). «Поля знатоков». Международный журнал компьютерного зрения (IJCV). 82 (2): 205–29. Дои:10.1007 / s11263-008-0197-6.
  14. ^ Jepson, A .; Блэк, М.Дж. (июнь 1992 г.). «Смесительные модели для расчета оптического потока». IEEE Conf. по компьютерному зрению и распознаванию образов (CVPR). CVPR. Нью-Йорк, штат Нью-Йорк. С. 760–761. Черный: IEEE: 1993.
  15. ^ Wu, W .; Блэк, M.J .; Gao, y .; Bienenstock, E .; Серруя, М .; Shaikhouni, A .; Донохью, Дж. П. (2003). «Нейронное декодирование движения курсора с использованием фильтра Калмана». Достижения в системах обработки нейронной информации 15 (NIPS). MIT Press. С. 133–140. Черный: АНИПС: 2003.
  16. ^ Wu, W .; Gao, Y .; Bienenstock, E .; Donoghue, J.P .; Блэк, М.Дж. (2006). «Байесовская популяционная расшифровка моторной корковой активности с использованием фильтра Калмана». Нейронные вычисления. 18: 80–118. CiteSeerX  10.1.1.218.2370. Дои:10.1162/089976606774841585. PMID  16354382.
  17. ^ Kim, S.-P .; Simeral, J .; Hochberg, L .; Donoghue, J.P .; Блэк, М.Дж. (2008). «Нейронный контроль скорости компьютерного курсора путем декодирования пиковой активности моторной коры у людей с тетраплегией». Дж. Нейронная инженерия. 5 (4): 455–476. Bibcode:2008JNEng ... 5..455K. Дои:10.1088/1741-2560/5/4/010. ЧВК  2911243. PMID  19015583.
  18. ^ Gao, Y .; Блэк, M.J .; Bienenstock, E .; Shoham, S .; Донохью, Дж. (2002). «Вероятностный вывод движения руки из нервной активности в моторной коре». Достижения в системах обработки нейронной информации 14 (NIPS). НИПС. MIT Press. С. 221–228. Черный: АНИПС: 2002.
  19. ^ Kim, S.-P .; Simeral, J .; Hochberg, L .; Donoghue, J.P .; Friehs, G.M .; Блэк, М.Дж. (апрель 2011 г.). «Управление курсором с помощью мыши с помощью системы интракортикального нейронного интерфейса людьми с тетраплегией». IEEE Transactions по нейронным системам и реабилитационной инженерии. 19 (2): 193–203. Дои:10.1109 / TNSRE.2011.2107750. PMID  21278024.
  20. ^ Simeral, J.D .; Kim, S.-P .; Блэк, M.J .; Donoghue, J.P .; Хохберг, Л. (2011). «Нейронный контроль траектории курсора и щелчка у человека с тетраплегией через 1000 дней после имплантации внутрикортикальной матрицы микроэлектродов». Дж. Нейронной инженерии. 8 (2): 025027. Bibcode:2011JNEng ... 8b5027S. Дои:10.1088/1741-2560/8/2/025027. ЧВК  3715131. PMID  21436513.
  21. ^ Vargas-Irwin, C.E .; Шахнарович, Г .; Yadollahpour, P .; Mislow, J.M.K .; Блэк, M.J .; Донохью, Дж. П. (июль 2010 г.). «Расшифровка действий полного охвата и схватывания местных популяций первичной моторной коры». Журнал неврологии. 39 (29): 9659–9669. Дои:10.1523 / JNEUROSCI.5443-09.2010. ЧВК  2921895. PMID  20660249.
  22. ^ Sidenbladh, H .; Блэк, M.J .; Флит, Д.Дж. (Июнь 2000 г.). «Стохастическое отслеживание трехмерных человеческих фигур с использованием движения двухмерных изображений». Европейская конференция по компьютерному зрению (ECCV). ECCV. Дублин, Ирландия: Springer Verlag. С. 702–718. Черный: ECCV: 2000.
  23. ^ Balan, A .; Блэк, M.J .; Дэвис, Дж .; Хаусеккер, Х. (июнь 2007 г.). «Детализированная форма человека и поза из изображений». IEEE Conf. по компьютерному зрению и распознаванию образов (CVPR). CVPR. Миннеаполис. С. 1–8. Балан: CVPR: 2007.
  24. ^ Балан, А; Блэк, М.Дж. (октябрь 2008 г.). «Голая правда: оценка формы тела под одеждой». Европейская конф. по компьютерному зрению (ECCV). ECCV. Марсель, Франция: Springer-Verlag. С. 15–29. Балан: ECCV.
  25. ^ Guan, P .; Weiss, A .; Balan, A .; Блэк, М.Дж. (2009). «Оценка формы и позы человека по одному изображению». Int. Конф. по компьютерному зрению (ICCV). ICCV. С. 1381–1388. Гуань: ICCV: 2009.
  26. ^ Weiss, A .; Хиршберг, Д; Блэк, М.Дж. (ноябрь 2011 г.). "Домашние 3D-сканы тела по зашумленному изображению и данным диапазона". Int. Конф. по компьютерному зрению (ICCV). ICCV. Барселона: IEEE. С. 1951–1958. Вайс: ICCV: 11.
  27. ^ Лопер, М .; Mahmood, N .; Romero, J .; Pons-Moll, G .; Блэк, М.Дж. (октябрь 2017 г.). «SMPL: многопользовательская линейная модель со скелетом». ACM Trans. Графика (Proc. SIGGRAPH Asia). 34: 248:1–248:16. Дои:10.1145/2816795.2818013.
  28. ^ Li, T .; Болкарт, Т .; Блэк, M.J .; Li, H .; Ромеро, Дж. (2017). «Изучение модели формы и выражения лица на основе 4D-сканирования». ACM Trans. Графика (Proc. SIGGRAPH Asia). 36: 194:1–194:17. Дои:10.1145/3130800.3130813.
  29. ^ Romero, J .; Ционас, Д .; Блэк, М.Дж. (2017). «Воплощенные руки: моделирование и объединение рук и тел». ACM Trans. Графика (Proc. SIGGRAPH Asia). 36: 245:1--245:17. Дои:10.1145/3130800.3130883.
  30. ^ Павлакос, Г .; Choutas, V .; Ghorbani, N .; Болкарт, Т .; Osman, A.A.A .; Ционас, Д .; Блэк, М.Дж. (2019). «Выразительный захват тела: 3D руки, лицо и тело из одного изображения». 36: 10975–10985. Цитировать журнал требует | журнал = (помощь)
  31. ^ Bogo, F .; Канадзава, А .; Lassner, C .; Gehler, P .; Romero, J .; Блэк, М.Дж. (октябрь 2016 г.). "Keep it SMPL: автоматическая оценка позы и формы человека в 3D на основе одного изображения". Европейская конф. по компьютерному зрению (ECCV). ECCV. Амстердам, Нидерланды: Springer International Publishing. С. 561–578. Лого: ECCV: 2016.
  32. ^ Канадзава, А .; Блэк, M.J .; Джейкобс, Д.В.; Малик, Дж. (2018). «Сквозное восстановление формы и позы человека». IEEE Conf. по компьютерному зрению и распознаванию образов (CVPR). CVPR. Солт-Лейк-Сити, США: Компьютерное общество IEEE. С. 7122–7131. Канадзава: CVPR: 2018.
  33. ^ Лопер, М .; Блэк, М.Дж. (сентябрь 2014 г.). «OpenDR: приблизительный дифференцируемый модуль визуализации». Европейская конф. по компьютерному зрению (ECCV). ECCV. Цюрих, Швейцария: Springer International Publishing. С. 154–169. Лопер: ECCV: 2014.
  34. ^ «Открытый дифференцируемый рендерер». 2020-02-16. В архиве из оригинала на 24.07.2017. Получено 2 марта 2020.
  35. ^ «База данных и методология оценки оптического потока». В архиве из оригинала на 2019-07-27. Получено 2 марта 2020.
  36. ^ "Набор данных MPI Sintel Flow". В архиве из оригинала на 2019-07-29. Получено 2 марта 2020.
  37. ^ "Набор данных HumanEva". В архиве из оригинала на 2019-09-10. Получено 2 марта 2020.
  38. ^ "SURREAL Dataset". В архиве из оригинала на 2020-01-16. Получено 2 марта 2020.
  39. ^ «Совместно аннотированная база данных по движению человека». В архиве из оригинала на 2019-07-24. Получено 2 марта 2020.
  40. ^ "Набор данных MPI FAUST". В архиве из оригинала на 2019-08-11. Получено 2 марта 2020.
  41. ^ «Премиальные программы обработки геометрии». В архиве из оригинала от 29.07.2014. Получено 2 марта 2020.
  42. ^ «Amazon приобрела стартап по созданию трехмерных моделей тела Body Labs за 50-70 миллионов долларов». В архиве из оригинала на 17.12.2019. Получено 2 марта 2020.
  43. ^ «Мешкападе». В архиве из оригинала на 2020-01-16. Получено 2 марта 2020.

внешняя ссылка