Камера светового поля: Пленоптическая камера — Википедия – Lytro Illum — новое поколение камер светового поля

Содержание

Пленоптическая камера — Википедия

Пленоптическая камера Lytro

Пленопти́ческая ка́мера (от лат. plenus, полный + др.-греч. ὀπτικός, зрительный ^[1]), также ка́мера светово́го по́ля — цифровой фотоаппарат или цифровая видеокамера, фиксирующие не распределение освещённости в плоскости действительного изображения объектива, а создаваемое им векторное поле световых лучей (световое поле). На основе картины светового поля может быть воссоздана наиболее полная информация об изображении, пригодная для создания стереоизображения, фотографий с регулируемыми глубиной резкости и фокусировкой, а также для решения различных задач компьютерной графики.

Пример изменения дистанции фокусировки на готовом снимке

Впервые регистрация светового поля с помощью микролинзового растра предложена в 1908 году Габриэлем Липпманом^[2]. Интегральная фотография таким способом записывает свет, отражённый непосредственно от снимаемых объектов, обеспечивая многоракурсное объёмное изображение. Из-за сложностей получения ортоскопического изображения и появления голографии с аналогичными возможностями, технология не получила практического применения^[3].

В 1992 году Эдельсон и Ван расположили микролинзовый растр в фокальной плоскости обычного объектива, регистрируя световое поле в пространстве его изображений. Камера с таким устройством получила название «пленоптической», осуществив замысел авторов по созданию стереопар единственным объективом и решению проблемы параллактического несоответствия краёв снимка

[4]. Технология стала возможна благодаря появлению цифровой фотографии, преобразующей изображение за микролинзовым растром непосредственно в данные для вычисления параметров светового поля^[5].

ПЗС-матрица находится позади растра и каждый микрообъектив строит на её поверхности элементарное изображение выходного зрачка объектива. Из-за разницы ракурсов, элементарные изображения в разных частях кадра отличаются друг от друга, неся информацию об объёме снимаемых объектов и о направлении световых пучков. При дешифровке полученной совокупности изображений создаётся виртуальная векторная модель светового поля, описывающая направление и интенсивность световых пучков в пространстве изображений объектива

[6]. В результате на основе этой модели может быть воссоздана картина распределения освещённости в любой из сопряжённых фокальных плоскостей^[7].

Перефокусировка изображения[править | править код]

Таким образом, кроме задач, непосредственно поставленных разработчиками, пленоптическая камера оказалась пригодной в совершенно неожиданном качестве, позволяя осуществлять точную фокусировку на уже готовых снимках. Для этого при дешифровке достаточно задать положение сопряжённой фокальной плоскости, в которой требуется вычислить распределение освещённости

[8].

Более того, сложение нескольких вариантов дешифровки одного и того же снимка, «сфокусированных» на разные дистанции, позволяет получать снимки с «бесконечной» глубиной резкости при полностью открытой диафрагме^[5]. Впервые «перефокусировка» готовой фотографии осуществлена в 2004 году командой из Стэнфордского университета. Для этого была использована 16 мегапиксельная камера с массивом из 90 000 микролинз. Элементарные изображения каждой микролинзы регистрировались с разрешением около 177 пикселей. Разрешение итогового изображения соответствовало количеству микролинз и составило 90 килопикселей^[7].

Главный недостаток такой системы — низкое разрешение итогового снимка, зависящее не от характеристик матрицы, а от количества микролинз в растре

[9]. Из-за этих особенностей разрешающая способность камер светового поля описывается не в мегапикселях, а в «мегалучах»^[10]. Более дешёвая конструкция предусматривает использование вместо массива микролинз теневого растра, состоящего из отверстий. Каждое из них работает, как камера-обскура, создавая элементарное изображение выходного зрачка со своего ракурса. Растровая маска исключает артефакты, получаемые из-за аберраций линзового растра, но снижает светосилу всей системы.

В современной практической фотографии использование камеры светового поля нецелесообразно, поскольку существующие образцы значительно уступают обычным цифровым фотоаппаратам в разрешающей способности и функциональности. Так, для получения конечного изображения разрешением всего 1 мегапиксель требуется фотоматрица, содержащая как минимум 10 мегапикселей

[8]. При этом, реализация сквозного электронного видоискателя сопряжена с большими сложностями из-за необходимости дешифровки получаемого массива данных в реальном времени. Из-за особенностей технологии съёмка всегда ведётся при максимальном относительном отверстии объектива, исключая регулировку экспозиции при помощи диафрагмы. Существующие классические цифровые фотоаппараты оснащаются эффективным автофокусом, дающим резкие снимки при любых скоростях съёмки и более высоком качестве изображения.

В то же время пленоптические камеры отлично подходят для прикладных задач, таких как слежение за движущимися объектами^[11]. Записи с камер безопасности, основанных на этой технологии, в случае каких-либо происшествий могут быть использованы для создания информативных 3D-моделей подозреваемых^[12]^[13]. Дальнейшее совершенствование технологии может сделать её пригодной для цифрового 3D-кинематографа, поскольку исключает параллактическое несоответствие краёв кадра, и даёт возможность выбирать плоскость фокусировки на готовом изображении, упрощая работу фокус-пуллера.

Лабораторией компьютерной графики Стэнфордского Университета разработан цифровой микроскоп, работающий по аналогичному принципу с линзовым растром. В микрофотографии возможность регулировки глубины резкости позволяет создавать чёткие изображения без снижения апертуры. Технология уже используется в микроскопах серии «Eclipse» компании Nikon

[5].

В 2005 году студентами Стэнфордского университета на основе зеркального фотоаппарата «Contax 645» была создана камера, работающая по таким принципам. Перед матрицей цифрового задника была установлена пленоптическая насадка, состоящая из множества микролинз^[14]. Исследователь фотографии светового поля Рен Энджи (англ. Ren Ng) на основе этой работы написал диссертацию, а в 2006 году основал проект Lytro

[8] (первоначальное название Refocus Imaging),

чтобы к концу 2011 года создать конкурентоспособную камеру [светового поля], доступную по цене для потребителя, которая умещалась бы в кармане.

В 2011 году при поддержке Стива Джобса компания объявила о приеме заказов на разработанную ею камеру, которая стала доступна в продаже в октябре того же года. При разрешающей способности 11 мегалучей камера обеспечивала физическое разрешение 1080×1080 пикселей

[14].

Электротехнической лабораторией компании Mitsubishi разработана камера светового поля «MERL», основанная на принципе оптического гетеродина и растровой маски, расположенной перед фотоматрицей. Любой среднеформатный цифровой задник может быть трансформирован в пленоптический простой установкой такой маски перед штатным сенсором^[15]. При этом из-за принципиальных отличий маски от линзового растра удаётся избежать снижения разрешающей способности.

Компания Adobe Systems разработала альтернативный проект камеры, работающей на иных принципах. Устройство снимает на 100-мегапиксельную матрицу одновременно через 19 объективов, сфокусированных на различные дистанции. В результате на 19 участках матрицы размером 5,2 мегапикселей каждая, получаются отдельные изображения объекта съёмки с разной фокусировкой. Дальнейшая обработка массива данных позволяет выбрать изображение с нужной фокусировкой или совместить разные для расширения глубины резкости

[16]. Более того, система позволяет создавать трёхмерные фотографии, абсолютно резко отображающие объекты, находящиеся на любых расстояниях, комбинируя резкие участки разных «слоёв» снимка. Компания Nokia инвестирует в разработку миниатюрной пленоптической камеры с линзовым растром из 16 ячеек^[17].

В апреле 2016 года анонсирован выпуск цифровой кинокамеры «Lytro Cinema» с физическим разрешением матрицы 755 мегапикселей

[18]^[19]. Разработчики утверждают, что новая камера стоимостью 125 тысяч долларов избавляет от необходимости использования технологий блуждающей маски и хромакея, поскольку возможно послойное разделение изображений, находящихся на разных расстояниях от камеры^[20]. Кроме того, снятые камерой видеоданные формата lpf пригодны для создания как «плоских» кинокартин 2D, так и стереофильмов 3D. Главным достоинством «Lytro Cinema» считается возможность отказа от профессии фокус-пуллера, неустранимые ошибки которого неизбежны при любой квалификации. Фокусировка на сюжетно важные объекты съёмки может быть выполнена на уже отснятом материале с высокой точностью и произвольной скоростью перевода^[21]^[22].

↑ Definition of plenoptic
↑ Техника объёмной фотографии, 1978, с. 36.
↑ Техника объёмной фотографии, 1978, с. 43.
↑ E. H. Adelson и J. Y. A. Wang: Стереоснимок одной линзой при помощи пленоптической камеры. IEEE Transactions on Pattern Analysis and Machine Intelligence, Том 14, № 2, pp. 99-106, Февраль 1992 года. (англ.)
↑ ¹ ² ³ Александр Сергеев. От мегапикселей к мегалучам (рус.). журнал «Наука в фокусе» (2012). Дата обращения 17 июля 2019.
↑ MediaVision, 2012, с. 71.
↑ ¹ ² R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz, and P. Hanrahan. Light Field Photography with a Hand-Held Plenoptic Camera. Stanford University Computer Science Tech Report CSTR 2005-02, Апрель 2005 года. (англ.)
↑ ¹ ² ³ Владимир Родионов. Работа с файлами (рус.). Камера Lytro. iXBT.com (7 сентября 2012). Дата обращения 5 июля 2014.
↑ Publications on Lightffields (англ.). Todor Georgiev. Дата обращения 5 июля 2014.
↑ Lytro Camera: первая в мире коммерческая пленоптическая фотокамера (рус.). Новости. ITC (20 октября 2011). Дата обращения 5 июля 2014.
↑ «Полидиоптрические» камеры Архивная копия от 17 июня 2011 на Wayback Machine отлично подходят для слежения за движущимися объектами. (англ.)
↑ Учёные в области компьютерных технологий создали «камеру светового поля», которая исключает создание нечётких фотографий. Энн Стрехлов (англ. Anne Strehlow). Отчёт Стэнфордского института. 3 Ноября 2005 года. (англ.)
↑ Олег Нечай. Что будет после 3D: пленоптическое видео (рус.). журнал «Компьютерра» (11 апреля 2013). Дата обращения 12 июля 2019.
↑ ¹ ² MediaVision, 2012, с. 72.
↑ Lytro vs Mask Based Light Field Camera (англ.) (недоступная ссылка). Unimacs. Дата обращения 5 июля 2014. Архивировано 31 декабря 2013 года.
↑ Jonathon Keats. The sharpest shooting camera (англ.). How It Works. Popular Science. Дата обращения 8 июля 2014. Архивировано 17 января 2008 года.
↑ Sharif Sakr. Pelican Imaging’s 16-lens array camera coming to smartphones next year (англ.). News. Engadget. Дата обращения 5 июля 2014.
↑ Lytro Cinema — камера светового поля стоимостью 125 000 долларов, предназначенная для кинокомпаний (рус.). iXBT.com (13 апреля 2016). Дата обращения 11 июня 2017.
↑ LYTRO BRINGS REVOLUTIONARY LIGHT FIELD TECHNOLOGY TO FILM AND TV PRODUCTION WITH LYTRO CINEMA (англ.) (недоступная ссылка). Пресс-релиз. Lytro. Дата обращения 11 июня 2017. Архивировано 20 декабря 2016 года.
↑ THE ULTIMATE CREATIVE TOOL FOR CINEMA AND BROADCAST (англ.) (недоступная ссылка). Lytro. Дата обращения 11 июня 2017. Архивировано 17 мая 2017 года.
↑ MediaVision, 2016, с. 39.
↑ Rishi Sanyal, Jeff Keller. Change of focus: 755 MP Lytro Cinema camera enables 300 fps light field video (англ.). DPReview (11 April 2016). Дата обращения 11 июня 2017.

В. И. Власенко. Глава III. Интегральная фотография // Техника объёмной фотографии / А. Б. Долецкая. — М.: «Искусство», 1978. — С. 36—66. — 102 с. — 50 000 экз.

Алекс Мастер. Камера Lytro Cinema (рус.) // «MediaVision» : журнал. — 2016. — № 5. — С. 37—39.

3D Light Field Camera Technology (англ.). Производитель пленоптических камер Raytrix GmgH. Дата обращения 1 марта 2015.

пленоптика вчера, сегодня и завтра / Habr

Какое-то время назад автору довелось читать лекцию во ВГИК, и в аудитории было много людей с операторского факультета. Аудитории был задан вопрос: «С каким максимальным разрешением вы снимали?», и дальше выяснилось, что примерно треть снимала 4К или 8 мегапикселей, остальные — не более 2К или 2 мегапикселя. Это был вызов! Мне предстояло рассказать про камеру с разрешением 755 мегапикселей (raw разрешением, если быть точным, поскольку конечное у нее 4К) и какие феерические возможности это дает для профессиональной съемки.

Сама камера выглядит так (этакий маленький слоник):

Причем, открою страшную тайну, чтобы сделать этот снимок искали ракурс получше и человека покрупнее. Мне доводилось щупать эту камеру вживую, скажу, что она выглядит намного крупнее. Снимок ниже с Йоном Карафином, с которым мы примерно одного роста, более точно передает масштабы бедствия:

Кому интересны принципиально возможности вычисляемого видео о которых редко пишут — вся правда под катом! )

Дискуссии на тему возможностей пленоптики напоминают мне дискуссии касательно первых самолетов:

Что говорили люди:
— Оно требует больших затрат…
— ДА!
— Оно совершенно непрактично и сейчас не окупается…
— ДА!
— Оно опасно в использовании…
— Черт возьми, ДА!
— Оно убого выглядит!
— Блин, ДА, но оно ЛЕТАЕТ, понимаете, ЛЕ-ТА-ЕТ!!!

Через 50 лет эти эксперименты породили принципиально новый, удобный и достаточно безопасный способ перемещения через океаны (и не только).

Здесь та же ситуация. Абсолютно та же! Сейчас оно требует неразумных затрат, чертовски неудобно в использовании и убого выглядит, но оно реально УЖЕ ЛЕТАЕТ! И осознавать принципы и открывающиеся перспективы — это просто запредельно вдохновляет (по крайней мере вашего покорного слугу)!

Монстр на фото выше чем-то напоминает первые телекамеры, которые также были крупными, с огромным объективом, и вращались на специальной станине:

Источник: Телесъемка олимпиады в 1936 году на самой заре телевидения

Здесь многое выглядит похоже, тоже огромный объектив (ибо также не хватает света), тяжеленная камера на специальном подвесе, огромные размеры:

Источник: Lytro poised to forever change filmmaking

Из интересного: «чемоданчик» внизу — это система жидкостного охлаждения, при отказе которой камера не может снимать дальше.

Большой прямоугольник под объективом (хорошо виден на первом фото выше) — это не подсветка, а лидар — лазерный дальномер, обеспечивающий съемку трехмерной сцены перед камерой.

Толстый черный жгут внизу слева на заднем плане — это моток оптоволоконных кабелей примерно 4 сантиметра диаметром, по которым камера отдает чудовищный поток информации в специальное хранилище.

Те, кто в теме, уже узнали Lytro Cinema, коих было создано 3 штуки. Первую, которая обычно фигурирует на всех снимках, легко узнать по одному лидару под объективом. Через 1.5 года была создана вторая камера с исправленными конструктивными проблемами первой и двумя лидарами (и о ней, увы, почти не пишут). Причем прогресс в развитии, например, лидаров за 1.5 года был настолько велик, что два лидара второй камеры давали в 10 раз больше точек, чем один лидар первой. Третья камера должна была обладать примерно теми же характеристиками по разрешению (чтобы удовлетворять требованиям киношников), но быть вдвое меньшего размера (что критично для практического использования). Но… но об этом дальше.

В любом случае всячески признавая выдающуюся роль, которую компания Lytro сыграла в популяризации технологии пленоптической съемки, хотелось бы заметить, что свет клином на ней не сошелся. Подобную камеру делали в институте Фраунгофера, благополучно существует производитель пленоптических камер компания Raytrix, опять же мне не давали фотографировать Lytro Cinema, поскольку очень опасались аж нескольких китайских компаний, которые активно работали в этом направлении (свежей информации по ним найти не удалось).

Поэтому давайте по пунктам распишем все плюсы, которые дает пленоптика, и о которых почти не пишут. Но именно из-за которых ее гарантированно ждет успех.

Только на Хабре и только Lytro упоминается примерно на 300 страницах, поэтому будем кратки.

Ключевое понятие для пленоптической съемки — это световое поле, то есть мы в каждой точке фиксируем не цвет пикселя, а двумерную матрицу пикселей, превращая жалкий двумерный кадр в нормальный четырехмерный (обычно пока с очень небольшим разрешением по t и s):

В английской википедии, а потом и в русской в статьях про световое поле сказано, что «Фраза «световое поле» была использована Гершуном А. А. в… 1936 году». Справедливости ради заметим, что это была не ~~случайно~~ «использованная фраза», а название небольшой книжки на 178 страниц, которая так и называлась «Световое поле»:

И даже в то время эти работы носили вполне прикладной характер и автор 6 лет спустя в разгар войны в 1942 году получил Сталинскую премию второй степени за метод светомаскировки.

На практике, съемку четырехмерного кадра светового поля обеспечивает массив микролинз, расположенный перед сенсором камеры:

Источник: plenoptic.infо (можно кликнуть и посмотреть в полном разрешении)

Собственно именно благодаря тому, что у нас массив микролинз с небольшим расстоянием между ними и появилась возможность создать Lytro Cinema, сенсор которой был собран из массива сенсоров, границы которых приходятся на границу линз. Жидкостное охлаждение потребовалось собственно для охлаждения сильно нагревающегося массива.

Источник: Using Focused Plenoptic Cameras for Rich Image Capture

В итоге получаем, самую известную возможность пленоптических камер, о которой только ленивый не написал — менять дистанцию фокусировки уже после того, как сделан кадр (эти милые птички не стали бы ждать наведения резкости):

Источник: ныне почивший сайт Lytro

А о том, как пленоптика выглядит в разрешении, пригодном для кино, уже писали мало (открывается по клику):

Источник: Watch Lytro Change Cinematography Forever

Открываю очередную тайну: вычисляемый фокус — это вершина айсберга пленоптики. И оставшиеся ниже уровня интереса журналистов 90% возможностей на мой взгляд даже более интересны. Многие из них достойны отдельных статей, но давайте по крайней мере исправим несправедливость и хотя бы назовем их. Поехали!

Раз уж мы заговорили про расфокус, стоит упомянуть так называемый эффект боке, при котором блики имеют необязательно круглую форму

Для фотографов выпускаются так называемые Bokeh Kit, которые позволяют получить блики разной формы:

Это позволяет получить довольно красивые картинки, и на фото ниже хорошо видно, что отблески в виде сердечек имеют даже камни на переднем плане, только сердечки меньше. И понятно, что попытаться размыть натурально подобным образом в Photoshop крайне сложно, как минимум желательно использовать карту глубины:

При этом для пленоптики «вычислить» разную диафрагму — это относительно легко решаемая задача:

Итак! Вычислили дистанцию фокусировки, вычислили форму диафрагмы, пошли дальше, там интереснее!

Очень полезной возможностью пленоптического сенсора, про которую практически никто не упоминает, но которая уже дает ему вторую жизнь, является возможность вычислять изображение с разных точек. Местоположение точки определяется фактически размером объектива. Если объектив мал — кадр может немного сдвигаться вправо-влево, как на этом примере (что это стерео-фото видно, если смотреть на грудь ближней птицы):

Источник: ныне почивший сайт Lytro

Если объектив большой, как, например, у Lytro Cinema, то точка съемки может сдвигаться на 10 сантиметров. Напомню, между глазами у нас примерно 6.5 сантиметров, то есть с максимальным расстоянием в 10 см. можно снимать и общий план (и он будет «трехмерней», чем если смотреть глазами), и крупный план (с любым параллаксом без дискомфорта). Фактически это означает, что мы можем снимать полноценное стереовидео с одним объективом. Более того, это будет не просто стерео, а стерео с идеальным качеством и, что сегодня звучит как фантастика — с изменяемым расстоянием между оптическими осями виртуальных камер ПОСЛЕ съемки. И то, и другое — совершенно немыслимые возможности, которые могут кардинально поменять ситуацию со съемкой стерео в будущем.

Поскольку будущее так или иначе за трехмерной съемкой, остановимся на этих двух моментах поподробнее. Не секрет, что сегодня большая часть 3D фильмов, особенно блокбастеры, не снимаются, а конвертируются в 3D. Делается это потому, что при съемке возникает длинный список проблем (ниже часть списка):

Кадры могут быть повернуты, сдвинуты по вертикали или увеличены один относительно другого (не надо говорить, что это легко исправляется, посмотрите, насколько часто подобные кадры попадают в релизы фильмов — это тихий ужас… и головная боль). Так вот — пленоптическое стерео ИДЕАЛЬНО выровнено, даже если оператор решил приблизить план (в силу особенностей механики в двух камерах крайне сложно сделать приближение строго синхронно).
Кадры могут отличаться по цвету, особенно если для съемки нужно небольшое расстояние между оптическими осями камер и приходится использовать бим-сплиттер (об этом был подробный пост). Получается, что в ситуации, когда при съемке любого бликующего объекта (автомобиля на заднем плане в солнечный день) мы обречены на развлечения на post-production с подавляющим большинством камер, с пленоптической у нас будет ИДЕАЛЬНАЯ картинка с любыми бликами. Это праздник!
Кадры могут различаться по резкости — опять таки, ощутимая проблема у бим-сплиттеров, которая полностью отсутствует у пленоптики. С какой надо резкостью, с такой и посчитаем, абсолютно ИДЕАЛЬНО по ракурсам.
Кадры могут уплывать по времени. Коллеги, работавшие с материалом «Сталинграда», рассказывали про расхождение таймстемпов дорожек на 4 кадра из-за чего все еще актуальна хлопушка. Мы обнаружили больше 500 сцен с расхождением по времени в 105 фильмах. Расхождение по времени, к сожалению, сложно детектируется, особенно на сценах с медленным движением, и при этом является наиболее болезненным артефактом по нашим замерам. В случае пленоптики у нас будет ИДЕАЛЬНАЯ синхронизация по времени.
Отдельная головная боль при съемке 3D — слишком большие параллаксы, которые причиняют дискомфорт при просмотре на большом экране, когда ваши глаза могут расходиться в стороны для объектов, находящихся «дальше бесконечности», или слишком сходиться для некоторых объектов переднего плана. Правильный расчет параллакса — отдельная непростая тема, которой должны хорошо владеть операторы, и случайно попавший в кадр объект может испортить дубль, сделав его дискомфортным. С пленоптикой мы сами выбираем параллакс уже ПОСЛЕ съемки, поэтому любая сцена может быть рассчитана с ИДЕАЛЬНЫМ параллаксом, более того — одна и та же уже снятая сцена может быть без особых проблем рассчитана под экраны большого размера и под экраны маленького размера. Это так называемое изменение параллакса, которое обычно крайне сложно и дорого делать без потерь качества, особенно если у вас были полупрозрачные объекты или границы на переднем плане.

В общем, возможность ВЫЧИСЛИТЬ идеальное стерео — это реальная основа для следующей волны популярности 3D, благо за последние 100 лет выделяют 5 таких волн. И, судя по прогрессу в лазерной проекции и пленоптике, максимум в течении 10 лет (когда закончатся основные патенты Lytro или чуть раньше в Китае) нас ожидают новое железо и новый уровень качества 3D фильмов.

Итак! Идеальное вычисляемое стерео с одного объектива (вещь невозможная для большинства, кстати) получили. И не просто получили, но и параллакс пересчитали постфактум, даже если на переднем плане объект не в фокусе. Идем глубже!

У изменения точки съемки есть применение и в обычном 2D видео.

Если вы бывали на съемочной площадке или хотя бы видели фотографии, то наверняка обращали внимание на рельсы, по которым ездит камера. Часто для одной сцены нужно проложить их в нескольких направлениях, на что уходит заметное время. Рельсы обеспечивают плавность хода камеры. Да, безусловно, существует стедикам, но во многих случаях у рельсов, увы, нет альтернативы.

Возможность менять точку съемки в Lytro использовали, чтобы продемонстрировать — колес достаточно. Фактически при движении камеры у нас образуется виртуальная «труба» диаметром 10 см в пространстве, в пределах которой мы можем изменять точку съемки. И эта труба позволяет компенсировать небольшие колебания. Хорошо это показано на этом видео:

Более того, иногда нужно решить обратную задачу, то есть добавить колебания во время движения. Например, не хватало динамики и режиссер решил сделать взрыв. Наложить звук — недолго, но камеру желательно синхронно тряхнуть, причем лучше не просто плоско сдвинуть картинку — это будет видно, а тряхнуть «честно». С пленоптикой точку съемки можно тряхнуть совершенно «честно» — с изменением точки съемки, ракурса, motion blur и т.д. Будет полная иллюзия, что сильно тряхнуло камеру, которая мягко и безопасно ехала на колесах. Согласитесь — удивительная возможность! Стедикамы следующего поколения будут показывать чудеса.

Безусловно, чтобы это стало реальностью нужно подождать, когда размер пленоптической камеры сократится до разумного. Но учитывая, какие деньги вкладываются в миниатюризации и повышение разрешения сенсоров для смартфонов и планшетов, ждать, похоже, осталось не так долго. И можно будет создать новую пленоптическую камеру! С каждым годом это становится всё проще и проще.

Итак! Точку съемки вычислили и, если нужно, подвинули, стабилизировав или дестабилизировав камеру. Поехали дальше!

Раз уж заговорили о взрыве рядом…

Иногда возникает необходимость изменить освещение объекта съемки, например, реалистично добавить вспышку. В студиях post-production хорошо знают, какая это сложная проблема, даже если одежда нашего персонажа относительно простая.

Вот пример видео с наложением вспышки с учетом одежды, ее теней и так далее (открывается по клику):

Источник: интервью с Йоном Карафином

Под капотом это выглядит, как плагин под Nuke, который работает с полной трехмерной моделью актера и накладывает новый свет на нее с учетом карты нормалей, материалов, motion blur и так далее:

Источник: материалы Lytro

Итак! Новое освещение уже снятого объекта вычислили. Поехали дальше!

Те, кто экспериментировал с первыми Lytro часто отмечали — да, игрушка прикольная, но разрешение совершенно недостаточное для нормальной фотографии.

В прошлой нашей статье на Хабр было описано, как небольшие сдвиги точки съемки могут помочь заметно увеличить разрешение. Вопрос: Применимы ли эти алгоритмы к пленоптике? Ответ: Да! Более того — алгоритмам Super Resolution работать на пленоптических изображениях проще, поскольку есть карта глубины, все пиксели сняты в один момент времени, и достаточно точно известны сдвиги. То есть ситуация пленоптики просто волшебная по сравнению с тем, в каких условиях алгоритмы Super Resolution работают в обычном 2D. Результат получается соответствующий:

Источник: Наивное, умное и Super Resolution восстановление пленоптического кадра из Adobe Technical Report «Superresolution with Plenoptic Camera 2.0»

Единственная крупная проблема (действительно крупная!) — объемы данных и объемы вычислений, которые требуются. Тем не менее уже сегодня совершенно реально загрузить вычислительную ферму на ночь и получить назавтра вдвое большее разрешение там, где требуется.

Итак — разобрались с вычисляемым разрешением! Поехали дальше!

Отдельная задача, которая встает на этапе post-production, особенно если это какой-то фантастический или фэнтезийный проект, это аккуратно вклеить снятые объекты в трехмерную сцену. Глобально большой проблемы нет. Сегодня норма — трехмерное сканирование площадки съемки и дальше остается только аккуратно совместить снятую модель и трехмерную сцену, чтобы не было классики жанра, когда ноги актеров иногда чуть проваливаются в нарисованный неровный пол (этот косяк не очень заметен на малом экране, но может быть хорошо виден в кинотеатре, особенно где-нибудь в IMAX).

Не без юмора для примера работы камеры была использована сцена съемки посадки на луну (хорошо видны «трехмерные тени» в местах, которые не видит камера):

Источник: Moon | Lytro | VR Playhouse | Lightfield Post-Production

Поскольку в пленоптической камере по определению снимается многоракурсное видео, построить карту глубины — проблема небольшая. А если камера совмещена с лидаром — у нас сразу снимается трехмерная сцена, что категорически упрощает на следующем этапе совмещение реальной съемки и графики.

Итак, трехмерную сцену вокруг посчитали (совместив данные лидара и данные пленоптики). Теперь, как вы догадались, рендеринг лунной съемки будет еще более качественным! Идем дальше.

Но и это не все!

Привычная технология современной съемочной площадки — зеленые экраны (green screen), когда в местах, где предполагается компьютерный фон, ставятся окрашенные зеленым фанерные щиты или натягиваются зеленые баннеры. Это делается для того, чтобы не было проблем на полупрозрачных границах, когда фон будет меняться. А поскольку на 4К при движении объектов у нас большая часть границ становятся полупрозрачными — актуальность зеленых (или синих в зависимости от цвета одежды актеров) экранов крайне высока.

Сие крайне непривычно для киношников, но поскольку мы сами можем изменять резкость объектов, у нас появляется возможность обрабатывать кадры с разной глубиной резкости и, как следствие, считать карту полупрозрачности границ и точный цвет снятого объекта. Это позволяет снимать без использования зеленых экранов, в том числе довольно сложное изображение, а потом восстанавливать карту прозрачности:

Источник: интервью с Йоном Карафином

В Lytro специально сняли ролик, на котором носят лестницы на заднем плане (поскольку при реальных съемках на самых удачных дублях обязательно что-то не то попадает в кадр — это незыблемый закон съемок!), а на переднем плане падают размытые конфетти (что сразу превращает чистку мужиков с лестницами в недетский challenge), но в кадре эти дальние объекты относительно легко обрезаются и у нас остается аккуратный передний план, в том числе с картой полупрозрачных границ (выбран фон, на котором легко оценить качество выделения конфетти, который его не маскирует):

Грамотный читатель спросит, а как же движение или те же волосы? И будет совершенно прав. Свои сложности, безусловно, еще остаются (и очень много). Другое дело, что точно зная фон и имея возможность немного подвигать объект перед фоном у нас открываются совершенно новые возможности по автоматическому и более качественному построению карты прозрачности.

Собственно в силу последних трех моментов можно прогнозировать будущий успех пленоптических камер в съемке сериалов типа «Игр престола», когда большое количество спецэффектов можно будет поставить на поток. Что означает ощутимое снижение их себестоимости. Там не все так просто, но возможности для вычисления карт прозрачности за счет перефокусировки и возможности сдвинуть точку съемки на порядок превышают аналогичные возможности для обычных 2D камер. И инструменты подтянутся.

Итак, с вычисляемой картой прозрачности без гринскринов разобрались, поехали дальше!

Отдельная важная тема — вычисляемая экспозиция или вычисляемый затвор. Эта тема не имеет прямого отношения к пленоптике, но в современных условиях, когда диагональ, контрастность и разрешение экрана дружно и быстро растут, она становится все более и более актуальна. Проблема в эффекте стробоскопа, который характерен для быстрого движения объектов в кадре при «обычной» съемке.

Кардинально снизить этот эффект, сделав движение «мягким» и рассчитав «идеальный» затвор, можно, сняв видео с большей частотой кадров, а потом пересчитать его в меньшую частоту, воспользовавшись разными функциями пересчета, в том числе не только суммируя кадры, но и вычитая (в Lytro Cinema было 300 fps, чтобы было понятно, как интерпретировать эти графики):

Это дает возможность «снять» видео с затвором, который создать физически крайне сложно, а то и вовсе невозможно, но который обеспечивает крайнюю «мягкость» и «приятность» движения объектов в сцене без эффекта стробоскопа от веток, колес и других быстро движущихся объектов (особенно обратите внимание на диски колес, и на то, насколько стала лучше видна машина за препятствиями):

Источник: https://vimeo.com/114743605

Или вот два еще кадр, движение камеры в котором будет намного более приятно восприниматься на глаз, особенно на большом экране:

Источник: https://vimeo.com/114743605

Уф, вычислили экспозицию. Двигаемся дальше!

Обычно, когда речь заходит про пленоптику сегодня, то идут типичные разговоры в стиле «Шеф всё пропало: гипс снимают, клиент уезжает!», Lytro в прошлом году задешево купил Google, эксперименты Pelican Imaging в массовое производство не пошли и вообще все осталось лишь красивой теорией…

Источник: Pelican Imaging: Smartphone Plenoptic Camera Modules for 20 Dollars

Так вот! Слухи о смерти пленоптики сильно преувеличены. Очень сильно!

Напротив, ровно сейчас пленоптические сенсоры выпускаются и используются в масштабах, которых ранее никогда не было в истории.

Небезызвестная компания Google без особой помпы выпустила Google Pixel 2 и Google Pixel 3 с пленоптическими сенсорами. Если посмотреть на телефон, очень хорошо видно, что камера у телефона одна:

Однако при этом телефон делает очень даже неплохое размытие заднего плана, в общем-то не хуже, чем его «двуглазые», «трехглазые» и «четырехглазые» коллеги (согласитесь следующее фото особенно сильно выигрывает от этого эффекта):

Источник: AI Google Blog (можно нажать и посмотреть в большем размере, в первую очередь на границы объекта переднего плана)

Как они это делают?!

Применяется неизбывный в последнее время источник волшебных чудес — недетская магия нейросетей?

Нейросети, особенно в Pixel 3, в этой задаче тоже активно применяются, но про это дальше. А секрет качества эффекта в том, что сенсор смартфона пленоптический, правда линза накрывает только два пиксела, как показано на картинке:

Источник: AI Google Blog

В итоге у нас получается микро-стерео картинка, здесь по движению виден очень небольшой сдвиг (правая картинка анимирована и движется вверх-вниз, поскольку так держали телефон при съемке):

Но даже этого крайне небольшого сдвига хватает для того, чтобы построить карту глубины для снимаемого фото (про использование субпиксельных сдвигов было в прошлой статье):

При этом с применением машинного обучения результаты можно заметно улучшить и это уже реализовано в Pixel 3. В примере ниже Learned означает Stereo+Learned, подробнее про это, будем надеяться, будет отдельный пост:

Для любителей разглядывать глубину в полном разрешении больше примеров в специальной галерее.

Хорошо видно, что не все идеально, и у нас есть типичные артефакты, характерные для построения карты глубины из стерео (которые, к слову, вполне в наличии и у двуглазых коллег Pixel), да и маленький параллакс сказывается. Но уже понятно, что качество глубины получается вполне достаточное для того, чтобы уверенно сегментировать изображение по глубине и дальше накладывать разные эффекты, более уверенно добавлять объекты в сцену и так далее. Результаты ИЗМЕРЕННОЙ глубины на порядок лучше результатов на основе разных предположений (сколь угодно нейросетевых).

Так что поздравляю всех, дочитавших до этого момента! Вы живете во время выпуска пленоптических камер в успешном массовом рыночном продукте, пусть даже и не знаете об этом!

История на этом, конечно, не заканчивается:

Во-первых, интересно, что пленоптика обошлась «почти даром», поскольку в современных камерах смартфонов при миниатюризации сенсора и росте разрешения катастрофически не хватает светового потока, поэтому каждый пиксель накрывают микролинзой. То есть такой сенсор не обходится дороже (это очень важно!), правда мы несколько жертвуем разрешением, которое только что увеличили за счет другой технологии. В итоге применения двух технологий результат становится лучше в 2D (меньше шумов, выше разрешение, HDR) и при этом дополняется измеренной глубиной, то есть становится 3D. Цена вопроса — кардинальный рост количества вычислений на кадр. Но для фото это уже сегодня возможно и уже работает в реальных смартфонах.
Во-вторых, на одной конференции сотрудник Google говорил, что они думают накрыть линзой 4 пиксела, после чего качество карты глубины будет кардинально выше, поскольку появятся 2 стереопары c в 1.4 раза большей стереобазой (две диагонали), это кардинально улучшит качество карты глубины, в том числе пропадут многие артефакты стерео на границах. Конкуренты смогут достичь такого качества, только поставив минимум 3 камеры не в ряд. Такое увеличение качества важно для AR.
В-третьих, Google уже не одинок, вот пример описания аналогичной технологии в Vivo V11 Pro, согласитесь, вы только что похожую картинку уже видели:

Источник: What is Dual Pixel technology?
Применяется пленоптика и в автофокусе профессиональных фотоаппаратов, например, у Canon (гуглить DPAF — Dual Pixel Auto Focus). Кто бы мог подумать, что теоретический прикол 30-летней давности — возможность снять стерео одним объективом — станет первым массовым применением пленоптики…

В общем — тема пошла в продукты!

Она уже летает! Понимаете, ЛЕ-ТА-ЕТ!

Пленоптика в кино

Выше мы разобрали два случая применения пленоптики — в кинопроизводстве и в смартфонах. Это не полный список, например, пленоптика весьма актуальна в микроскопии — можно делать вычисляемые стерео-микроснимки с большой «честной» глубиной резкости; пленоптика актуальна для промышленных камер, особенно если нужно делать фото полупрозрачных многоуровневых объектов и так далее. Но про это как-нибудь в другой раз.

Напомним, для применения в кинопроизводстве актуальны:

Вычисляемая дистанция фокусировки
Вычисляемое боке
Вычисляемое разрешение
Вычисляемое идеальное стерео
Вычисляемая точка съемки
Вычисляемое освещение
Вычисляемое окружение
Вычисляемый гринскрин
Вычисляемый затвор

В ближайшие годы с миниатюаризацией и ростом разрешения сенсоров технологию можно развить до создания практичной принципиально новой кинокамеры, позволяющей быстрее (без гринскрина) и с меньшим числом дублей (больше моментов легче поправить) снять материал для наложения спецэффектов. Новые возможности настолько интересны, что к тому моменту, как пленоптический сенсор с пригодным для кино разрешением можно будет сделать компактным, подобные камеры обречены на успех.

Когда такая камера может появиться?

Осторожный ответ — в ближайшие 10 лет.

От чего зависит срок?

От многих факторов. Хороший вопрос: какова будет ситуация с возможностью лицензировать патенты Lytro, которыми сейчас владеет Google? Это может быть критично. К счастью за 10 лет у ключевых из них истечет срок действия (тут мы вежливо не вспоминаем про китайских коллег Lytro, которые могут ускорить процесс). Также должна упроститься работа с колоссальными объемами данных, генерируемых пленоптической камерой: с современными облаками это становится все проще и проще. Из хороших новостей — в своё время благодаря Lytro в очень популярной программе компоузинга, которая используется в огромном числе студий для обработки стерео был поддержан пленоптический формат данных. Как говорится, Lytro умер, но возможность писать плагины под Nuke с поддержкой пленоптического видео осталась с нами. Это упрощает «вхождение» на этот рынок с профессиональным продуктом, поскольку важно, чтобы студии сразу без обучения персонала и в тех же программах сразу могли работать с форматом новых камер.

Пленоптика в смартфонах

Если говорить про смартфоны, то тут все выглядит еще лучше. Наиболее актуально для этой индустрии возможность пленоптической камеры измерять глубину одним сенсором (потенциально — быстро) и эта возможность скоро будет мега-востребована.

Когда такая камера может появиться?

Уже существует. И завтра технологию повторят другие производители. Причем ключевым драйвером следующего этапа будет дополненная реальность на смартфонах и планшетах, которой сегодня очень не хватает точности и возможности «видеть» трехмерную сцену.

От чего зависит срок?

Возможность измерять расстояние основным сенсором в реальном времени с большой вероятностью скоро появится у Google Pixel, поскольку Google давно ведет разработки в этом направлении (смотри Project Tango, который закрыт, но дело которого живет). И ARCore выглядит очень перспективно, равно как и конкурирующий ARKit. И прорыва, как вы теперь догадываетесь, ждать осталось недолго, благо стоимость пиксела сенсора падает по экспоненте, средней скоростью называют 10 раз за 10 лет, а нам нужно падение в 2 раза. Далее считайте сами. Не завтра, но совсем недолго.

Помните, в самом начале речь шла про лекцию во ВГИК? Должен сказать, что совершенно не ожидал той реакции на нее, которая была в итоге. Если описать одним словом, то это был траур. Если двумя словами, то вселенский траур. И я сначала не понял, в чем дело. Очень хорошо мне объяснил ситуацию подошедший после лекции оператор. Дело было даже не в том, что уменьшается операторское искусство. Хотя там был великолепный пример: фрагмент фильма примерно на 6 секунд, когда человек подходит к двери квартиры, стучится, дверь открывает другой человек, здоровается и чуть отодвигается пропуская, а камера в это время фокусируется на коридоре, потом на косяке, потом мгновенно переводит фокус на открывшего человека, а потом в комнату. И оператору нужно великолепно владеть камерой, чтобы при киношной небольшой глубине резкости виртуозно работать трансфокатором, помня о контровом свете, композиции кадра, укачивании при съемке с рук и еще 1000 важных мелочей. Так вот. Дело даже не в том, что это становится делать проще. Это даже хорошо. Меньше дублей будет испорчено из-за того, что оператор где-то не успел или промахнулся. Он рассказал, как недавно снимал сериал в 4К для телеканала. И запас по разрешению получился большой. В результате на post-production режиссер подрезал кадры, а местами на перебивки использовались просто фрагменты кадра. В итоге композиция была просто ужасна и этот оператор хотел снимать свое имя с титров.

Описанные выше возможности камер для киношников означают перевод многих эффектов с этапа съемок на этап post-production. И будет большая печаль, если те, кто будет обрабатывать снятые сцены, будут неграмотными в вопросах композиции, управления дистанцией фокусировки и так далее. Если же будут грамотными — это новые фантастические возможности.

Так пожелаем же всем нам побольше компетентности, что не всегда просто в этом быстро меняющемся мире!

А ~~Карфаген бу…~~ всё видео до конца века станет трехмерным!

Хотелось бы сердечно поблагодарить:

Лабораторию Компьютерной Графики ВМК МГУ им. М.В.Ломоносова за вклад в развитие компьютерной графики в России и не только,
наших коллег из видеогруппы, благодаря которым вы увидели эту статью,
персонально Константина Кожемякова, который сделал очень много для того, чтобы эта статья стала лучше и нагляднее,
Йона Карафина в бытность его Head of Light Field Video в Lytro, благодаря которому мы чуть не начали работать над улучшением их продукта (и не начали по независящим ни от него, ни от нас причинам),
компанию Lytro за их вклад в популяризацию световых полей и их возможностей, компанию Google, которая подхватила падающий флаг, и другие компании, которые делают продукты на основе этой интереснейшей технологии,
и, наконец, огромное спасибо Сергею Лаврушкину, Роману Казанцеву, Ивану Молодецких, Евгению Купцову, Егору Склярову, Евгению Ляпустину и Денису Кондранину за большое количество дельных замечаний и правок, сделавших этот текст намного лучше!

будущее где-то рядом / Фото и видео

С момента появления первого потребительского цифрового фотоаппарата минуло уже почти тридцать лет. За это время фотокамеры заметно преобразились, хотя основные изменения носили скорее количественный характер. Росли разрешение матриц, чувствительность сенсоров, скорострельность затворов, фокусное расстояние объективов, но сам принцип работы цифровых фотоаппаратов за три десятилетия оставался неизменным.

Именно поэтому анонс в 2011 году камеры светового поля (пленоптической камеры) Lytro не остался незамеченным – многие специалисты называли её революционным продуктом в мире фотографии. И ведь было за что: лежащая в её основе технология дает возможность сначала сделать снимок — и только потом настроить фокус, а особый формат фотографии позволяет переводить фокусировку с одного объекта на другой. Да-да, всё это можно настраивать уже после того, как снимок был сделан.

Сама камера выглядела тоже весьма необычно, больше напоминая калейдоскоп или телескоп, чем фотоаппарат. Устройство позволяло получать снимки, «сравнимые по качеству с HD-разрешением». Камера могла захватывать 11 «мегалучей», а размер одного снимка составлял примерно 22 Мбайт. Продажи революционной камеры стартовали лишь через год по цене $399. Несмотря на свою уникальность, Lytro не стала бестселлером. Наверняка многих покупателей отпугивала необычная форма устройства, а её преимущества не казались очевидными.

Однако производитель не забросил свою идею и в 2014 году представил новый продукт: Lytro Illum. Данное устройство выглядело уже гораздо более похожим на современные цифровые фотокамеры, напоминая типичную зеркалку. Принцип работы фотоаппарата остался прежним: в камере имеется комплекс микрообъективов между первичным объективом и датчиком изображения. Данная система преломляет световой поток по тысячам отдельных световых путей, которые датчик и внутренний процессор сохраняют как один файл специального формата (.lpf). Впоследствии пользователь может изменять фокус и даже менять диафрагменное число.

В основе Lytro Illum лежит КМОП-сенсор с разрешением 40 мегалучей. Физические размеры сенсора — 1/1,2″, что сравнимо c аналогичным показателем беззеркальных камер Nikon 1. Отдельно стоит отметить объектив – его диапазон эквивалентных фокусных расстояний составляет 30–250 мм, при этом диафрагменное число постоянно — ƒ/2,0. В мире остальных фотокамер оптики с подобными параметрами просто не существует. Также вызывает любопытство наличие в Lytro Illum процессора Qualcomm Snapdragon 800 — видимо, для работы камеры требуется немалая вычислительная мощь.

⇡#Технические характеристики Lytro Illum

Тип матрицы	КМОП
Размеры матрицы	1/1,2”
Разрешение матрицы	40 мегалучей
Диапазон эквивалентных фокусных расстояний объектива, мм	30–250
Минимальная дистанция фокусировки, мм	0 (от передней линзы объектива)
Диапазон выдержек, с	1/4000–32
Экран	4 дюйма, ЖК, 480 × 800 точек
Углы обзора экрана	до 80 градусов
Аккумулятор	сменный, Li-ion, 3760 мА·ч
Поддержка беспроводных сетей	IEEE 802.11a/b/g/n/ac
Разъёмы	Micro-USB 3.0
Память	слот для карт SD
Габариты, мм	86 × 145 × 166
Масса, г	940

⇡#Внешний вид

Камера Lytro Illum, как это часто бывает с тестовыми экземплярами, доехала до редакции не в полной комплектации. Кроме собственно фотоаппарата, мы получили фирменный наплечный ремень, кабель питания, зарядное устройство, аккумулятор, кабель Micro-USB 3.0, бленду и крышку объектива, а также ND-фильтр на 72 мм.

Lytro Illum, как мы уже говорили, внешне напоминает современные зеркальные и беззеркальные камеры, хотя отличий от прочих фотоаппаратов можно найти предостаточно. Так, на верхней части корпуса нет никаких поворотных дисков и переключателей — присутствуют лишь три клавиши: спусковая, кнопка включения камеры и клавиша Lytro, а также разъём типа «горячий башмак» для подключения внешней вспышки. Впрочем, совсем от поворотных дисков Lytro не отказалась – они расположены на передней и тыльной сторонах корпуса камеры.

Правая сторона корпуса камеры имеет утолщение для более удобного хвата, там же расположен и аккумулятор. Эта часть камеры закрыта прорезиненной накладкой, так что ей можно пользоваться одной рукой, хотя солидный вес даёт о себе знать – всё-таки без малого целый килограмм!

Центральная часть объектива разделена на три кольца: то, что посередине, неподвижно. Оставшиеся отвечают за изменение фокусного расстояния и, как это ни странно, фокусировку. Рифлёная прорезиненная поверхность облегчает данные процессы, хотя для того, чтобы вслепую привыкнуть крутить нужное кольцо, требуется время.

Комплектная бленда внушительных размеров фиксируется на объективе с характерным щелчком, а для её снятия имеется специальная кнопка разблокировки, так что риск случайно потерять бленду сведён к минимуму. Крышка объектива имеет удобный зажим — бленда не помешает её установке на объектив.

На нижней части корпуса камеры присутствует стандартное резьбовое гнездо для установки фотоаппарата на штатив. Там же расположена и дверца, скрывающая отсек установки аккумулятора.

Тыльная часть корпуса выглядит вполне в духе ультракомпактных камер: большой экран и минимум кнопок. Тут их всего четыре, также имеется и упомянутый выше поворотный диск. Благодаря тому, что экран сенсорный, большинство параметров можно изменять с его помощью. Кроме того, практически все клавиши можно перепрограммировать по своему вкусу.

Экран у Lytro Illum с переменным углом наклона, правда, пределы регулировки невелики: от –10 до +90 градусов, так что снимать с вытянутых рук будет проблематично.

На левой (если смотреть со стороны экрана) боковой поверхности камеры скрыт отсек установки SD-карты и подключения кабеля Micro-USB.

В целом качество сборки и сам корпус камеры производят приятное впечатление. Инженерам Lytro удалось грамотно совместить оригинальный внешний вид устройства с продуманной эргономичностью. В отличие от первого продукта производителя, Lytro Illum достаточно удобно держать в руках и делать фотографии.

Как уже было сказано выше, экран у камеры сенсорный. Его диагональ составляет 4 дюйма, разрешение — 480 × 800 точек. Параметры – как у дисплея недорогого смартфона. Что же до ощущений от взаимодействия с экраном камеры, то в этом он даст фору многим конкурентам: отзывчивая, чёткая и быстрая работа, есть поддержка мультисенсорных жестов. Работать с экраном камеры – одно удовольствие.

Меню камеры отлично адаптировано под сенсорное управление. В правой части экрана выделена область в виде полосы, с помощью которой можно менять различные параметры съёмки.

В основном меню можно переназначить кнопки, перегруппировать само меню, подключить камеру к смартфону и изменить прочие параметры съёмки. Организация пунктов меню настолько проста и удобна, что привыкнуть можно буквально за пять минут.

Благодаря тому, что экран сенсорный и поддерживает мультитач, в режиме просмотра можно менять диафрагменное число и точку фокусировки – при этом результаты своих действий видишь в режиме реального времени.

Резюмируя всё вышесказанное, нужно отметить, что специалистам компании Lytro удалось создать понятный и удобный интерфейс, который по всем параметрам не уступит реализации управления в камерах более известных брендов.

⇡#Lytro Desktop

Для импорта, конвертации и обработки снимков с камеры необходимо скачать и установить программу Lytro Desktop – без неё не получится даже посмотреть снимки, так как сохраняются они в проприетарном формате. При попытке установить приложение на MacBook обнаружилась неприятная особенность – Lytro Desktop свежей версии не работает на компьютерах Apple с интегрированной графикой, выпущенных в 2011 году и ранее. Потенциальным покупателям камеры стоит об этом помнить.

При запуске программы она сразу показывает фотографии со вставленной в кардридер карты памяти. Для работы с изображениями их сначала нужно импортировать с карты памяти, затем выбрать команду «Обработка». Весь этот процесс занимает немало времени: современный ультрабук с 8 Гбайт ОЗУ, процессором Core i5 и SSD-накопителем на одну фотографию тратил около минуты.

Lytro Desktop позволяет менять как привычные параметры фотографии вроде баланса белого, экспозиции, резкости и так далее, так и такие уникальные параметры, как диафрагменное число и зона фокусировки, а также работать с картой ГРИП (глубина резко изображаемого пространства). Кроме того, изображение можно «оживить», превратив в анимацию — при этом доступны различные эффекты.

Прежде чем поделиться отснятыми фотографиями с друзьями, необходимо создать аккаунт на сайте Lytro. Изображение можно загрузить в веб-альбом прямо из программы Lytro Desktop, также доступен вариант «шаринга» в Facebook или на сайт 500px.com.

Lytro Desktop полностью русифицирована, качество перевода, как и в случае с интерфейсом камеры, выше всяких похвал.

⇡#Примеры снимков

Чтобы снять хоть сколько-нибудь интересный кадр на Lytro Illum, придётся следить за тем, чтобы фотография содержала объекты не только на переднем, но и на заднем плане. Ведь если на обычных фотографиях главный интерес вызывает часть изображения в фокусе, то в случае с Lytro Illum необходимо следить, чтобы просматривающему было с чего переводить фокус, иначе пропадает весь смысл. Именно поэтому для фотографии пейзажей камера совсем не подходит – у неё вообще весьма специфическая область применения. Ночные снимки – тоже не конёк Lytro Illum – шумы с ростом светочувствительности растут весьма интенсивно.

Пример 1

Пример 2

Пример 3

Пример 4

Пример 5

Пример 6

Пример 7

⇡#Личные впечатления от камеры

В руках Lytro Illum лежит достаточно удобно, хотя небольшой дискомфорт вызывает неидеальная развесовка. Благодаря прорезиненной поверхности правой части корпуса камеры и центральной – объектива, обеспечивается надёжный хват. Как уже было сказано выше, изменение фокусного расстояния осуществляется при помощи одного из колец на объективе, второе отвечает за ручную фокусировку.

Несмотря на то, что точку фокусировки можно менять постфактум, при съёмке фокусироваться на объекте всё же нужно, поскольку возможности камеры не безграничны и регулировать границы резко изображаемого пространства можно лишь в определённых рамках. Автофокус у Lytro Illum, по меркам современных камер, довольно медленный, поэтому иногда быстрее прибегнуть к ручной фокусировке, тем более что точно попадать в фокус совсем не обязательно.

Главная сложность при фотографировании – в выстраивании композиции кадра. При съёмке необходимо пытаться так построить кадр, чтобы затем при просмотре у зрителей действительно возникло желание изменить точку фокусировки и рассмотреть другую часть фотографии. Сами фотографии при переводе их в привычный формат JPEG не поражают воображения: невысокая резкость и небольшое (4 Мп) разрешение. К слову, видео камера записывать не умеет. Совсем.

Так на кого же рассчитана Lytro Illum? На увлечённых энтузиастов, готовых выложить немалую сумму за эту, без сомнения, революционную камеру. Устройство даёт большой простор для творчества. Современные цифровые камеры прошли долгий путь, поэтому требовать всего и сразу от Lytro Illum было бы неправильно. Инженеры компании Lytro заслуживают уважения хотя бы за то, что в одиночку бросили вызов всей индустрии цифровой фотографии, предложив собственный, уникальный вариант фотокамеры.

Если Вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.

Экспериментальная камера Lytro

Общее знакомство

Предыстория

Еще с тех давних времен, когда свет стали считать электромагнитной волной, а не потоком частиц, постепенно в употребление вошел термин «световое поле». По сути, это электромагнитное поле, действие которого мы непрерывно наблюдаем. И, как любое электромагнитное поле, оно векторное, то есть имеет направление в каждой точке пространства. То, что видит человек — это свет, который попал ему в глаз, отразившись от различных объектов с разной интенсивностью, разной длиной волны. И под разным направлением. То же «видит» объектив фотокамеры. Разве что у него гораздо меньше настроек, и динамический диапазон у́же.

Принцип действия фотокамеры без проблем описывается законами геометрической оптики, в которой свет, в основном, представляется световыми лучами без привлечения волн и полей. Однако в этом случае камера имеет ряд ограничений, таких как, например, необходимость выбора фокальной плоскости, или попросту фокуса. Что бы мы ни делали, по законам геометрической оптики камера получает резкое изображение лишь одной из множества плоскостей, перпендикулярных оптической оси объектива. Поскольку в жизни все объекты протяженные, а не точечные, всё, находящееся перед или за этой плоскостью, будет нерезким.

Фотокамера же, основанная на принципе записи светового поля, в некотором смысле «делит» один световой пучок на много, воспроизводя, таким образом, эффект, получаемый матрицей, составленной из нескольких отдельных камер — так называемой пленоптической камерой.

Идеей разработки и воплощения в жизнь портативной пленоптической камеры и загорелся однажды студент Стэнфорда Рен Нг (Ren Ng), когда, снимая на свою зеркальную камеру, заметил, что у него не всегда получается поймать в фокус нужный объект. На портрете его супруги здание на заднем плане получилось резким, а вот супругу фокус миновал. С подробного описания этой проблемы Рен и начал свою будущую диссертацию. Он не стал разбираться с тонкостями фокусировки своей камеры и, будучи человеком науки, пошел другим путем. Он решил расширить возможности камеры за счет получения информации о световом поле снимка.

В 2006 году Рен закончил работу над своей диссертацией «Digital light field photography» и защитил ее, получив ученую степень доктора (PhD). Но на этом он не остановился, решив, что все должны иметь возможность использовать технологию светового поля в цифровой фотографии. Практически в одиночку, найдя спонсоров, Рен создал компанию Lytro и занялся разработкой первой камеры светового поля.

В 2011 году камера, названная по имени компании, увидела свет. И, собственно, его поле.

Дизайн и комплектация

Камера выглядит очень необычно. Это небольшой вытянутый брусок, со слегка закругленными гранями и с миниатюрным сенсорным экраном на торце.

Передняя часть камеры покрыта металлом (доступны разные цветовые варианты; у нас был голубой), задняя — прорезиненным материалом.

Прямо скажем, для съемки с рук камера не очень удобна: кнопка съемки находится на одной из сторон этого бруска, и она не столь рельефна и заметна, как хотелось бы.

Камера поставляется в средних размеров коробке из белого плотного картона.

Для защиты объектива в комплекте идет резиновая насадка. Также в комплекте была ткань для протирки объектива и экрана, шнурок и краткая инструкция.

Соединение с компьютером производится посредством стандартного кабеля Micro-USB, который входит в комплект. Таким же образом происходит подзарядка аккумулятора.

Фотолюбители наверняка удивятся, что здесь нет привычных элементов управления. И действительно, помимо включения/выключения камеры, а также спуска затвора здесь есть только восьмикратный оптический зум, который осуществляется перемещением пальца по чувствительной зоне на прорезиненной части камеры (рядом с кнопкой съемки). На фотографии ниже эту зону обозначает ряд маленьких вертикальных черточек.

Сенсорный экран (размером 1,46″) в плане управления нужен только для того, чтобы самостоятельно выбирать фокусировку (включив режим Creative Mode; полезно при макросъемке). Кроме того, на экранчике можно посмотреть отснятые фотографии, и там же показывается значок подзарядки, когда камера подключена к компьютеру.

Если вам нужно удалить фотографии или сделать сброс настроек — сенсорный экранчик поможет и с этим.

Создаем фотографии и работаем с ними на компьютере

Главный сюрприз для фотолюбителей заключается в том, что без особых ухищрений (а попросту говоря, взлома) фотографии с камеры переписать невозможно. Для просмотра фотографий приходится использовать специальную программу, которая устанавливается сразу после подключения камеры к компьютеру. Далее эти снимки можно экспортировать в Facebook или на сайт Lytro, где вы создаете свою учетную запись. Там же можно получить embed-код и вставлять, таким образом, фотографии на любых других сайтах.

Первоначально ПО для работы с Lytro было доступно только в версии для OS X, и лишь недавно появилась Windows-версия.

Функциональность программы очень скромная: например, она не дает возможности редактирования фото. Только просмотр (с возможностью ручного перемещения фокуса), экспорт в онлайн или удаление.

Экспорт в онлайн-хранилище на lytro.com также не дает никаких дополнительных возможностей — разве что список социальных сетей, где можно автоматически опубликовать снимок, там дополнен Twitter и Google+. Однако если вы не хотите нигде публиковать снимки, можете просто прислать своим друзьям ссылку на вашу страницу на сайте Lytro — и они без проблем и без регистрации смогут посмотреть плоды ваших фотоэкспериментов.

Давайте и мы посмотрим, что же собой представляет снимок, сделанный камерой Lytro.

Смотрим снимки

Снимки имеют непривычное почти «квадратное» соотношение сторон. Впрочем, это здесь не столь важно. Да и пользователи Instagram будут довольны 🙂

Для того, чтобы понять, что же в этом снимке необычного, щелкните сначала по цветочку, а затем — по мишени на заднем плане. И вы увидите, что фокус сместился.

Далеко не во всех случаях игра с фокусом будет столь же эффектной. Скажем, приведенный ниже снимок уже не вызывает вау-эффекта. Хотя и на нем можно фокусироваться на разных объектах, наблюдая результат.

А уж пейзажи или какие-то другие общие виды снимать на Lytro совершенно бессмысленно.

Толк есть только тогда, когда на фотографии четко различается передний план и задний. Но надо быть готовым к тому, что абсолютно у всех снимков резкость и цветопередача хуже, чем даже у камеры бюджетного смартфона.

Принцип работы

Lytro была заявлена как революционная камера, способная фиксировать световое поле. Сразу возникает два вопроса: «В чем заключается “революционность”?» и «Что же это все-таки за световое поле?».

Для простоты восприятия можно сказать, что, делая снимок, мы получаем не обычную плоскую картинку, а некий объем, имеющий глубину в несколько слоев. Конечно, это лишь упрощение.

Для того, чтобы получить резкий объект в кадре, а всё лишнее «размыть», применяют светосильную оптику. В этом случае информация о снимке пополняется еще одним параметром: ГРИП (глубина резко изображаемого пространства). Чем она меньше, тем больше ненужного в кадре «размыто», и тем проще выделить на снимке нужный объект. Помимо самого кадра Lytro записывает дополнительную информацию о световом поле снимка, позволяя представить его как набор слоев, имеющих одинаковую ГРИП, но привязанную к разным объектам кадра. В итоге получается «живая» картинка, на которой можно выбрать любой план, чтобы объекты на нем были резкими.

Подробнее о принципе работы Lytro рассказано в отдельном материале Владимира Родионова.

Выводы

«Shoot now, focus later» — гласит слоган производителя. Предполагается, что новая технология избавляет фотографа от необходимости фокусироваться на нужном ему объекте, позволяя выбрать фокус потом, при обработке фото (которая, кстати, в данном случае невозможна). С одной стороны, это удобно, а с другой — делает фотосъемку до неприличия простой. Казалось бы, пропасть между любителями и профессионалами сокращается теперь до одного шага, на котором важно умение правильно поставить кадр, собрать композицию. Однако Lytro все же имеет ряд серьезных ограничений, начиная от скудного выбора настроек и заканчивая ее «революционным» дизайном, при котором становится сложно делать снимки с некоторых ракурсов.

В целом, если не обращать внимания на форму корпуса, которая, видимо, призвана подчеркнуть «инновационность», камера напоминает обыкновенную «мыльницу», из которой убрали все «лишнее», заменив свободой выбора фокуса на готовом снимке. Откровенно говоря, на место в ряду профессиональной техники она претендовать никак не может, да и «мыльницам» во многом проигрывает. Однако в первую очередь Lytro ценна не как готовый коммерческий продукт, а как демонстрация возможностей технологии, а также как практическое подтверждение теории (об этом также пойдет речь в статье Владимира Родионова — прим. редактора).

Но есть ли смысл в «живых» снимках, на которых можно выбирать фокус, как вам заблагорассудится? Все же, выбор фокуса — задача, обязанность и привилегия фотографа, а не зрителя. Но как раз профессиональным фотографам такая технология могла бы хорошо послужить. Проблема ошибки фокуса действительно существует. Есть области, в которых данная технология, интегрированная в зеркальные камеры, могла бы быть очень полезна. Например, портретная или макросъемка.

Часто бывает, что даже мотор дорогих объективов ошибается на долю миллиметра. Особенно такое возможно на двадцатиградусном морозе. Портрет на дисплее фотоаппарата может выглядеть неплохо, но на большом мониторе становится видно, что один глаз человека вышел резким, а второй ушел в туман. И тут уже ничего не исправить — снимок испорчен. Но вот появилась возможность немного подвигать фокус на снимке, чуть подрастянуть ГРИП — и снимок идеален.

В макро бывают иные проблемы. При использовании автофокуса (да пусть даже и ручного) всегда есть вероятность немного промахнуться при съемке мелких деталей. И вот тут может быть полезно иметь возможность потом все подправить.

Впрочем, все эти рассуждения не имеют прямого отношения к рассматриваемому нами устройству. Это лишь смутные перспективы. Сама же Lytro все же больше похожа на опытный образец, подкрепляющий диссертацию своего создателя, а не на готовый продукт. По поводу стратегии серийного производства камер Lytro можно лишь строить догадки. Но хочется надеяться, что гиганты-производители фототехники все же заинтересуются новой технологией и явят миру доработанную настраиваемую серьезную камеру, а не эффектный, но, в общем-то, бесполезный хипстерский гаджет.

Авторы благодарят Владимира Родионова за помощь и советы

Lytro Cinema — камера светового поля стоимостью 125 000 долларов, предназначенная для кинокомпаний

Несколько дней назад компания Lytro объявила о решении покинуть рынок компактных камер и сконцентрироваться на сегменте виртуальной реальности. И вот теперь компания представила свой новый продукт — камеру Cinema.

Правда, новинка ориентирована вовсе не на создание объектов в виртуальной реальности. Cinema предназначена кинематографу. И для начала несколько достаточно впечатляющих фактов.

Cinema — специализированная камера светового поля. Её разрешение составляет сумасшедшие 755 Мп (40K), а скорость съёмки достигает 300 к/с. Всё это обуславливает колоссальный поток данных, поступающих с камеры каждое мгновение. Если быть точным, Cinema «отдаёт» 400 ГБ видеоданных в секунду.

Что касается возможностей, они уникальны именно из-за того, что это камера светового поля. И при создании тех или иных видео возможности такого устройства могут пригодиться гораздо больше, чем в случае использования фотографами. К примеру, можно уже после съёмки видео изменить глубину резкости, точку фокусировки, выдержку или динамический диапазон. Более того, технология светового поля может избавить создателей фильмов (и других видео) от необходимости использовать пресловутые зелёные экраны, так как Cinema позволяет «захватывать свет» на определённом расстоянии, а всё, что расположено дальше, в кадр попросту не попадёт.

Камера Lytro Cinema позволит снимать фильмы иначе

Покупатели Cinema получат также фирменное ПО для работы с камерой и персональное облачное хранилище. Из-за технологической сложности и сопутствующих аспектов камера очень дорога. Её стоимость составляет 125 000 долларов. И если для крупных киностудий это не проблема, для менее обеспеченных компаний сумма может оказаться запредельной. Поэтому Lytro намерена не только продавать, но и сдавать в аренду своё детище.

Пленоптическая камера второго поколения от компании Lytro — Российское фото

Компания Lytro, основанная выходцем из Стэнфордского университета Рена Нг (Ren Ng), занимается коммерциализацией пленоптической фотографии, или фотографии светового поля, когда матрица с помощью системы микролинз фиксирует не плоскую картинку, а полную информацию о световом поле объекта съемки — фокусировку таких снимков можно производить уже после съёмки, а кадры, полученные такой камерой, позволяют получить стереоизображение.

Первая камера Lytro была больше похожа на забавную игрушку, чем на серьёзный фотоаппарат, и качество снимков было не слишком высоким — при рендеринге в обычное плоское изображение разрешение составляло всего около мегапикселя.

Камера второго поколения, названная Lytro Illym, уже гораздо больше похожа на настоящий фотоаппарат, как по внешнему виду, так и по характеристикам. Диагональ сенсора увеличена с 1/3″ до 1″, разрешение снимков составляет 40 мегалучей (в этих единицах измеряется разрешение пленоптических камер) против 11 у первой Lytro. Плоские отпечатки со снимков Lytro Illym могут теперь иметь разрешение порядка 4 мегапикселей, пропорционально выросла и точность фокусировки. Большую часть камеры занимает зум-объектив с эквивалентным фокусным расстоянием 30-250 мм и постоянной апертурой F2. Камера имеет поворачивающийся 4-дюймовый видоискатель разрешением 800×480 пикселей. Её цена — 1600 долларов. Первые поставки ожидаются в июле.

Камера весит чуть меньще килограмма и имеет размеры 86×145×166 мм. Минимальная выдержка — 1/4000 секунды, есть возможность макросъемки. Объектив состоит из 13 оптических элементов. По словам CEO Lytro Джейсона Розенталя, уникальный пленоптический сенсор камеры не только позволяет фокусировать кадры после съемки и получать трехмерное изображение, но и облегчает задачу по исправлению аберраций объектива с помощью встроенного софта.

Теоретически, камеры светового поля могут иметь серьёзные преимущества перед обычными. Кроме уже упомянутой пост-фокусировки и стереоснимков, они могут работать намного быстрее обычных, так как им не нужно тратить время на фокусировку. Также возможность перефокусировки уменьшает проблемы с низкой глубиной резкости при максимально открытой диафрагме, что может быть выгодно при плохом освещении. Вообще, создатели камеры Lytro считают, что пленоптические фотоаппараты потенциально могут совершить такую же революцию, которую совершили цифровые.

Оригинал: habrahabr.ru

Как работает световое поле в камерах Lytro

PhotarTV
Новости
Вдохновение18+
ОбзорыГид покупателя
Уроки
Блог
Поиск
Canon
Nikon
Sony
Fujifilm
Olympus
Panasonic
Photar.ru
PhotarTV
Новости

Опубликованы примеры снимков на смартфон Redmi K30 Pro Zoom Edition

«ДЕРБЕНТ. ГОРСКИЕ ЕВРЕИ ВЧЕРА И СЕГОДНЯ». Фотоцентр на Гоголевском

Вышло большое обновление фоторедактора Luminar 4.2

Canon разрабатывают камеру с углом обзора в 360 градусов

Анонсирован стабилизатор для кинокамер Zhiyun Crane 3S

Вдохновение
Все18+
Фотограф Найма Грин и ее необычная колода карт в фотопроекте «Pur…

Между идеализацией и реализмом

Прекрасная эротика Дениса Гончарова

Фотопроект «Экспериментальные отношения» фотографа Pixy Liao

Обзоры
ВсеГид покупателя
Обзор объектива ZEISS Batis 2/25

Обзор объектива ZEISS Batis 2.8/18

Обзор Tokina atx-m 85mm f/1.8 FE — самый резкий портретник для Sony?

Обзор LOUPEDECK+ – консоль для редактирования фотографий

Уроки