Что такое кинематографический режим? Объяснение нового трюка с фокусировкой видео в iPhone 13

Телефоны серии iPhone 13 содержат ряд впечатляющих обновлений камеры. Мы получаем более крупные фотосайты (пиксели на датчиках) во всех четырех телефонах, а в iPhone 13 Pro — 1,9-микронные пиксели. Все четыре телефона теперь имеют механическую стабилизацию на основе датчиков для основной камеры, а не только iPhone 12 Pro Max в прошлом году.

Все это здорово, но кинематографический режим, пожалуй, самое привлекательное обновление. 

Cinematic — это видеорежим, доступный для всех четырех телефонов iPhone 13, и он предназначен для людей, которые хотят более серьезно относиться к кадрированию и кинематографии своих видео. 

Apple пригласила оскароносного режиссера Кэтрин Бигелоу и обладателя премии «Эмми» оператора Грега Фрейзера, чтобы расширить возможности при запуске телефонов, которые вы можете увидеть ниже.

• iPhone 15 Pro против iPhone 14 Pro: слухи о ключевых различиях
• 5 суперполезных функций, которые появятся на вашем iPhone в iOS 16.4
• Обзор iPhone 14 Pro

Это может показаться излишеством, но фильм «Мандарин» 2015 года был снят на iPhone 5S, который имеет крошечный 1/3-дюймовый 8-мегапиксельный сенсор и предлагает запись видео только в формате 1080p со скоростью 30 кадров в секунду. Режиссер фильма Шон Бейкер продолжил работу над проектом «Флорида», хотя в тот раз не на iPhone.

Кинематографический режим работает как виртуальный фокус-пуллер. Это кто-то, кто может работать вместе с оператором камеры, следя за тем, чтобы правильные части изображения были в фокусе и были идеально резкими. 

Конечно, многие современные камеры имеют это в той или иной степени. Теперь мы воспринимаем такие функции, как распознавание лиц — когда кто-то входит в кадр, внимание будет приковано к его чертам лица — как должное. Однако кинематографический режим идет намного дальше в нескольких областях. 

Предиктивная фокусировка

Первая область связана с прогнозированием того, на что нужно направить внимание дальше. В своей демонстрации (ниже) Apple показала, как камера фокусируется между людьми, когда человек отводит взгляд от камеры. В другой сцене кто-то входит в кадр слева, и камера быстро переключает фокус на его лицо, кажется, что переход начинается еще до того, как он становится полностью видимым. 

Это говорит о том, что на поведение фокуса в кинематографическом режиме может влиять сверхширокоугольная камера, которая в этом сценарии фактически не используется для съемки видео. 

Сверхширокоугольный становится своего рода оператором-постановщиком, если тот, чьи производственные заметки пишутся за долю секунды до того, как они разыгрываются. Это должно придать вашим видео лучшее ощущение обдуманности, даже если это автоматизировано.

Пока не ясно, так ли это, и возможно, что основная камера выполняет всю работу по фокусировке. В любом случае , мы рассматриваем систему автофокусировки, использующую алгоритмы, основанные на исследованиях Apple в области кинематографии. Выбор, который он делает о том, когда сменить фокус и на чем сосредоточиться, преднамеренно кинематографичен. 

Здесь также важны пиксели фокусировки. Чтобы автофокусировка выглядела естественно и продуманно, она должна избегать эффекта «поиска», наблюдаемого при автофокусировке с определением контраста. Именно здесь мотор автофокуса выходит за пределы точки фокусировки и оттягивается назад, при этом кажется, что фокус колеблется, прежде чем он достигнет своей цели. 

Все телефоны iPhone 13 имеют двухпиксельную автофокусировку, метод автофокусировки с определением фазы, который позволяет фокусироваться без поиска даже при ограниченном освещении — хотя в собственных демонстрациях Apple некоторые изменения фокуса не достигаются с уверенностью профессионала.

Глубина резкости

Тем не менее, малая глубина резкости действительно заставит ваши видеоролики в кинематографическом режиме выглядеть по-другому. Это похоже на портретный фоторежим iPhone, перенесенный на видео. 

Фон может быть размыт в гораздо большей степени, чем способен сам объектив. В то время как iPhone 13 Pro имеет объектив с широкой апертурой f / 1,5, крошечный размер этих объективов означает, что они могут действительно «естественно» выводить фон из фокуса только с очень крупным планом. Кинематографический режим делает это с помощью программного обеспечения. 

Это не первый раз, когда для видео добавляется размытие фона. В Huawei Mate 20 Pro оно было в 2018 году, а в телефонах Samsung S10 и Note 10 — в 2019 году. Реклама

Однако результаты в этих случаях были довольно неоднородными и не были преобразованы во что-то достаточно полезное для людей, действительно заинтересованных в съемке короткометражных фильмов на свои телефоны.

Кинематографический режим предлагает именно это, а также позволяет изменять степень эффекта размытия после съемки, выбирая значение диафрагмы. Как и в случае с реальной глубиной резкости объектива, чем меньше значение диафрагмы, тем более размытым будет фон. 

Apple говорит, что вы можете изменить точку фокусировки и после съемки. А вот и первая немного хрустящая часть. 

Кинематографический режим iPhone 13 может сделать части изображения более размытыми, но он не может сделать части вне фокуса резкими, и именно здесь небольшие линзы телефонов действительно становятся преимуществом. Их естественная большая глубина резкости означает, что даже если вы хотите переключиться на объект, который не находится в фокусе, он все равно должен казаться резким в движении рядом с другими частями изображения, которые намеренно выведены из фокуса. 

И дело не в том, что многие фильмы не попали в кинотеатры с моментами, немного не в фокусе.

Была камера, которая позволяла вам по-настоящему изменить точку фокусировки после съемки: Lytro Illum. Он использует датчик светового поля, который фиксирует направление света, отражающегося от объекта, а не просто «плоское» представление сцены. Однако он не мог снимать видео, качество изображения было невысоким, и компания закрылась после выхода следующей камеры Immerge VR. 

Теоретически Apple может использовать сверхширокую камеру на вашем iPhone в качестве второй точки фокусировки, которая всегда будет под рукой с различной информацией о фокусировке, если вы захотите сменить объект после съемки. Однако это, вероятно, приведет к более сомнительным результатам, поскольку вы перейдете к обрезанному виду камеры с более узкой апертурой объектива, меньшими пикселями сенсора и немного другим видом сцены. 

Кинематографический режим также предлагает ручное управление точкой фокусировки, вместо того, чтобы позволить программному обеспечению выполнять всю работу, потому что вы, вероятно, не хотите слишком сильно автоматизировать творческий процесс. 

iPhone 13 позволит вам зафиксировать фокус на объекте или вручную выбрать точку фокусировки, если кинематографический режим не делает того, что вы хотите. 

Это может привести к видимым толчкам, даже если вы используете штатив, но все четыре iPhone 13 имеют стабилизацию сенсора, которая должна быть в состоянии почти полностью устранить такие толчки из отснятого материала, если вы будете достаточно осторожны со своими жестами. 

Как это работает

Остаются вопросы о том, как именно работают части кинематографического режима. Но вот что мы думаем и надеемся, что происходит. 

iPhone 13 и iPhone 13 mini должны использовать параллакс для определения различных глубин и расстояний, присутствующих в сцене. Именно здесь сравнивается подача широкоугольных и сверхширокоугольных камер, и расхождения в их взглядах на сцену могут отделять ближние объекты от дальних. 

Он также может анализировать движение между кадрами. Если вы панорамируете сцену и предполагаете, что сами объекты статичны, вы можете судить об их относительном расстоянии по величине, на которую они перемещаются от кадра к кадру. Однако маловероятно, что кинематографический режим полностью зависит от этого, поскольку он не будет работать, когда iPhone 13 установлен на стационарном штативе. 

В iPhone 13 Pro и iPhone 13 Pro Max есть еще один инструмент — LiDAR. При этом используются длины световых волн за пределами человеческого зрения, анализируя свет, который отражается от объектов и отражается обратно к датчику, для создания трехмерной карты пространства. 

Мы надеемся и ожидаем, что он используется в версии кинематографического режима для телефонов Pro, поскольку он кажется идеальным для работы. Однако это также будет означать, что эффективность эффекта размытия и его способность справляться с объектами, имеющими сложный контур, могут различаться между профессиональными и непрофессиональными iPhone 13, и Apple ничего не упомянула об участии LiDAR в этом процессе.

Ограничения кинематографического режима

В кинематографическом режиме видео воспроизводится в формате Dolby Vision HDR, и вы сможете использовать видео ProRes позже в этом году, когда оно будет добавлено в iOS 15. У нас есть отдельная функция для Apple ProRes, которая поможет вам ускорить работу с этой функцией.

Однако разрешение и частота кадров в кинематографическом режиме ограничены 1080p, 30 кадров в секунду. «Обычное» HDR-видео с Dolby Vision может быть записано с впечатляющей скоростью 4K/60 кадров в секунду. 

Это разочарует тех, кто уже снимает все в разрешении 4K. Тем не менее, в некотором смысле мы находим это обнадеживающим. Это показывает, что кинематографический режим — не простой трюк, что даже с 16-ядерным нейронным процессором Apple A15 Bionic процессор — или что-то еще — выступает узким местом и снижает скорость захвата ниже, чем даже у бюджетных телефонов Android.

Однако нас немного беспокоит характер смещения фокуса в демонстрациях Apple, которые предполагают эффект фотокамеры, настроенной на максимально быструю фокусировку. Чтобы получить настоящий эффект «фокуса на стойке», который можно увидеть в фильмах, вам понадобится возможность замедлить мотор фокусировки, чтобы он шел к месту назначения, а не прыгал туда — и, насколько мы можем судить, пока нет никакого контроля над этим.

Apple также не подтвердила, появится ли кинематографический режим на каком-либо из телефонов iPhone 12 последнего поколения. Однако это кажется маловероятным, учитывая, что у Apple достаточно оправданий, чтобы не выпускать эти телефоны — у них процессоры последнего поколения, а их вертикально ориентированные камеры могут повлиять на их способность оценивать параллакс на лету. А пока мы просто с нетерпением ждем, что творческие люди сделают с кинематографическим режимом iPhone 13 — и что они с ним сделают — когда они получат его в свои руки.