Для начала необходимо разобраться, что же такое на самом деле техника съемки Hyperlapse. Чуть было не написал «техника съемки видео», хотя что это такое на самом деле, видео или фото, пока до конца еще неясно. Но зайдем издалека. Технику убыстренной съемки видео применяли еще издревле. Как только появилась возможность ускорять движение киноленты в проекторе или наоборот, замедлять ее в кинокамере, так сразу в художественных фильмах начали применяться специальные эффекты, связанные с замедлением или ускорением экранного времени. Выполнить такой трюк несложно. Гораздо сложнее добиться красочного художественного эффекта. Так на сцене появилась замедленная киносъемка или Time-lapse, а если по-русски, то «таймлэпс».

Как только операторы освоили технику Time-lapse, так сразу же в документальных или художественных фильмах начали появляться цветы, которые распускаются за считаные секунды, закаты, где солнце убегает за горизонт пока зритель моргает, загруженные муравейники-улицы, где автомобили снуют словно ненасытные насекомые, поедающие мелкий и беспокойный хворост. Но постепенно, подобные трюки приелись, зрителю и режиссерам хотелось немного большего. Хотелось непросто убыстрения течения времени, хотелось добавить к нему еще и движения. Так, в кинематографе появилась техника Hyperlapse. Замедленной киносъемки с добавленным движением.

Если при съемке Time-lapse камера закрепляется неподвижно, то при Hyperlapse она перемещается. А где есть перемещения, там есть и дрожание камеры, ее смещение от заранее выбранной оси. В профессиональном кинематографе, там, где необходимо применить особо плавное перемещение, всегда используются рельсовые тележки с установленной камерой (dolly camera). Подобная техника пригодилась и для Hyperlapse. Ну а что делать операторам-любителям? Есть ли альтернативы прокладке рельсов или приобретения компьютеризированных ручных стабилизаторов? Как оказалось, альтернатива есть. На выручку аматёрным операторам пришло сразу две компании: Microsoft и Instagram.

Продукт от Instagram так и называется Hyperlapse. К моему великому сожалению, Hyperlapse от Instagram существует только и исключительно для смартфонов под управлением iOS. В силу отсутствия в досягаемости подобных устройств, я не смог не только протестировать данный продукт для создания Hyperlapse видео, но и вообще с ним ознакомиться. Домашняя страница Hyperlapse от Instagram содержит лишь одно фоновое видео, показывающее результат работы их приложения, да ссылку на магазин Apple для скачивания приложения на смартфон.

А вот Microsoft приятно удивил. Microsoft вообще приятно удивляет в последнее время. С уходом Балмера, корпорация преобразилась и повернулась лицом не только к корпоративному сектору, но и обычным физическим пользователям, которым больше нужно приложение для съемки видео с рук, а не поддержка двух миллионов строк в Excel. Собственно, летом 2015 года, Microsoft выпустила сразу два продукта для создания видео (или фото, как кому больше нравится) по технологии Hyperlaps. Продукт первый Microsoft Mobile Hyperlapse работает на смартфонах и поддерживает операционные системы Windows Mobile и Android. Второй продукт Microsoft Hyperlapse Pro запускается на компьютерах под управлением операционной системы Windows и работает с уже отснятым видеоматериалом.

Немного о технологии Hyperlapse от Microsoft

В своих ранних анонсах компания приоткрыла завесу над сущностью технологии используемой в своих продуктах Hyperlapse. Основой качественной стабилизации видео выступает компьютерное моделирование пространства с использованием видеоматериала. Другими словами, при движении камеры, хитрый алгоритм анализирует пространство, пытается определить удаление от точки съемки различных предметов, создает виртуальную визуальную сцену, по которой и двигается камера. Это звучит невероятно, но по видео программа может создать часть реального мира, четко расположив все объекты в нужных местах.

А стабилизация достигается посредством либо дорисовки части кадра с использованием полученной в процессе анализа информации, либо доосмыслением того, что там должно находиться. Как правило, при дрожании камеры, интересующий зрителя объект находится примерно в центре кадра, а все, что располагается по периметру не несет никакой смысловой нагрузки. Именно тут и кроется возможность по стабилизации. Достраивая кадр, программа стабилизирует видео. Причем делает это настолько быстро и хорошо, что иногда результат получается даже лучше, чем при обычной съемке с применением электронной или механической стабилизации (речь идет об стабилизирующих объективах).

В рамках создания различных приложений, связанных с обработкой видео и фото потоков, в Microsoft видимо съели не одну собачку, поскольку приложений с применением технологий, применяемых в Hyperlapse, у них несколько. Ознакомиться с приложениями, создающими непосредственно Hyperlapse можно на соответствующем веб-сайте Microsoft Research посвященном Hyperlapse. А все программы, так или иначе заточенные для обработки фотографии можно поискать в специализированном разделе Microsoft Research. Поверьте, там есть что посмотреть.

Microsoft Hyperlapse Mobile

Версия Hyperlapse для мобильных устройств похоже, что появилась самой первой. Что удивительно, на самом деле. Hyperlapse доступен для смартфонов под управлением Windows Mobile и Android 4.4 и выше. Программа скачивается и устанавливается на ваш смартфон, а затем ее можно использовать. Прямо так, без подготовки.

Особо сложных настроек в приложении нет, как, впрочем, и самих настроек тоже. Для пользователя доступно два режима работы приложения. В первом режиме можно ускорить и стабилизировать уже отснятое смартфоном видео. Причем доступны скорости начиная от 1 и до 32. А во втором режиме можно снять свой Hyperlapse ролик. Съемка ведется со скоростью х4, а после ее завершения, можно поэкспериментировать с другими скоростями, вплоть до х32. Все результаты при желании записываются.

Интерфейс MS Hyperlapse Mobile. Доступен выбор уже отснятого видео или вариант со съемкой нового.

По идее, мобильное приложение помимо анализа видео- или фото-потока, должно еще анализировать показания акселерометров смартфона, дабы точно определять наклоны его корпуса вкупе с перемещениями в пространстве. Но делает ли это приложение Hyperlapse неизвестно, поскольку единственным источником информации о программе являются форумы в социальных сетях. Не очень удобно, но с другой стороны, интерфейс программы настолько простой, что разобраться с ним сможет даже студент детского сада. Настроек нет никаких, на экране минимум элементов управления.

Интерфейс MS Hyperlapse Mobile. Всего одна кнопка.

На тестовом Galaxy S5 Hyperlapse Mobile работает отлично. Обрабатываются и обычные видео, уже снятые смартфоном, так и Hyperlapse ролики, снимаемые самим приложением. У меня не возникло никаких проблем при обработке роликов на телефоне, за исключением того, что с течением времени, приложение отказывалось снимать все более длинные фрагменты. С каждым новым разом, новый ролик становился все меньше по длительности, хотя места в телефоне с избытком. Спишем это на «детские болезни» приложения, а вот вывод только в разрешение 720p немного удручает, ведь смартфон может записывать видео вплоть до 4k. Еще одним минусом смело назову невозможность фокусировки во время съемки, увы, программисты рассчитывали, что снимать будут стабильную сцену, без приближения и удаления, а на практике выходит иначе.

Microsoft Hyperlapse Pro

На сентябрь 2015 года, Microsoft Hyperlapse Pro доступна пока только в качестве публичного Preview. С октября этого же года, необходимо будет покупать лицензию, иначе экспортируемое видео будет помечено водяным знаком. В Preview доступны все немногочисленные функции приложения. Hyperlapse Pro устанавливается на компьютер под управлением Windows, отлично работает на 10-ке. Разумеется, приложение не может самостоятельно снимать видео, собственно от него это никто не ожидает. Вместо этого, в Hyperlapse Pro можно обрабатывать уже отснятые видеоролики.

Интерфейс MS Hyperlapse Pro. В верхней части расположились шаги, а в правой выпадающий список поддерживаемых устройств.

С импортом различных видеоформатов у меня не возникло никаких проблем. То, что воспроизводится встроенным в операционную систему видеопроигрывателем, то будет открыто и приложением. Интерфейс приложения выполнен в весьма лаконичном, но понятном стиле. А весь рабочий процесс разбит на шаги. Сначала импортируется видео или открывается уже существующий проект, отмечается начало и конец будущего ролика с Hyperlapse, а затем производятся настройки результата. Здесь нужно выбрать финальное разрешение, да куда записать результат. Для поддерживаемых устройств, в основном это устройства GoPro, можно настроить и некоторые другие параметры, скрытые если импортируется ролик, снятый обычным устройством. В документации эта функция не отмечается, но я подозреваю, что «поддерживаемые» устройства записывают вместе с видеопотоком еще и показания датчиков движения устройства.

Ошибка при попытке кодирования Hyperlapse в формат больший, чем FullHD.

Удивительно, но Hyperlapse Pro с удовольствием проглотил 4k видео снятое на смартфон. Правда, обработать до конца программа его так и не смогла, если результирующий файл был разрешением выше, нежели 1080p. По скорости работы, я не заметил слишком уж большой разницы межу Hyperlapse Pro и Hyperlapse Mobile хотя на стационарном компьютере ресурсов на порядок, а то и два больше, нежели на смартфоне. Еще одно отличие, между Pro и Mobile версиями заключается в максимальном ускорении видео. Если в Mobile версии доступно 32-кратное ускорение, то в Pro ограничились лишь 25-кратным увеличением «скорости» воспроизведения.

В целом результатом работы Hyperlapse Pro, как по стабилизации видео, так и по созданию роликов Hyperlapse я доволен, хорошо бы иметь еще соответствующие плагины для систем нелинейного монтажа, таких как Adobe Premiere или Sony Vegas.

Копаем вглубь

Но мне, как естествоиспытателю, всегда интересно, что кроется под «капотом» той или иной программы и как она будет работать в сложных условиях. Поэтому я решил сравнить, как же ведут себя алгоритмы в Hyperlapse Mobile и в Hyperlapse Pro. Для этого я произвел несколько простеньких тестов, обработал различные видео и сравнил результаты.

Забегая вперед хочу сразу заметить, что в полученных видео есть одна проблемка, которую я не стал устранять, дабы не нарушать чистоту эксперимента. При съемке видео в прогрессивном режиме, т.е. без чередующихся кадров, очень плохо смотрятся быстрые передвижения крупных объектов в кадре либо просто быстрое панорамирование. При последующих обработках, когда происходит перекодирование видео, эта проблема только усиливается. А здесь получается примерно следующая картина: видео снято камерой -> обработано приложением -> обработано видеоредактором -> обработана YouTube. В самом конце процесса, подобные «дерганья» объектов выглядят намного более явно, нежели в исходном видео. Плюс ролики Hyperlapse на самом деле более плавные, чем они будут выглядеть в тестах ниже. Но несмотря на эту оговорку, приступим.

Видео 1. Бегом с мопсом. Pro против оригинала

В этом видео была предпринята попытка сравнения оригинального видео, полученного прямо из камеры с этим же видео, но стабилизированного в Hyperlapse Pro. Скорость стабилизации была выбрана равной единице, поэтому оба видео, оригинальное и стабилизированное имеют одинаковую длительность.

Как видно, стабилизированное видео немного приближено. Возможно, что длительность ролика слишком мала либо дрожание камеры слишком сильно, либо фон слишком сложный для анализа и его последующего восстановления. Особенно это заметно при наложении одного видео на другое. Но в целом стабилизация удалась. Стабилизированное видео смотрится вполне органично и без бросающихся в глаза артефактов.

Видео 2. Бегом с мопсом. Mobile против Pro

В этом видеоролике я сравнил по той же схеме, что и в видео 1, два фрагмента. Однако, оба из них были стабилизированы, но не ускорены (тут в титровке видео ошибка). Одно видео было стабилизировано при помощи Hyperlapse Mobile, а другое при помощи Hyperlapse Pro.

Разницу между версиями стабилизации можно разглядеть только если пристально присматриваться. У Mobile версии есть фирменное «дрожание» на первой секунде проигрывания, а в целом они почти идентичны. Изображение увеличено одинаково, есть небольшая разница в контурах объектов, но она минимальная и без специальной обработки заметить ее нельзя. Возможно, что причиной такого сдвига было подтормаживание на кадр или около того у Hyperlapse Mobile, не зря у него заметна небольшая дрожь на первой секунде.

Видео 3. Hyperlapse Pro — артефакты

В видеоролике, приведённом ниже, я попробовал проверить, как будет вести себя стабилизация в Hyperlapse Pro в сложных условиях. Сравнение ведется частей видео, обработанного алгоритмами стабилизации и без них. В первой части ролика пришлось пройти по двору, держа камеру в руках. Каждый шаг — это не только покачивание, но и небольшая дрожь. Во второй части видео само по себе сложное. Тут ежи с множеством мелких иголок, да и освещение желает оставлять лучшего.

При ходьбе, в стабилизированном видео видно, что алгоритм отчасти справился со стабилизацией, но очень сильно испортил саму картинку. Она стала дрожать и рассыпаться при каждом шаге. А в части с ежами, смотреть нужно на полном экране, проблема возникла с иголками. Они к сожалению, также пострадали от стабилизации.

Видео 4. Time-lapse в Hyperlapse Pro и Hyperlapse Mobile

Для сравнения функции сжатия времени, без движения и стабилизации, мне пришлось снимать видео двумя источниками. В качестве видеокамеры для Hyperlapse Pro выступила Action Camera Polaroid Cube, а для Hyperlapse Mobile обычный Galaxy S5. Из-за непонятного поведения Hyperlapse Mobile, не дающего мне записать видео длиннее одной минуты, сам ролик получился не таким длинным как хотелось бы.

Обе программы тут отработали на отлично. К видео есть только одно замечание, но относится оно к экспозиции, а не к обработке Time-lapse.

Видео 5. Hyperlapse в движении

В качестве финального теста, я решил сравнить видео, обработанное различными версиями Hyperlapse, собственно в режиме Hyperlapse. Было снято два видео в аналогичных условиях, одна сразу в режиме Hyperlapse x8 при помощи Hyperlapse Mobile, а второе было приведено в этот же формат, при обработке на компьютере в программе Hyperlapse Pro.

Результат, как говорится, на лицо. Стабилизация у обеих программ примерно одинаковая, но вот качество результирующих снимков различное. В Hyperlapse Mobile мы видим множество артефактов дрожания при каждом шаге. Деревья и прочие четкие объекты постоянно находятся в ряби. В Hyperlapse Pro мы видим не так много ряби, но зато хорошо заметно рваное движение при панорамировании. Тут уж заслуга видеокодека смартфона, который записывает видео именно в таком виде. Похоже, что стабилизация при ходьбе среди листвы или травы пока не по зубам искусственному интеллекту и он просто теряется, стараясь проанализировать и стабилизировать природный хаос.

Вместо вывода

Обе программы от Microsoft мне понравились и заняли свое место на моем компьютере и смартфоне. Если стараться не искать сложные условия, то они дают вполне адекватный результат. Ну а в тепличных условиях, он просто великолепен.

Hyperlapse работает и свое предназначение выполняет. Осталось только научиться оптимально снимать для него видео. При съемке сразу в Hyperlapse лучше всего не так сильно шатать камеру и избегать больших зеленых массивов. А при съемке изначально в обычное видео с постобработкой в Hyperlapse, лучше всего съемку проводить с большей частотой кадров, чем обычно. В этом случае программному обеспечению будет легче разобраться с вашей трехмерной сценой.

Ну и удачи в экспериментах!

Upd1. Появился простенький workaround для Microsoft Hyperlapse Mobile для исправления ситуации с невозможностью записи длинных роликов Hyperlapse. Напомню, что в текущей версии, чем больше снимается роликов, тем короче получается каждый следующий ролик, программа просто останавливает запись. Дабы исправить подобное нечестивое поведение приложения необходимо перед записью длительного ролика в "Менеджере приложний" очистить данные приложения Microsfot Hyperlapse. Программа все равно лишена настроек и ничего полезного для пользователя там нет.