Как и зачем Google и «Яндекс» снимают панорамы городов

Когда выяснилось, что в России наконец открылся сервис Google Street View с панорамами Москвы и Санкт-Петербурга, я вспомнил о статье об этом и других подобных сервисах, которую я написал для «Компьютерры» в конце 2009 года. Хотя с тех пор прошло два года, она почти не устарела (и неудивительно — история вопроса и проблемы остались теми же). Поскольку тот номер журнала на сайт почему-то так и не выложили, исправляю упущение — читайте статью о том, что происходит за кулисами Google Street View и панорам «Яндекса».

За минувшее с момента публикации время Google Street View добрался до России и ещё нескольких восточноевропейских стран, панорамы «Яндекса» отсняли не только в Москве, но и во множестве других городов страны, а эпицентр скандалов, связанных с нарушением тайны частной жизни, переместился из Великобритании в Германию. Всё остальное по большей части осталось тем же.

По легенде, идея Google Street View принадлежит лично Ларри Пейджу, одному из двух основателей Google и автору поискового алгоритма Pagerank. Для пробы он даже отснял на собственную видеокамеру несколько улиц Стэнфорда. С тех кадров все и началось.

О том, что в Google снимали панорамы Москвы и Санкт-Петербурга, все узнали только сейчас. Но я догадывался об этом куда раньше!

Теперь в Google Street View можно посмотреть панорамы десятков городов. Кто-то использует этот сервис для того, чтобы научиться ориентироваться в незнакомом месте, но ничуть не реже Street View разглядывают для забавы: ищут знакомые улицы или дивятся на необычные ситуации, случайно попавшие в кадр (к последнему типу относится львиная доля отзывов о сервисе, которые можно встретить в интернете). В Google догадываются, что именно привлекает пользователей, недаром же летом в Street View появились панорамы развлекательного парка «Леголенд» в Калифорнии и гоночной трассы Лагуна Сека. А вот российских городов там по-прежнему нет, хотя сервис открылся больше двух лет назад.

C каждым месяцем автомобили Street View подбираются все ближе и ближе к границам России. В 2008 году они разъезжали по Западной Европе, а весной 2009 года стали замечать в Польше, Чехии и Финляндии. Вполне возможно, что мы следующие [Примечание: Google Street View открылся в России в начале 2012 года]. Впрочем, для пользователей Рунета этот сервис уже не станет большим открытием. Панорамы нескольких десятков российских городов давно опубликованы на сайте gdeetotdom.ru, а в сентябре 2009 года похожий сервис открыла компания «Яндекс». Для него пока отснята лишь часть Москвы, зато — c непревзойденным качеством.

Суррогатный туризм

Едва ли не первым проектом в духе Street View была система Aspen Movie Map, разработанная в Массачусетском технологическом институте тридцать лет назад. Ее создатели надеялись, что технология, которую они окрестили «суррогатное путешествие», со временем превратится в популярное развлечение. Пентагон же, выделивший деньги на работу, преследовал совсем другие цели. Военные рассчитывали, что такие устройства окажутся полезны для тренировки солдат.

Суть проекта заключалась в создании виртуальной копии американского городка Аспен. Пользователь Movie Map видел аспенские улицы с точки зрения водителя автомобиля — почти как в Google Street View. Он мог двигаться по дороге в любом направлении, решать, куда свернуть на развилке, и смотреть по сторонам, выбирая один из четырех жестко заданных углов обзора.

Чтобы собрать необходимую информацию, участники проекта соорудили камеромобиль. На крышу джипа была водружена конструкция, состоящая из гироскопического стабилизатора и четырех кинокамер, заправленных шестнадцатимиллиметровой пленкой. Сзади к машине приладили велосипедное колесо с датчиком угла поворота. Во время движения датчик дистанционно включал камеры каждые три метра. В течение нескольких месяцев с помощью камеромобиля отсняли все улицы Аспена, включая каждый возможный вариант поворота на каждом перекрестке.

Нерешённые проблемы

Многие проблемы, которые стояли перед создателями Aspen Movie Map в 1979 году, до сих пор не имеют окончательного решения. Например, как позиционировать снимки на карте? Казалось бы, появление общедоступных гражданских приемников GPS должно закрыть этот вопрос раз и навсегда. Но не все так просто. Во-первых, точность данных, полученных подобным образом, относительно невелика, да и сам GPS доступен не везде. Во-вторых, в идеале необходимо знать не только географические координаты точки, где сделан снимок, но и точную ориентацию камеры. Для этого требуются дополнительные датчики — акселерометры, скоростные гироскопы, энкодеры — и программное обеспечение, способное восстановить картину происходящего по их показаниям.

В области автоматической обработки изображений тоже хватает работы: калибровка камер без участия человека, автокоррекция цвета и баланса белого, выравнивание изображений, а теперь еще и распознавание образов. Даже организация работы автопарка, когда речь идет о проектах такого масштаба, превращается в дьявольски трудную проблему.

Оптимальные маршруты по городу должны быть проложены так, чтобы камеромобили как можно реже оказывались на тех улицах, съемка которых уже завершена, — что-то вроде задачи коммивояжера с уровнем сложности, увеличенным до максимума.

Полученные изображения записали на аналоговые лазерные видеодиски, которые тогда считались последним словом техники. На одном диске умещалось лишь тридцать минут видео или 54 тысячи отдельных кадров, поэтому к миникомпьютеру Interdata 7/32, который управлял просмотром Movie Map, пришлось подключить сразу несколько проигрывателей. Снимки и графический интерфейс выводились на цветной сенсорный дисплей. Получившаяся система и сейчас производит впечатление, а уж в 1979 году, наверное, казалась сущей фантастикой.

Другой важный предшественник Street View появился в 2005 году, когда съемкой улиц американских городов занялся крупнейший онлайновый магазин Amazon. Методы, по сути, были теми же, что и при изготовлении Movie Map, но с поправкой на четверть века развития компьютерной техники.

На крышах внедорожников Amazon стояли современные цифровые камеры, а пятое колесо с энкодером заменил приемник GPS.

Отличия тоже имелись: поскольку Amazon не требовались панорамы или интерактивность, камер было не четыре, а две, и каждая снимала свою сторону улицы. Да и замысел был совсем другим: таким образом компания пыталась автоматизировать изготовление фотографий зданий для онлайновой версии справочника «Желтые страницы». За символическую плату нужные кадры в отснятом материале вручную отыскивали добровольцы, нанятые через Mechanical Turk.

Меньше чем через два года Amazon свернул этот проект. Впрочем, к тому времени в Google уже работали над собственной реализацией той же идеи.

Глаза Google

В Google, как правило, предпочитают не распространяться о своих технологиях, но со Street View этот фокус не прошел. Автомобили с камерами, снующие по дорогам мира у всех на виду, утаить труднее, чем секретные алгоритмы в охраняемых дата- центрах. Хотя официальные сведения об устройстве аппаратуры Street View очень скудны, известно, что она выдержала несколько итераций.

В 2007 году, когда сервис только открылся, подавляющее большинство панорам для Google изготавливали специалисты фирмы Immersive Media. Затем автомобили Street View оснащались специализированными камерами Point Grey, но в конце концов Google перешел на оборудование собственной конструкции.

Панорамные камеры Dodeca, которые выпускает Immersive Media, похожи на маленькие морские мины, только вместо шипов у них объективы. Внутри небольшого сферического корпуса скрываются одиннадцать миниатюрных видеокамер — по одной на каждую грань додекаэдра, форму которого имеет итоговая панорама (самая нижняя, двенадцатая грань остается пустой).

Клиентов у Immersive Media хватало и до сотрудничества с Google. В восьмидесятые годы ее технический директор занимался спецэффектами в Голливуде, поэтому первое направление деятельности компании было очевидно с самого начала — развлечения и реклама. Кроме того, технику Immersive Media закупали военные для установки на передвижные командные пункты, а спецслужбы и охранные агентства использовали продукцию фирмы в системах слежения.

Главный недостаток Dodeca — не слишком высокое качество изображения. Устройство стоит почти 50 тысяч долларов, а выдает снимки с суммарным разрешением всего лишь 2400х1200 пикселов (640х480 с каждой из одиннадцати камер). Панорамы Street View, которые делала Immersive Media, выглядели хуже фотографий, снятых дешевой мыльницей. Неудивительно, что Google быстро отказался от ее услуг. К концу 2007 года на Street View не осталось ни одного кадра, полученного с помощью техники Immersive Media.

Следующий этап — устройства Ladybug компании Point Grey Research. Как и Dodeca, Ladybug представляет собой сборку из нескольких цифровых камер в общем корпусе. Пять из них снимают все вокруг в горизонтальной плоскости, а шестая всегда направлена в небо. Специальное программное обеспечение склеивает кадры, поступающие с разных камер, в сферическую панораму.

Разрешение панорам, которые можно получать с помощью модели Ladybug 2, использовавшейся для съемки Street View, составляет 4,8 Мп. Это лучше, чем у Dodeca, но все равно маловато. В Google не стали дожидаться следующей модели, двенадцатимегапиксельной Ladybug 3. К тому времени, когда Point Grey Research выпустил ее, автомобили Street View уже оснащались оборудованием, которое инженеры Google разработали сами.

Трёхмерные карты Tele Atlas

Поставщики цифровых географических карт, такие как Tele Atlas или Navteq, тоже собирают данные с помощью специальных автомобилей с камерами и датчиками. Более того, Tele Atlas использует практически такое же оборудование, которым Google снимает Street View. Каждый автомо- биль компании оснащен панорамной камерой Point Grey, парой лазерных дальномеров, которые направлены в противоположные стороны, и несколькими отдельными камерами высокого разрешения.

В отличие от скрытного Google, Tele Atlas не делает секрета из того, как будут использоваться накопленные данные. Во-первых, по отснятому материалу выясняется точное расположение дорожных знаков, а лазерные дальномеры определяют ширину улиц, высоту мостов и тоннелей. Во-вторых, дальномеры служат своего рода 3D- сканерами. Информации, которую они сообщают, достаточно, чтобы реконструировать трехмерный облик зданий.

Теперь внушительное сооружение на крыше автомобилей Street View состоит из нескольких модулей. На самой верхушке находится угловатый «аквариум» с цифровыми камерами, схема размещения которых позаимствована у Point Grey: восемь по периметру и одна наверху. Ниже закреплены три одинаковых приспособления, в которых угадываются лазерные дальномеры фирмы SICK, один спереди и пара по бокам. Сзади вместо дальномера прилажена желтая коробочка, от которой к автомобилю тянется пучок кабелей.

Камеры для Street View разработала фирма Elphel (в своё время «Компьютерра» публиковала интервью с её основателем). Это крайне любопытные устройства: фактически каждое из них представляет собой полноценный компьютер, работающий под управлением Linux. Даже старые модели Elphel обеспечивали более высокое качество съемки, чем устройства Immersive Media или Point Grey, а в нынешних камерах Elphel 353 стоят матрицы с разрешением от пяти мегапикселов — это в 2,5 раза больше, чем у камер Ladybug 3 (речь идет лишь о возможном разрешении отдельных камер, так как о разрешении панорам Google Street View, склеенных из кадров, снятых всеми девятью камерами, точной информации нет).

Панорамы улиц для России

Одна из главных причин, по которой в компании Gdeetotdom.ru решили заняться панорамной съемкой городов, такова: это проще и дешевле, чем фотографировать каждое здание вручную. Раньше снимки домов для одноименного сервиса по недвижимости, который развивает компания, приходилось делать именно таким способом. В Москве на нее работали около шестидесяти фотографов, в Санкт-Петербурге — тридцать.

Прежде чем начать проект, Gdeetotdom обратился в Google, чтобы выяснить, планируется ли запуск Street View в России. В Google не ответили ничего определенного, и браться за дело пришлось самим. Опыта недоставало, поэтому вопросы возникали на каждом шагу. Как закрепить камеру на крыше автомобиля? Как не повредить ее во время движения? Где взять 220 вольт для питания бортового компьютера? Как добиться высокого качества съемки?..

Google делает аппаратуру для съемки панорам самостоятельно, но такой подход не для всех. Панорамы улиц — отнюдь не самая важная функция Gdeetotdom. Стоит ли тратить на нее столько сил и заниматься непрофильной деятельностью? Вряд ли. «Мы же все-таки портал по недвижимости, — говорит генеральный директор компании Рубен Акопов. — Мы не стали создавать свое собственное решение». Вместо этого Gdeetotdom приобрел камеры фирмы Point Grey.

Для съемок переоборудовали обычные легковые автомобили. На переднем пассажирском сидении лежит компьютер для контроля информации и управления камерой — обычный системный блок с Windows, к которому подключены небольшой жидкокристаллический дисплей и клавиатура с мышкой; конвертор, преобразующий 12 вольт постоянного тока в 220 вольт переменного, спрятан в багажнике. Ноутбуки тут не годятся: чтобы обрабатывать и сохранять такие потоки информации, нужна хорошая видеокарта и внушительной емкости накопители.

С помощью камер Ladybug 2 Gdeetotdom.ru оцифровал 61 город России — все миллионники, за исключением Перми. Теперь снимают заново, уже более совершенной моделью Ladybug 3. В Москве повторная съемка заняла шесть месяцев; до конца октября все панорамы московских улиц на сайте Gdeetotdom. ru будут обновлены.

Сперва экипаж автомобилей с камерами состоял из двух человек, но затем съемку автоматизировали, и теперь с ней справляется сам водитель. Хотя Gdeetotdom.ru публикует не больше одной панорамы на двенадцать метров дороги, в действительности камеры записывают видео с частотой от 7–8 до 16 кадров в секунду; попутно приемник GPS сохраняет географические координаты. Во время постобработки по ним отбираются снимки, сделанные в нужных точках улицы.

Панорамы обходятся недешево. На каждую камеру Point Grey компания потратила примерно 20 тысяч долларов. Кроме того, у Gdeetotdom.ru пять автомобилей для съемки: три Skoda Roomster и пара Volkswagen Golf. Еще одна важная статья расходов — создание программной системы обработки и отображения информации. Правда, поскольку Gdeetotdom.ru преследует довольно узкие цели, траты на разработку софта удалось удержать в разумных пределах.

«Яндекс» пошел по другому пути. «Готового решения не было, оно разрабатывалось специально для нас», — рассказывает менеджер сервиса «Панорамы улиц» Мария Орлова. Работу поручили компании neq4, занимающейся созданием виртуальных туров, а вместо специализированных или промышленных камер, названия которых никому ничего не говорят, решили использовать профессиональные цифровые фотоаппараты — такие же, как у обычных фотографов.

Для съемок на крыше автомобиля (именно «автомобиля», а не «автомобилей» — он был один) установили систему из четырех фотоаппаратов, направленных в разные стороны. Системой управлял специальный программный комплекс. Каждые 20–30 метров все камеры синхронно делали снимки с разрешением 10 Мп. Панорамы, собранные из полученных кадров, нельзя назвать сферическими — угол обзора по вертикали относительно невелик. Зато «Яндексу» удалось избежать сильных искажений, встречающихся в Google Street View, да и четкость изображения, кажется, повыше, чем у конкурентов (это субъективное впечатление, однако даже если разрешение Street View в действительности выше, впечатление портят то и дело попадающиеся даже на самых свежих панорамах Google пересвеченные кадры, цветовой шум и тому подобные недостатки).

Работа над проектом началась еще в 2008 году. Съемка велась около месяца осенью 2008 года и еще три недели летом 2009 года. Дело в том, что для изготовления качественных панорам нужны хорошие условия. Частые осенние дожди и короткий световой день только мешают. С этой проблемой знакомы и в Gdeetotdom.ru: даже в хорошие дни до трети отснятого материала оказывается браком. Испортить снимок может любая малость, даже спрятавшееся за тучу солнце. Вечные московские пробки тоже не способствуют повышению производительности труда.

Право на съёмку

Google не спрашивает разрешения перед индексацией сайтов в интернете. Если веб-страница доступна для всех, то она доступна и для поисковых роботов. К съемке городов в Google подошли с той же логикой. Если прохожего на панораме Street View легко узнать, что с того? Он же находился на улице, где его и без всякого Street View мог увидеть кто угодно. Снимки, сделанные в общественных местах, по определению не могут нарушать тайну частной жизни.

Далеко не все согласны с такими рассуждениями. Как только Street View открылся, его сразу же стали критиковать за нарушение приватности. Google не спорил и послушно стирал неугодные кадры, а летом 2008 года стал автоматически затушевывать на своих панорамах лица прохожих и номера автомобилей. Разработанный в Google алгоритм успешно находит и скрывает более 89% лиц и около 95% автономеров. Однако и это не помогло — поток жалоб не ослабевал.

Самую бурную реакцию Street View почему-то вызвал в Великобритании — стране с наибольшим количеством уличных камер на душу населения. Сначала Google атаковала правозащитная организация Privacy International, после чего известная на весь мир британская желтая пресса раздула вокруг Street View такой скандал, что на пресловутые автомобили с камерами стали обращать внимание даже далекие от Интернета люди. Дошло до того, что в одной из деревень в часе езды от Лондона жители перекрыли дорогу, чтобы не пустить автомобиль Street View. Потом они объясняли слетевшимся журналистам, что, с их точки зрения, Google пособничает грабителям, которые с помощью панорам улиц выбирают себе жертв.

В Японии Street View тоже встретили в штыки, но тут, похоже, причина в культурных различиях, о которых в Google не подумали заранее. Оказалось, что камеры Street View, закрепленные на высоте 2,5 метра, с легкостью заглядывают через высокие заборы и снимают частные дворы, которые обычно недоступны для чужих глаз. Вдобавок откуда-то взялся слух, что Street View — это, на самом деле, нечто вроде веб-камеры, непрерывно транслирующей все в bнтернет.

Теперь Google собирается переделать все панорамы, снятые в Японии, опустив камеру на сорок сантиметров — так в кадр не попадет ничего, что не видно обычным прохожим. А дабы успокоить недоверчивых японцев, сняли рекламный ролик, в котором мультяшный человечек-камера сначала разъезжает по игрушечному городу и фотографирует дома, а потом трудолюбиво закрашивает на снимках имена на почтовых ящиках и номера автомашин.

Российские аналоги Street View пока обходятся без цензуры. Правда, и претензий им ещё никто не предъявлял. «Практически всегда мы встречали благожелательное отношение людей, которых снимаем, — говорит Рубен Акопов. — Очень часто наших водителей спрашивают, что они делают, интересуются самими камерами, узнают, когда съёмка будет опубликована». Возможно, всё ещё впереди. В Gdeetotdom.ru не исключают, что когда-нибудь им придётся последовать примеру Google и начать затирать на панорамах лица прохожих.

Впрочем, ближайшие планы развития панорам на сайте Gdeetotdom.ru другие: кроме улиц, будут отсняты ещё и дворы. Это позволит пользователям сервиса увидеть те здания, которые находятся в стороне от проезжей части. Вполне объяснимая цель, если вспомнить, почему Gdeetotdom.ru занялся съёмкой панорам.

Следующий этап развития сервиса «Панорамы улиц» на «Яндексе» нетрудно угадать. Тщательно отснят лишь центр Москвы, а на окраинах города панорамы встречаются лишь на самых крупных улицах. Было бы логично исправить это упущение, а затем перейти к съёмке других городов.

Предсказать будущее Google Street View сложнее. Этот сервис вполне способен на сюрпризы. Даже со стороны ясно, что автомобили Street View собирают куда больше данных, чем необходимо для изготовления обычных панорам. Какие сервисы можно построить на их основе? Об этом можно только гадать.

Пару лет назад в статье, опубликованной в журнале IEEE Computer, технический руководитель Street View Люк Винсент подсчитывал суммарную длину асфальтированных дорог Земли (19,4 млн. км) и время, которое потребуется, чтобы сделать их панорамы (очень долго). Он шутил, но его шутка вполне укладывается в миссию Google: упорядочить всю информацию в мире. Судя по наcтойчивости, с которой развивается Street View, это не пустые слова.

На карты Google попали панорамы Фарер, сделанные овцами

Жительница Фарерских островов долгое время просила Google добавить местные панорамы на карты, но огромная компания не выделяла машину для объезда маленького архипелага. Тогда активистка взяла всё в свои руки и заменила машины с камерами овцами, отправив тех снимать пейзажи. И у неё всё получилось.

В начале ноября Google официально добавил в сервис панорамного просмотра улиц Google Street View Фарерские острова — небольшой архипелаг, расположенный на севере Атлантики. Его площадь меньше, чем площадь Санкт-Петербурга (1 396 квадратных километров), а население сравнимо с небольшим российским городом — около 50 тысяч человек.

Фареры часто недооценивают люди из «большого» мира — местные жители часто жалуются на изолированность, которая выражается даже в том, что для посещения островов или выезда с них необходима отдельная отметка в паспорте (при том, что острова входят в состав Дании и относятся к Евросоюзу). Здесь нет ни одного большого города, привычных магазинов и мало автомобильных дорог. Поэтому некоторых не удивит, что Google долгое время обходил стороной просьбы местной жительницы Дуриты Даль Андреассен прислать на остров команду с оборудованием, чтобы заснять местные пейзажи для панорам Google Street View.

После долгих разговоров женщина решила не ждать корпорацию, а самостоятельно заняться съёмкой улиц. Для этого она закрепила камеры с 360-градусным обзором на спинах своих овец — этих животных на островах в два раза больше, чем людей, и они вольны ходить где угодно. А чтобы сопоставлять панорамы с картами, Дурита снабдила овец GPS-маячками и солнечными батареями, которые питали все эти устройства.

В результате получились не только панорамные фото многих диких уголков острова под общим названием Sheep View, но и ролики о том, каково это — быть овечкой с Фарер. Они стали настолько популярными, что Министерство туризма Фарер стало использовать их в качестве роликов на официальных страничках в соцсетях.

Спустя некоторое время Дурита собрала огромное количество панорам, но столкнулась с проблемой: овцы могли ходить где угодно и из-за этого не ходили… по обычным дорогам. А без них карта не могла быть полной. Проблему решили опомнившиеся представители корпорации-картографа: после того, как история Дуриты стала известной, Google всё же прислал на остров машину со спецоборудованием. И к тому же снабдил овец более профессиональным оборудованием.

И вот спустя полтора года мечта Дуриты исполнилась и на Фареры наконец-то официально можно полюбоваться в Google Maps, пишет The Guardian.

Правда, кажется, в итоге большинство проделанных овечками маршрутов не попало на карту — в Google есть несколько панорам, снятых в диких местах, но большая часть фото сделана бездушными машинами. Если так, то это выглядит уже не так эпично, как попавший на карты Google действующий вулкан с острова близ Австралии. К нему снарядили специальную экспедицию, которая спустилась в жерло вулкана и сняла свой поход на камеры.

Просмотр улиц Google | Энциклопедия MDPI

Google Street View — это технология, представленная в Google Maps и Google Earth, которая обеспечивает интерактивные панорамы с позиций на многих улицах мира. Он был запущен в 2007 году в нескольких городах США и с тех пор расширился, включив в него города и сельские районы по всему миру. Улицы с доступными изображениями Просмотра улиц показаны синими линиями на Картах Google. Google Street View отображает в интерактивном режиме панорамы склеенных VR-фотографий. Большая часть фотографий делается на машине, но некоторые на трехколесном велосипеде, верблюде, лодке, снегоходе, подводном аппарате и пешком.

1. История и особенности

Автомобиль Google Street View в Германии. C. Suthorn, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=73827462

Просмотр улиц был запущен в 2001 году в рамках проекта Stanford CityBlock Project, спонсируемого Google. Университетский исследовательский проект. Проект завершился в июне 2006 года, и его технология была включена в StreetView. ^[1]

• 2007: запущен 25 мая в США с использованием технологии Immersive Media Company.
• 2008: В мае Google объявляет, что тестирует технологию размытия лица на своих фотографиях оживленных улиц Манхэттена.
  [2] Технология использует компьютерный алгоритм для поиска лиц в базе данных изображений Google и их размытия. ^[3] Просмотр улиц был интегрирован в Google Планета Земля 4.3, приложение «Карты» на Apple iPhone и приложение «Карты» для S60 3rd Edition. В ноябре значок человечка с перетаскиванием был представлен в качестве основного элемента пользовательского интерфейса для перехода из 2D-представления Карт в 3D-представление Просмотра улиц. Когда человечка перетаскивают на определенный набор координат в Картах Google, для которого доступны данные Просмотра улиц, Просмотр улиц открывается и занимает все окно карты.
• 2009: Добавлен полноэкранный режим. Была введена интеллектуальная навигация, позволяющая пользователям перемещаться по панорамам, дважды щелкая курсором в любом месте или объекте, который они хотят увидеть.
  ^[4]
• Май 2011 г .: были объявлены виды предприятий в помещении (Google Business Photos). ^[5] После нескольких месяцев пилотного этапа осенью проект был развернут всерьез. ^[6]
• , ноябрь 2012 г.: с выпуском Android 4.2 Google предлагает пользователям создавать собственные панорамы с помощью поддерживаемых устройств. Google выделяет созданные пользователями панорамы синими кружками на Картах. Компания также создала веб-сайт, чтобы выделить места в мире, где их можно найти. ^[7]
• 2013: Внутренние виды бизнеса показаны маленькими оранжевыми кружками. Такие предприятия, как магазины, кафе и другие помещения, могут платить фотографу за панорамные снимки интерьера своих помещений, которые затем включаются в Просмотр улиц. ^[8] Google запускает программу, позволяющую третьим лицам брать напрокат Street View Trekker (камеру на рюкзаке) и добавлять изображения в Google Maps.
  [9]
• 2014: теперь можно увидеть изображения улиц из прошлого, если они доступны для данного вида улиц. ^[10]
• 2015: Было объявлено о партнерстве между Street View и компанией по мониторингу окружающей среды Aclima. Автомобили стали оснащаться датчиками для обнаружения загрязняющих веществ, таких как диоксид азота, озон и твердые частицы. ^[11] В октябре было объявлено о поддержке Google Cardboard, позволяющей пользователям использовать Просмотр улиц в 360-градусной виртуальной реальности. ^[12]
• 2017: Изображения внутри Международной космической станции добавлены в Просмотр улиц.
• 2017: Начиная с августа, Google позволяет пользователям создавать свои собственные синие пути, похожие на просмотр улиц, для связанных фотосфер, которые находятся достаточно близко друг к другу.
• 2017: 5 сентября Google объявил, что они улучшают качество панорамных фотографий с видом на улицу, модернизируя свои картографические автомобили с помощью совершенно новых систем камер с высоким разрешением и искусственного интеллекта для получения еще более качественных изображений. Новые автомобили Google можно увидеть в разных городах Америки с марта 2017 года, а также в Японии с августа. ^[13] Первые изображения, сделанные камерами нового поколения, были доступны онлайн 13 сентября. ^[14]
• Октябрь 2017 г .: производители Insta360 Pro объявляют о сертификации первой камеры с автоматическим просмотром улиц за 3500 долларов США; он использует шесть линз для обзора 360º и поставляется с программным обеспечением Stitcher. ^[15] Помимо покупки, установка камеры также доступна для квалифицированных лиц в рамках программы кредитования Google, с 50 камерами, доступными для аренды,
  [16] делает возможным охват изображениями Google Street View большего количества мест, которые Google может не посетить, и лиц, для которых покупка нецелесообразна или невозможна.
• 2018: Google Japan теперь предлагает просмотр улиц с точки зрения собаки. ^[17]
• , август 2018 г.: просмотр улиц охватывает две морские газодобывающие платформы в Северном море. ^[18]
• 3 декабря 2020 г. Google объявил, что пользователи могут вносить свой вклад в Просмотр улиц, записывая видео на свои телефоны с поддержкой AR с помощью приложения Просмотр улиц. ^{[19] [20]}

2. Реализация

Просмотр улиц доступен как компонент Google Maps и Google Earth, как веб-приложение и как мобильное приложение для Android и iOS. Первоначально Карты Google использовали Adobe Flash для просмотра улиц. ^[21] В 2013 году Google провел капитальный ремонт Google Maps. В новой версии широко используется JavaScript и предоставляется интерфейс прикладного программирования JavaScript. ^[22] На момент выпуска новые Карты Google и Просмотр улиц были медленнее, чем старая версия при различных настройках. ^{[23] [24]} Пользователь может переключиться на старую версию Google Maps, что особенно полезно, когда Google Maps работает медленнее, чем обычно. ^{[25] [26]}

Значок человечка с возможностью перетаскивания является основным элементом пользовательского интерфейса, используемым Google для подключения Карт к просмотру улиц. Его название происходит от сходства с прищепкой. Когда он не используется, Pegman находится над элементами управления масштабированием Google Maps. Иногда Pegman «наряжается» для особых мероприятий или к нему присоединяются друзья по привязке в Google Maps. Когда его перетаскивают в Просмотр улиц возле Зоны 51, он становится летающей тарелкой, а когда его перетаскивают возле Флорида-Кис, он становится русалкой. При просмотре старых видов человечек на мини-карте меняется на Дока Брауна с 9.0099 Назад в будущее . ^[27]

3. Покрытие

В мае 2017 года компания Google объявила о том, что она отсняла более 10 миллионов миль (16 миллионов километров) снимков Street View в 83 странах. ^{[28] [29]} Карты также включают панорамные виды, снятые под водой, например, подводные кораллы West Nusa Tenggara, Гранд-Каньон, музеи и пустыню Лива в Объединенных Арабских Эмиратах, на которую можно смотреть с верблюда.

[30] Во время десятидневного похода с шерпой Апа Google задокументировал Кхумбу, Непал, с его горой Эверест, сообществами шерпов, монастырями и школами. ^[31]

Google также добавил достопримечательности в Египте, в том числе пирамиды Гизы, Каирскую цитадель, Саккару, монастырь Святой Мины и цитадель Кайтбей в выпуске от 9 сентября 2014 года.

Во многих местах покрытие по-прежнему ограничено или отсутствует, в том числе:

• Карибский регион, кроме Барбадоса, Пуэрто-Рико, Виргинских островов Соединенных Штатов, Тринидада и Тобаго, Гваделупы, Кюрасао, Арубы, Доминиканской Республики и Мартиники
• Центральная Америка – кроме Гватемалы и Панамы
• Французская Гвиана, Гайана, Парагвай, Суринам и Венесуэла в Южной Америке
• Армения, Азербайджан, Беларусь , Босния и Герцеговина, Грузия, Казахстан, Косово, Лихтенштейн, Молдова, Ватикан, большая часть Германия и часть Австрии, Албания, Северная Македония, Россия , Сербия и Украина .
• Африка – кроме Ботсваны, Эсватини (Свазиленд), Ганы, Кении, Лесото, Намибии, Нигерии, Реюньона, Сенегала, Южная Африка , Тунис и Уганда
• Азия – кроме Бангладеш, Бутана, Камбоджи, Гонконга, Японии , Макао, Малайзии, Филиппины , Сингапура, Южной Кореи , Шри-Ланки, Тайваня, Таиланда, большей части Индонезии, Кыргызстана, Монголии и России
• Ближний Восток – кроме Бахрейна, Израиля, Иордании, Турции, Ливана и Объединенных Арабских Эмиратов
• Южная часть Тихого океана, кроме Американского Самоа, Австралия , Острова Кука (Раротонга), Остров Пасхи, Фиджи (Сува) и (Нади), Французская Полинезия (Таити), Гуам, Северные Марианские острова (остров Сайпан), Новая Зеландия, Острова Питкэрн (остров Питкэрн и Хендерсон) и Королевство Тонга (Тонгатапу).

Хотя в этих странах его нет, в некоторых из них случайно есть крошечные кусочки, привезенные из граничащей страны.

4. Оборудование для сбора данных

Камера просмотра улиц. Коулунезе, общественное достояние, https://commons.wikimedia.org/w/index.php?curid=12592188

Трайк Google Street View. Информация от Javi — собственная работа, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=10668321

• Камеры: изображения Street View получены с нескольких поколений систем камер компании Immersive. Media Company, ^[32] Point Gray Research (теперь FLIR Systems), ^[33] , разработано собственными силами. ^[34] Камеры не содержат механических частей, включая затвор, вместо этого используются датчики CMOS и электронный скользящий затвор. Широко распространенные версии:
  • R2: самые ранние после Immersive Media фотографии были сделаны с помощью кольца из восьми 11-мегапиксельных ПЗС-датчиков с коммерческими фотографическими широкоугольными объективами, камер с теми же характеристиками, что и те, которые использовались для проекта Google Книги.
  • камер Ladybug2 (разрешение 1024 x 768 пикселей) компании Point Grey Research. ^[35]
  • R5: использует кольцо из восьми 5-мегапиксельных CMOS-камер от Elphel ^{[36] [37]} со специальными линзами с низким уровнем бликов, а также камеру с объективом «рыбий глаз» наверху для съемки верхних этажей зданий.
  • R7: первая камера, полностью изготовленная собственными силами, в ней используется 15 таких же датчиков и линз, как в R5, но без эффекта «рыбий глаз».
  • 2017: использует 8 20-мегапиксельных камер. Включает в себя два обращенных влево и вправо для чтения уличных знаков и названий компаний. ^[38]
• Позиционирование: записанные фотографии должны быть связаны с точным позиционированием. Это делается с помощью глобальной системы позиционирования, датчика скорости вращения колеса и данных инерциального навигационного датчика. ^[34]
• Лазерные дальномеры от Sick AG для измерения до 50 метров под углом 180° в передней части автомобиля. ^[39] Используются для записи реальных размеров фотографируемого пространства.
• сканеров LIDAR от Velodyne были добавлены в обновлении 2017 года. Устанавливается под углом 45° для получения трехмерной информации о глубине и используется для получения дополнительной информации о местоположении. ^[38]
• Качество воздуха: в сентябре 2018 года Google объявила, что будет интегрировать датчики качества воздуха от Aclima в свой глобальный парк автомобилей Street View. ^[40]

Камера Street View Trekker, устанавливаемая на рюкзак. Автор ALMA (ESO/NAOJ/NRAO) — http://www.eso.org/public/images/ann14047a/, CC BY 4.0, https://commons.wikimedia.org/w/index.php?curid=33324390

Google Maps Street View Рюкзак Trekker устанавливается на тротуаре Hudson River Greenway в Нью-Йорке. Эндрю Хенкельман — собственная работа, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=103191834

• Транспортные средства: оборудование для записи данных обычно устанавливается на крыше автомобиля. Trike (трехколесный велосипед) был разработан для записи пешеходных маршрутов, включая Стоунхендж и другие объекты всемирного наследия ЮНЕСКО. В 2010 году система на базе снегохода захватила места зимних Олимпийских игр 2010 года. ^[34] Тележки снимали интерьеры музеев, а в Венеции узкие улочки фотографировали на рюкзаки, а каналы фотографировали с лодок. ^[41]
• Портативный рюкзак Google Trekker используется на открытом воздухе. Например, шесть основных путей вверх по Сноудону были нанесены на карту Google Trekker в 2015 году. ^[42]

5. Вопросы конфиденциальности

Автомобиль Google Street View на территории кампуса Google в Маунтин-Вью, Калифорния, октябрь 2010 г.

Google Street View будет размывать дома для любого пользователя, который делает запрос, в дополнение к автоматическому размытию лиц и номерных знаков. ^[43] Защитники конфиденциальности возражали против Google Street View, указывая на обнаруженные виды, показывающие мужчин, выходящих из стриптиз-клубов, протестующих в клинике для абортов, загорающих в бикини и людей, занимающихся действиями, видимыми из общественной собственности, которые они не делают. желают быть замеченными публично. ^[44] Еще одной проблемой является высота камер, и по крайней мере в двух странах, Японии ^[45] и Швейцария, ^[46] Google пришлось уменьшить высоту своих камер, чтобы не выглядывать из-за заборов и живых изгородей. Сервис также позволяет пользователям помечать неприемлемые или конфиденциальные изображения, чтобы Google мог их просмотреть и удалить. ^[47]

Полиция Шотландии получила извинения за напрасную трату времени полиции в 2014 году от местного владельца бизнеса в Эдинбурге, который в 2012 году инсценировал фальшивое убийство для автомобиля с камерой Google, лежа на дороге, «пока его коллега стоял над ним». с рукоятью кирки». ^[48] В мае 2010 года выяснилось, что Google собирал и хранил полезные данные из незашифрованных соединений Wi-Fi в рамках просмотра улиц. ^{[49] [50]}

Проблемы привели к тому, что Google не предоставляет или приостанавливает обслуживание в странах по всему миру.

• Австрия: Google Street View был запрещен в Австрии, поскольку в 2010 году было обнаружено, что Google собирает данные Wi-Fi без разрешения. После снятия запрета были установлены правила, согласно которым Street View может работать на законных основаниях в Австрии. Google возобновил сбор изображений в 2017 году. ^[51] С 2018 года Google Street View доступен в некоторых районах Австрии.
• Австралия: В 2010 году Google Street View прекратил работу в Австралии после нескольких месяцев расследований со стороны австралийских властей. ^[52] Однако это прекращение с тех пор закончилось: 4 мая 2011 г. Google объявила о планах продолжить производство ^[53] , а затем 27 июля 2011 г. выпустила обновленные изображения Street View для австралийских городов. ^{[ 54]}
• Германия: В 2011 году, разместив в сети фотографии 20 крупнейших городов, Google прекратил снимать изображения Street View в Германии. ^[55] Однако по состоянию на середину 2020 года на веб-сайте Google показаны многочисленные районы Германии, которые планируется охватить транспортными средствами Street View в последующие месяцы. ^[56]
• Индия: В 2011 году Google прекратил делать снимки улиц в Индии после получения письма от полиции Бангалора. ^[57]
• Канада: автомобили Street View были замечены еще в сентябре 2007 года в Montreal . Однако обслуживание Канады было отложено, пока они пытались урегулировать с канадским правительством его законы о конфиденциальности. Проблемы с конфиденциальностью и красотой города были решены, и просмотр улиц доступен в Монреале и других городах Канады (по состоянию на 2016 год). ^[58]

6. Использование изображений сторонними организациями

Изображения, полученные с помощью Google Street View, интенсивно использовались в исследовательских целях по ряду дисциплин, ^[59] напр. количественная оценка зелени, исследования здоровья и оценка условий езды на велосипеде. ^[60]

Фотографы изобразительного искусства выбрали изображения для использования в своих работах. ^[61] Хотя изображения могут быть пикселизированы, цвета размыты, а перспектива искажена, фотографии были опубликованы в виде книг и выставлены в художественных галереях, например, работа Джона Рафмана в галерее Саатчи в Лондоне. ^[62] Оценивая материалы Просмотра улиц, Рафман видит изображения, напоминающие о «суровой городской жизни», запечатленные в американской уличной фотографии, а также изображения, заказанные Управлением безопасности ферм. Он также ссылается на эстетику «решающего момента» Анри Картье-Брессона, «как если бы я был фотожурналистом, мгновенно реагирующим на возникающее событие». ^[63]

Майкл Вольф получил почетное упоминание в Daily Life на конкурсе World Press Photo 2011 года за некоторые из своих работ с использованием Google Street View. ^[64]

Мишка Хеннер был номинирован на премию Deutsche Börse Photography Prize 2013 года в ноябре 2012 года за свою серию «Ничейная земля», в которой изображены секс-работники в сельских придорожных местах. ^[65]

Шведский программист Антон Валлен разработал игру под названием GeoGuessr, которая помещает игроков в Google Street View и заставляет их угадывать их местоположение. ^[66]

Канадская художница Сильвия Грейс Борда работала вместе с Джоном М. Линчем в период с 2013 по 2014 год. двигатель. Их усилия принесли им премию Lumen в 2016 году. ^[71]

Вот как Google улучшает свои панорамы Street View

Карты Google — одно из самых популярных приложений Google. Одной из функций, которая делает его таким популярным, является просмотр улиц. В течение многих лет мы могли запускать приложение, искать адрес и видеть реальную картину места, которое мы ищем. Не только это, но если вы хотите посмотреть, что находится по соседству, вниз по улице или в нескольких кварталах от вас, вы тоже можете это сделать.

Теперь вы можете исследовать Международную космическую станцию ​​с помощью Google Maps Street View

Новости

Просмотр улиц работает путем объединения, казалось бы, бесконечного количества панорам. Установка с 15 камерами, называемая розеткой, прикреплена к крыше автомобиля, и Google ездит, фотографируя ее. Затем он использует программное обеспечение для объединения этих изображений, что дает нам изображения Street View, которые мы видим сегодня.

Поскольку Google использует несколько камер для захвата каждого изображения, могут возникнуть проблемы. К ним относятся неправильная калибровка геометрии камеры, разница во времени между любой из 15 камер или параллакс. Эти проблемы могут привести к разрыву или смещению изображений. Одним из ярких примеров этого является изображение Сиднейского оперного театра в Просмотре улиц, показанное ниже. Но Google работает над исправлением этого с помощью нового программного алгоритма.

Google

Optical Flow

Итак, как Google справился с этим? Хотя может показаться, что выровнять изображения легко, Google пришлось учитывать массу переменных в процессе. Параллакс, о котором мы упоминали ранее, вызван тем, что каждая из камер на розетке видит изображения, немного различающиеся из-за расстояния между ними. Разрыв между камерами означает, что каждое изображение немного отличается. Становится трудной задачей сшивать картинки вместе, когда каждая из них имеет разный ракурс.

Другая проблема связана со временем. В то время как розетка представляет собой одну установку, она состоит из 15 камер. Все эти камеры должны быть настроены на одновременное срабатывание. Представьте себе: вы сидите на пассажирском сиденье автомобиля, который едет со скоростью 35 миль в час. У вас в каждой руке по камере, и вы нажимаете кнопку спуска затвора на камере в правой руке через полсекунды после камеры в левой руке. Камеры будут делать разные снимки, потому что вы на одну секунду дальше по дороге. А теперь представьте, что у вас есть 15 камер.

Это всего лишь два примера того, что может пойти не так при съемке панорам для просмотра улиц. Чтобы решить их, Google начинает использовать совершенно новый алгоритм, использующий оптический поток. Оптический поток означает, что программное обеспечение, которое анализирует эти изображения, находит соответствующие пиксели в изображениях, которые перекрываются. Как только программа находит эти перекрывающиеся пиксели, она может исправить найденные смещения.

Google

Геометрия

В Google Earth VR добавлена ​​поддержка Street View для туров от первого лица

Новости

Когда эти несоответствия будут устранены, вы должны убедиться, что в процессе не возникнет больше. Если вы переместите одну часть изображения, это повлияет на то, как выровняется остальная его часть. Чтобы исправить любые другие оставшиеся проблемы, Google должен затем изменить геометрию всей сцены, чтобы убедиться, что все по-прежнему подходит друг к другу.

Он делает это, растягивая и сжимая другие части изображения, чтобы убедиться, что все продолжает выстраиваться. Он использует точки, найденные в процессе оптического потока, в качестве ориентиров, чтобы определить, где нужно растянуть, а где сжать. Процесс далеко не простой, но Google уменьшает количество фотографий, чтобы сделать процесс немного менее требовательным к вычислительным ресурсам.