Google убирает из браузера Chrome строку ‘user-agent’ / Блог компании Дата-центр «Миран» / Хабр
При посещении веб-сайта браузер или другое клиентское приложение обычно посылает веб-серверу информацию о себе. Эта текстовая строка является частью HTTP-запроса. Она начинается с
User-agent:или
User-Agent:и обычно содержит название и версию приложения, операционную систему компьютера и язык. Например, Chrome под Android посылает что-то вроде такого:
User-Agent: Mozilla/5.0 (Linux; Android 9; Pixel 2 XL Build/PPP3.180510.008) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Mobile Safari/537.36Но разработчики Chrome считают, что это слишком подробная информация. Они
объявили о решении отказаться от user-agentв браузере Chrome. Вместо этого Chrome предложит новый API под названием Client Hints, который позволит лучше контролировать, какая информация передаётся веб-сайтам.
Это делается для защиты приватности, поскольку злоумышленники сейчас активно используют 
Вообще ненормальна ситуация, когда user-agent транслируется всем подряд в автоматическом режиме.
Строка User-Agent впервые появилась в Mosaic, популярном браузере начала 90-х. Тогда браузер отправлял просто строку с названием и версией браузера. Строка выглядела примерно так:
Mosaic/0.9В первое время от этой информации было мало практической пользы. Через несколько лет вышел браузер Netscape, он перенял у предшественника строку
user-agentи добавил к неё дополнительные детали, такие как операционная система, язык и т. д. Примерно с этого времени веб-сайты начали учитывать
user-agent, чтобы выдавать клиенту правильный контент.
Поскольку Mosaic и Netscape поддерживали разный набор функций, веб-сайты должны были использовать строку user-agent, чтобы определить тип браузера и избежать использования неподдерживаемых функций (например, фреймы поддерживались только Netscape, но не Mosaic).
В течение многих лет определение версии браузера продолжало играть значительную роль в веб-разработке. Это вызвало неприятные побочные эффекты, когда мелким разработчикам браузеров приходилось имитировать популярные user-agent’ы для корректного отображения веб-сайта, поскольку некоторые компании поддерживали только основные типы user-agent.
С ростом популярности JavaScript большинство разработчиков начали использовать библиотеки вроде Modernizer, которые определяют конкретный список функций HTML, CSS и JavaScript, которые поддерживает конкретный браузер, обеспечивая гораздо более точные результаты, чем user-agent.
В результате основными пользователями user-agent остались представители рекламной индустрии, где компании используют характеристики браузера и операционной системы для фингерпринтинга пользователей, а большинство людей не знает, как противостоять этому, а многие даже не осознают угрозы, которую представляет собой тотальная слежка и пожизненное профилирование каждого человека.
По иронии, Google считается одним из главных нарушителей приватности. Именно эта компания собирает самые подробные профили пользователей, собирая данные из электронной почты, GPS-трекеров, операционной системы Android и десятков своих веб-сервисов.
Более того, именно Google в последнее время чаще всех злоупотребляла user-agent, блокируя доступ к своим сервисам пользователей с альтернативными браузерами. Чтобы открыть эти сервисы, альтернативным браузерам приходилось подделывать строку user-agent и выдавать себя за Chrome. Например, см. список поддельных user-agent для браузера Microsoft Edge, который тоже вынужден выдавать себя за Chrome на десятках сайтов.
Gmail, Google Maps и другие сервисы работают медленнее
во всех браузерах, кроме Chrome.Но бывает, что интересы отдельных разработчиков идут вразрез с интересами работодателя. Возможно, здесь как раз такой случай. Мы и раньше видели, как разработчики Chrome выражали протест некорректными действиями компании, когда она выкатывала сервисы «только для Chrome». Они выражали недовольство в твиттере и во внутренней корпоративной рассылке. Это действительно грамотные специалисты, у которых неадекватные решения руководства Google не могли вызвать ничего, кроме недоумения и фейспалма. Похоже, сейчас пришло время для конкретных действий.
Команда разработчиков браузера Chrome начала поэтапный отказ от user-agent, начиная с версии Chrome 81. Отказ от user-agent значительно затруднит Google некорректные практики по продвижению своего браузера.
Полностью удалить user-agent пока проблематично, поскольку многие сайты ещё полагаются на эту строку, но Chrome больше не будет обновлять версию браузера и укажет одинаковую версию ОС
user-agent для всех устройств.В частности, со всех мобильных устройств Chrome будет отправлять такую строку:
Mozilla/5.0 (Linux; Android 9; Unspecified Device) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/71.1.2222.33 Mobile Safari/537.36Со всех настольных компьютеров строка будет выглядеть следующим образом, независимо от устройства и версии браузера:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.1.2222.33 Safari/537.36Переход с
user-agentна Client Hints планируется завершить к версии Chrome 85, которая должна выйти в сентябре 2020 года. Другие разработчики браузеров, включая Mozilla Firefox, Microsoft Edge и Apple Safari, выразили поддержку этому шагу, хотя пока не огласили свои планы по аналогичным действиям.
Подробнее о предлагаемой альтернативе Client Hints можно почитать в официальном репозитории Github. Это предложение пока не оформлено в виде стандарта, поэтому точная реализация может измениться к моменту выпуска официальных рекомендаций. Разработчикам рекомендуется следить за изменениями в репозитории, а также за примечаниями, которые публикуются с новыми версиями Chrome.
Главное отличие Client Hints от user-agent в том, что сайты больше не будут пассивно получать информацию о браузере пользователя. Они будут вынуждены активно запрашивать её, а браузер может отказать в таком запросе, примерно так же, как сейчас некоторые браузеры блокируют сторонние куки.
User-Agent ботов поисковых систем Яндекс, Google, Rambler, Bing, Yahoo
Заметка скорее для самого себя — список сигнатур User-Agent поисковых систем для использования в плагинах, определяющих геолокацию посетителя сайта.
Наш список юзерагентов возглавляют:
Поисковые боты Google
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) Mediapartners-Google Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) AdsBot-Google (+http://www.google.com/adsbot.html) Googlebot-Image/1.0 Googlebot-News Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot/2.1 (+http://www.google.com/bot.html) Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Mediapartners-Google/2.1; +http://www.google.com/bot.html AdsBot-Google-Mobile-Apps
User-Agent Яндекс бота
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexDirectDyn/1.0; +http://yandex.com/bots Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexForDomain/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots) Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36 (compatible; YandexMedianaBot/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots)
Поисковые боты Mail.Ru представляются так:
Mozilla/5.0 (compatible; Mail.RU_Bot/Fast/2.0)Поисковые роботы системы Рамблер:
StackRambler/2.0 (MSIE incompatible)
StackRambler/2.0Боты Yahoo:
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)
Боты MSN:
msnbot/1.1 (+http://search.msn.com/msnbot.htm)
msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)
msnbot-news (+http://search.msn.com/msnbot.htm) Боты Bing:
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)Google забанила в своих сервисах популярные Linux-браузеры
| Поделиться Пользователи ряда известных браузеров для Linux-систем пожаловались на то, что Google начал блокировать им доступ к в своим сервисам. Американский поисковый гигант считает Konqueror, Falkon и Qutebrowser небезопасными.Google ополчился на Linux-браузеры
Корпорация Google отказывает в доступе к своим интернет-сервисам пользователям некоторых браузеров для операционных систем на базе ядра Linux. Об этом сообщил Bleepingcomputer.
Трудности со входом в учетную запись Google могут испытывать пользователи Konqueror, Falkon и Qutebrowser, поскольку система аутентификации Google считает эти достаточно популярные в узких кругах браузеры небезопасными.
Konqueror – это веб-браузер с открытым исходным кодом, разрабатываемый в рамках проекта популярной среды рабочего стола для UNIX-совместимых операционных систем KDE Plasma (ранее KDE). Для обработки HTML использует движок KHTML, кодовая база которого послужила основной для движка Webkit (браузеры Safari, прежние версии Chrome и Opera), который, в свою очередь, использовала Google при создании и поныне актуального Blink (браузеры Chrome, Opera, «Яндекс.браузер» и прочие на базе Chromium после 2013 г.).
Falkon (ранее Qupzilla) – кроссплатформенный обозреватель с открытым исходным кодом, с 2017 г. являющийся проектом KDE. Базируется на компоненте Qtwebengine с поддержкой движка Blink.
Qutebrowser – еще один кроссплатформенный браузер с минималистичным графическим интерфейсом и системой навигации в стиле текстового редактора Vim, построенной целиком на клавиатурных комбинациях. Так же, как и Falkon использует Qtwebengine.
Издание обратилось к Google за комментарием относительно ситуации, но на момент выхода данного материала ответ опубликован не был.
Подробнее о проблеме
Как отмечает Bleepingcomputer, сейчас нельзя с уверенностью сказать, когда именно вышеперечисленные обозреватели попали в список нежелательных по версии поискового гиганта, однако тема, посвященная данной проблеме была открыта на форуме Reddit еще в начале декабря 2019 г.
Google не дает войти в учетную запись пользователю браузера Falkon
Причем отдельные пользователи в комментариях к оригинальному сообщению отмечают, что не испытывают каких-либо проблем со входом в свою учетную запись при использовании браузера Falkon. Другие подтверждают ее наличие и докладывают об успехах в деле ее решения подручными средствами. К примеру, сам автор поста утверждает, что благодаря совету одного из комментаторов ему удалось войти в Google-аккаунт при помощи подмены так называемого User-agent – идентификатора ПО, используемого для доступа к веб-ресурсу. По его словам, использование строки “Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0” в качестве User-agent позволило обойти ограничение, однако попытка обмануть Google, представив Konqueror фирменным браузером корпорации – Google Chrome, не дала желаемого результата.
Стратегии ИБ всегда игнорировали безопасность данных. Больше этого делать нельзя
БезопасностьРедакции Bleepingcomputer удалось подтвердить наличие проблемы в ходе собственного эксперимента: журналисты попробовали войти в собственные Google-аккаунты, используя несколько различных компьютеров под управлением Linux, а также браузеров Konqueror и Falkon. Попытки не увенчались успехом – система встретила пользователей сообщением следующего содержания: «Невозможно войти в систему. Этот браузер или приложение могут быть небезопасными. Попробуйте другой браузер. Если уже используется поддерживаемый браузер, попробуйте обновить страницу и войти вновь».
Кроме того, в тексте присутствует ссылка на страницу поддержки Google, где перечислены поддерживаемые браузеры (Chrome, Safari, Firefox, Opera, Internet Explorer и Edge), а также условия, при которых попытки входа в учетную запись могут блокироваться. Среди них – отсутствие поддержки браузером языка сценариев Javascript и наличие небезопасных или неподдерживаемых расширений.
Google и чужие продукты
Ранее Google неоднократно обвиняли в «нечестных» методах продвижения собственных продуктов.
Так, в апреле 2019 г. бывший вице-президент Mozilla Джонатан Найтингейл (Johnathan Nightingale) рассказал о якобы имеющихся у Google планах по уничтожению Firefox в угоду господству Chrome на рынке браузеров. По его словам, первые попытки убрать конкурента Google предприняла сразу после выхода Chrome в 2008 г., и, спустя 11 лет, ее затея возымела успех – Firefox занимает менее 10% рынка, тогда как Chrome удерживает свыше 60%.
В декабре 2018 г. экс-стажер команды Microsoft Edge Джошуа Бакита (Joshua Bakita) назвал свою версию причины, по которой Microsoft решила перевести браузер Edge на движок Chromium вместо развития собственного EdgeHTML. Он считал, что решение было принято потому, что Google слишком часто и непредсказуемо модифицировала свои веб-приложения, из-за чего в других браузерах они работали с ошибками. По официальной версии, переход был осуществлен ради улучшения совместимости с сайтами и упрощения процесса разработки приложений.
В июле 2018 г. руководитель технической программы Mozilla Крис Петерсон (Chris Peterson) обвинил Google в том, что она замедлила работу сервиса Youtube на всех браузерах, кроме Chrome.
Дмитрий Степанов
Обзор поисковых роботов Google (пользовательских агентов) | Центр поиска
«Краулер» — это общий термин для любой программы (например, робота или паука), которая используется для
автоматически обнаруживать и сканировать веб-сайты, переходя по ссылкам с одной веб-страницы на другую.
Главный сканер Google называется
Googlebot. В этой таблице приведена информация
об обычных сканерах Google, которые вы можете видеть в журналах рефереров, и о том, как
указать их в
robots.txt,
метатеги robots и X-Robots-Tag HTTP-директивы.
В следующей таблице показаны поисковые роботы, используемые различными продуктами и услугами в Google:
- Токен пользовательского агента используется в строке
User-agent:в robots.txt. чтобы соответствовать типу сканера при написании правил сканирования для вашего сайта. У некоторых сканеров более один жетон, как показано в таблице; вам нужно сопоставить только один токен сканера, чтобы правило подать заявление. Этот список неполный, но охватывает большинство поисковых роботов, которые вы можете увидеть на своем Веб-сайт. - Полная строка пользовательского агента — это полное описание поискового робота, которое появляется в запрос и ваши веб-журналы. Эти значения можно подделать. Если вам нужно убедиться, что посетитель Googlebot, использовать обратный поиск DNS.
Краулеры | |||||
|---|---|---|---|---|---|
API — Google |
| ||||
AdSense |
| ||||
AdsBot Мобильный Интернет Android | Проверяет качество рекламы на веб-страницах Android.
| ||||
AdsBot Mobile Web | Проверяет iPhone в Интернете качество рекламы на странице.
| ||||
AdsBot | Проверяет настольный компьютер в Интернете качество рекламы на странице.
| ||||
Изображение робота Googlebot |
| ||||
Новости Googlebot |
| ||||
Googlebot Video |
| ||||
Googlebot Desktop |
| ||||
Смартфон Googlebot |
| ||||
AdSense для мобильных устройств |
| ||||
Мобильные приложения Android | Проверяет рекламу на странице приложения Android
качественный. Подчиняется правилам роботов
| ||||
Feedfetcher | Feedfetcher не уважает роботов.txt правила.
Вот почему.
| ||||
Google Читать вслух | Google Read Aloud не уважает роботов.txt правила.
Вот почему.
| ||||
Дуплекс в сети | Дуплекс в Интернете может игнорировать подстановочный знак * .Вот почему.
| ||||
Google Favicon | Для запросов, инициированных пользователем, Google Favicon игнорирует
роботы.txt правила.
| ||||
Веб-светильник | Web Light не уважает роботов.txt правила.
Вот почему.
| ||||
Google StoreBot |
| ||||
Хром / Вт.X.Y.Z в пользовательских агентах
Везде, где вы видите строку Chrome / W.X.Y.Z в пользовательском агенте
строки в таблице, W.X.Y.Z на самом деле является заполнителем, который представляет версию
браузера Chrome, используемого этим пользовательским агентом: например, 41.0.2272.96 . Эта версия
число со временем увеличится до
соответствует последней версии выпуска Chromium, используемой роботом Googlebot.
Если вы ищете в своих журналах или фильтруете свой сервер для пользовательского агента с этим шаблоном, используйте подстановочные знаки для номера версии, а не указывайте точный номер версии.
Пользовательские агенты в robots.txt
Если в файле robots.txt распознаются несколько пользовательских агентов, Google будет следить за большинством
специфический. Если вы хотите, чтобы весь Google мог сканировать ваши страницы, вам не нужен
robots.txt вообще. Если вы хотите заблокировать или разрешить всем сканерам Google доступ
часть вашего контента, вы можете сделать это, указав Googlebot в качестве пользовательского агента. Например,
если вы хотите, чтобы все ваши страницы отображались в поиске Google, и если вы хотите, чтобы показывались объявления AdSense
на ваших страницах вам не нужен файл robots.txt файл. Точно так же, если вы хотите заблокировать некоторые страницы
от Google, блокировка пользовательского агента Googlebot также заблокирует все
Другие пользовательские агенты Google.
Но если вам нужен более детальный контроль, вы можете сделать его более конкретным. Например, вы можете
хотите, чтобы все ваши страницы отображались в поиске Google, но вы не хотите, чтобы изображения в вашем личном
каталог для сканирования. В этом случае используйте robots.txt, чтобы запретить Googlebot-Image пользовательский агент от сканирования файлов в вашем личном каталоге
(позволяя роботу Google сканировать все файлы), например:
Пользовательский агент: Googlebot Запретить: Пользовательский агент: Googlebot-Image Disallow: / personal
Возьмем другой пример. Допустим, вам нужна реклама на всех своих страницах, но они не нужны.
страницы, которые будут отображаться в поиске Google.Здесь вы заблокируете Googlebot, но разрешите Mediapartners-Google пользовательский агент, например:
Пользовательский агент: Googlebot Запретить: / Пользовательский агент: Mediapartners-Google Disallow:
Некоторые страницы используют несколько метатегов роботов для указания директив для разных поисковых роботов, например это:
В этом случае Google будет использовать сумму отрицательных директив, а робот Googlebot будет следовать
директивы noindex и nofollow .Более подробная информация о том, как Google сканирует и индексирует ваш сайт.
API-интерфейсов пользователя Google | Центр поиска Google | Разработчики Google
APIs-Google — это пользовательский агент, используемый API Google для доставки сообщений push-уведомлений. Разработчики приложений могут запрашивать эти уведомления, чтобы избежать необходимости постоянно опрос серверов Google, чтобы узнать, изменились ли интересующие их ресурсы.Чтобы убедиться, что никто не злоупотребляет этой службой, Google требует от разработчиков доказать, что они владеют домен, прежде чем разрешить им зарегистрировать URL-адрес с доменом в качестве места, где они хотите получать сообщения.
Как APIs-Google получает доступ к вашему сайту
APIs-Google отправляет каждое push-уведомление с помощью запроса HTTPS POST. Если запрос не выполняется в случае возникновения ошибки, которая может быть временной, APIs-Google повторно отправит уведомление. Если запрос по-прежнему не выполняется, он будет продолжать повторять попытку — на основе экспоненциального отката график — максимум до нескольких дней.
Скорость доступа API-интерфейсов Google к вашему сайту зависит от количества запросов push-уведомлений. были созданы для серверов на вашем сайте, исходя из того, насколько быстро отслеживаемые ресурсы получают обновлен, и по количеству повторных попыток. В результате шаблоны трафика API-Google может быть согласованным в некоторых сценариях, но в других сценариях трафик может быть спорадическим или остроконечный.
Подготовьте свой сайт к API-интерфейсам Google
APIs-Google использует HTTPS для доставки push-уведомлений, поэтому на вашем сайте должен быть действующий SSL-сертификат. Недействительные сертификаты включают следующее:
- Самоподписанные сертификаты.
- Сертификаты, подписанные ненадежным источником.
- Отозванных сертификатов.
Избегайте ненужных повторных запросов, убедившись, что ваше приложение хорошо спроектировано и оперативно реагирует на уведомления (в течение нескольких секунд).
Запретить APIs-Google вызывать ваш сайт
Чтобы запретить APIs-Google вызывать ваш сайт, выполните одно из следующих действий:
- Отменить регистрацию для уведомлений. Если вы администрируете домен, субдомены или подпространства URL, которые принадлежат или администрируются отдельно, один из субдоменов владельцы могли настроить приложение, которое использует push-уведомления. Если вы хотите заблокировать APIs-Google, свяжитесь с любым, кто мог бы настроить подобное приложение, и попросите их отключи это.
- Используйте robots.txt. Пользовательский агент, который следует указать в файле robots.txt:
APIs-Google–APIs-Googleне следует директивам Googlebot.Может произойти небольшая задержка, прежде чемAPIs-Googleобнаружит изменение вашего файла robots.txt. ЕслиAPIs-Googleпродолжает отправлять сообщения на ваш сайт через несколько дней после того, как вы заблокировали его в robots.txt, убедитесь, что файл robots.txt находится в правильном месте.
Проверить звонящего
Если вы подозреваете, что получаете поддельные запросы, вы можете
убедитесь, что бот, обращающийся к вашему серверу, действительно звонит из Google.com.
Найдите в журналах любые IP-адреса, идентифицирующие себя как APIs - пользовательский агент Google ; обратный поиск DNS показывает googlebot.com или
домен google.com.
Обновление пользовательского агента Googlebot | Центральный блог Google Search
2 октября 2019 г., среда
Робот Googlebot использует браузер на базе Chrome для отображения веб-страниц, поскольку мы объявили на Google I / O Ранее в этом году. В рамках этого в декабре 2019 года мы обновим строки пользовательского агента робота Googlebot. чтобы отразить новую версию браузера и периодически обновлять номера версий, чтобы они соответствовали Chrome обновления в Googlebot.
См. Сканеры Google (пользовательские агенты) и убедитесь, что Google может индексировать JavaScript. для ознакомления с информацией о строках пользовательского агента и рендеринге.
Пользовательские агенты Googlebot сегодня
Мобильный:
Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 41.0.2272.96 Mobile Safari / 537.36 (совместимый; Googlebot / 2.1; + http: / /www.google.com/bot.html)
Рабочий стол:
Mozilla / 5.0 (совместимый; Googlebot / 2.1; + http: //www.google.com/bot.html)
ИЛИ
Mozilla / 5.0 AppleWebKit / 537.36 (KHTML, например Gecko; совместимый; Googlebot / 2.1; + http: //www.google.com/bot.html) Safari / 537.36
Новый вечнозеленый робот Googlebot и его пользовательский агент
В декабре мы начнем периодически обновлять приведенные выше строки пользовательского агента, чтобы отразить версию
Chrome, используемого в Googlebot. В следующих строках пользовательского агента Вт.X.Y.Z будет заменен на
Версия Chrome
мы используем. Например, вместо W.X.Y.Z вы увидите что-то
аналогично 76.0.3809.100 . Этот номер версии будет обновлен
постоянная основа.
Мобильный:
Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / WXYZ Mobile Safari / 537.36 (совместимый; Googlebot / 2.1; + http: // www .google.com / bot.html)
Рабочий стол:
Mozilla / 5.0 (совместимый; Googlebot / 2.1; + http: //www.google.com/bot.html)
ИЛИ
Mozilla / 5.0 AppleWebKit / 537.36 (KHTML, например, Gecko; совместимый; Googlebot / 2.1; + http: //www.google.com/bot.html) Chrome / W.X.Y.Z Safari / 537.36
Как протестировать свой сайт
Мы провели оценку, поэтому уверены, что на большинство веб-сайтов это изменение не повлияет.
Сайты, которые следуют нашим рекомендациям по использованию функции обнаружения и прогрессивного улучшения вместо сниффинга пользовательского агента должен продолжать работать без каких-либо изменений.
Если ваш сайт ищет определенный пользовательский агент, это может повлиять на него. Вы должны использовать функцию обнаружение вместо обнюхивания пользовательского агента. Если вы не можете использовать обнаружение функций и вам нужно обнаружить Робот Googlebot через пользовательский агент, затем найдите «Googlebot» в пользовательском агенте.
При оценке этого изменения мы наблюдали следующие распространенные проблемы:
- Страницы, отображающие сообщение об ошибке вместо обычного содержимого страницы.Например, страница может предположить, что робот Googlebot является пользователем с блокировщиком рекламы, и случайно запретить ему доступ содержимое страницы.
- Страницы, которые перенаправляют на роботизированный документ или документ без индекса.
Если вы не уверены, затронут ваш сайт или нет, вы можете попробовать загрузить свою веб-страницу в свой браузер с помощью нового пользовательского агента Googlebot. Эти инструкции покажите, как переопределить ваш пользовательский агент в Chrome.
Если у вас есть какие-либо вопросы, обязательно свяжитесь с нашим сообщество помощи для веб-мастеров, присоединяйтесь к нашему часы работы веб-мастера на YouTube или Следуйте за нами на Twitter.
Автор: Зои Клиффорд, инженер-программист в группе службы веб-рендеринга
Google откажется от строк пользовательских агентов в Chrome
Изображение: Google // Состав: ZDNetСегодня Google объявила о планах по поэтапному отказу от использования строк пользовательского агента в своем веб-браузере Chrome.
Для читателей, незнакомых с этим термином, строки пользовательского агента (UA) являются важной частью современного Интернета и того, как работают браузеры.
Строка UA — это фрагмент текста, который браузеры отправляют на веб-сайты, когда они инициируют соединение. Строка UA содержит сведения о типе браузера, механизме рендеринга и операционной системе. Например, строка UA для Firefox в Windows 10 выглядит так:
Mozilla / 5.0 (Windows NT 10.0; Win64; x64; rv: 71.0) Gecko / 20100101 Firefox / 72.0
Строки UA были разработаны как часть браузера Netscape в 90-х годах и используются с тех пор. На протяжении десятилетий веб-сайты использовали строки UA для точной настройки функций на основе технических характеристик посетителя.
Но теперь Google заявляет, что этот когда-то полезный механизм стал постоянным источником проблем на разных фронтах.
Во-первых, строки UA использовались онлайн-рекламодателями как способ отслеживания посетителей веб-сайтов и их отпечатков пальцев.
«Помимо этих проблем с конфиденциальностью, сниффинг User-Agent является многочисленным источником проблем с совместимостью, в частности для браузеров меньшинств, в результате чего браузеры лгут о себе (как правило, или о конкретных сайтах), а сайты (включая свойства Google) ломаются. в некоторых браузерах без уважительной причины «, — сказал Йоав Вайс, инженер Google, работающий над браузером Chrome.
Для решения этих проблем Google заявила, что планирует постепенно снизить важность строк UA в Chrome, заморозив стандарт в целом.
План
Google планирует прекратить обновлять компонент UA Chrome новыми строками (текст строки UA, который Chrome разделяет с веб-сайтами).
Долгосрочный план состоит в том, чтобы объединить все строки Chrome UA в общие значения, которые не раскрывают слишком много информации о пользователе.
Это означает, что в новых выпусках браузера Chrome на новых платформах, таких как новые модели смартфонов или новые выпуски ОС, будет использоваться общая строка UA, а не строка, настроенная для этой конкретной платформы.
Например, в будущем веб-сайт не сможет определить, использует ли посетитель, использующий Chrome, Chrome в Windows 7 или Windows 11, или использует ли мобильный пользователь Chrome телефон Samsung Galaxy или телефон Pixel 9.
Веб-сайты смогут узнать, что пользователь использует Chrome, и находятся ли они на настольном компьютере или мобильном устройстве, но это все.
Для устаревших целей существующие строки Chrome UA будут продолжать работать, поэтому они не будут нарушать существующие технологии и скрипты, работающие в Интернете.
Вот текущий план Google по устранению устаревания строки UA:
- Chrome 81 (середина марта 2020 г.) — Google планирует отображать предупреждения в консоли Chrome для веб-страниц, которые читают строку UA, чтобы разработчики могли настроить код своего веб-сайта.
- Chrome 83 (начало июня 2020 г.) — Google заморозит версию браузера Chrome в строке UA и унифицирует версии ОС
- Chrome 85 (середина сентября 2020 г.) — Google объединит строку ОС настольного компьютера UA как строку общее значение для настольных браузеров.Google также объединит строки мобильной ОС / устройства как одинаковое общее значение.
Прощай, UA strings! Здравствуйте, клиентские подсказки!
Прекращение поддержки строкового механизма UA является частью стремления Google улучшить конфиденциальность в Интернете, но не убивает онлайн-рекламу, которая является источником жизненной силы большинства бесплатных веб-сайтов сегодня.
Строки UA в Chrome будут заменены новым механизмом под названием Client Hints. Client Hints — это механизм, с помощью которого веб-сайты могут запрашивать информацию о пользователе, но без «исторического багажа и пассивной поверхности для снятия отпечатков пальцев, обнаруживаемой почтенным заголовком User-Agent», как гласит официальный стандарт.
Механизм клиентских подсказок был разработан в рамках проекта Google Privacy Sandbox, анонсированного в августе прошлого года.
Стек технологий Privacy Sandbox призван предоставить веб-сайтам и рекламодателям возможность запрашивать в браузерах сведения о пользователях таким образом, чтобы браузеры не отображали слишком много информации о пользователях.
Через песочницу конфиденциальности браузеры будут делиться достаточным объемом информации о пользователях, чтобы рекламодатели могли объединять пользователей в общие группы, а не создавать подробные индивидуальные профили.
Прекращение поддержки строк UA для клиентских подсказок — один из первых шагов, которые Google предпринимает для внедрения песочницы конфиденциальности в Chrome, что Google обещал прошлым летом.
Apple (Safari), Microsoft (Edge) и Mozilla (Firefox) также выразили поддержку предложению Google заморозить и поэтапно отказаться от строки пользовательского агента, но не объявили подробных планов на момент написания.
строк пользовательского агента — разработчики Chrome
Строка пользовательского агента (UA) браузера помогает определить, какой браузер используется, какая версия и в какой операционной системе.Когда API обнаружения функций недоступны, используйте UA для настройки поведения или содержимого для определенных версий браузера.
Как и все другие браузеры, Chrome для Android отправляет эту информацию в HTTP-заголовке User-Agent каждый раз, когда он делает запрос к любому сайту. Он также доступен в клиенте через JavaScript с помощью вызова navigator.userAgent .
# Chrome для Android
Chrome для Android сообщает о своем UA в следующих форматах, в зависимости от того, является ли устройство телефоном или планшетом.
Телефон UA:
Mozilla / 5.0 (Linux; {версия Android}; {тег сборки и т. Д.})
AppleWebKit / {WebKit Rev} (KHTML, например Gecko)
Chrome / {Chrome Rev} Mobile Safari / {WebKit Rev} Tablet UA:
Mozilla / 5.0 (Linux; {Android Version}; {Build Tag etc.})
AppleWebKit / {WebKit Rev} (KHTML, например Gecko)
Chrome / {Chrome Rev} Safari / {WebKit Rev} Вот пример строки пользовательского агента Chrome на Galaxy Nexus:
Mozilla / 5.0 (Linux; Android 4.0.4; Galaxy Nexus Build / IMM76B)
AppleWebKit / 535.19 (KHTML, например, Gecko)
Chrome / 18.0.1025.133 Mobile Safari / 535.19 Если вы анализируете строки пользовательского агента с помощью регулярных выражений, для проверки наличия Chrome на телефонах и планшетах Android можно использовать следующее:
- Шаблон телефона:
'Android' + 'Chrome / [. 0-9] * Mobile' - Шаблон планшета:
'Android '+' Chrome / [. 0-9] * (?! Mobile) '
# Chrome для iOS
UA в Chrome для iOS такой же, как пользовательский агент Mobile Safari, с CriOS / вместо Version / .
Вот пример Chrome UA на iPhone:
Mozilla / 5.0 (iPhone; CPU iPhone OS 10_3, например Mac OS X)
AppleWebKit / 602.1.50 (KHTML, например Gecko) CriOS / 56.0.2924.75
Mobile / 14E5239e Safari / 602.1 Для сравнения: Mobile Safari UA:
Mozilla / 5.0 (iPhone; CPU iPhone OS 10_3, как Mac OS X)
AppleWebKit / 603.1.23 (KHTML, как Gecko)
Версия / 10.0 Mobile / 14E5239e Safari / 602.1 В версиях до Chrome 84, когда включена функция Request Desktop Site, отправляется Desktop Safari UA:
Mozilla / 5.0 (Macintosh; Intel Mac OS X 10_10_4)
AppleWebKit / 600.7.12 (KHTML, например Gecko)
Версия / 8.0.7 Safari / 600.7.12 Начиная с Chrome 85, когда включена функция запроса сайта рабочего стола, UA совпадает с Desktop Safari UA с добавлением CriOS / :
Mozilla / 5.0 (Macintosh; Intel Mac OS X 10_13_5)
AppleWebKit / 605.1.15 (KHTML, как Gecko) Версия CriOS / 85
/ 11.1.1 Safari / 605.1.15 # WebView на Android
Android 4.4 (KitKat) WebView на основе Chromium добавляет Chrome / _version_ к строке пользовательского агента.
Старый WebView UA:
Mozilla / 5.0 (Linux; U; Android 4.1.1; en-gb; Build / KLP)
AppleWebKit / 534.30 (KHTML, как Gecko)
Version / 4.0 Safari / 534.30 WebView UA в KitKat для Lollipop
Mozilla / 5.0 (Linux; Android 4.4; Nexus 5 Build / _BuildID_)
AppleWebKit / 537.36 (KHTML, как Gecko)
Версия / 4.0 Chrome / 30.0.0.0 Mobile Safari / 537.36 Если вы пытаетесь провести различие между WebView и Chrome для Android, вам следует обратить внимание на наличие строки Version / _X.X_ в строке пользовательского агента WebView. Не полагайтесь на конкретный номер версии Chrome (например, 30.0.0.0), поскольку номера версий меняются с каждым выпуском.
WebView UA в Lollipop и выше
В более новых версиях WebView вы можете различать WebView, ища поле wv, как выделено ниже.
Mozilla / 5.0 (Linux; Android 5.1.1; Nexus 5 Build / LMY48B; wv )
AppleWebKit / 537.36 (KHTML, как Gecko)
Версия / 4.0 Chrome / 43.0.2357.65 Mobile Safari / 537.36 Google возобновляет изменения, связанные с конфиденциальностью, в строках UA Chrome — TechCrunch
Google возобновляет работу по уменьшению детализации информации, представленной в строках пользовательского агента в его браузере Chrome, заявили они сегодня, продолжая усилия, которые он приостановил в прошлом году, в первые дни пандемии COVID-19, когда он заявил, что хочет избежать чрезмерного бремени миграции на веб-экосистему в разгар чрезвычайной ситуации в области общественного здравоохранения.
Возобновление перехода имеет последствия для веб-разработчиков, поскольку изменения в строках пользовательского агента могут нарушить некоторую существующую инфраструктуру без обновления кода. Хотя Google выложил довольно щедрую шкалу исходных тестов — и в своем сообщении в блоге подчеркивается, что « в стабильном канале Chrome в 2021 году не будет никаких изменений строки User-Agent ». Так что изменения, безусловно, не появятся раньше 2022 года.
Шаг, связанный с разработкой движка Chromium, по сокращению строк пользовательского агента, чтобы уменьшить их способность использоваться для отслеживания пользователей, связан с всеобъемлющим планом Google Privacy Sandbox, также известным как стек предложений, объявленных в 2019 году, когда он сказал он хотел развить веб-архитектуру, разработав набор открытых стандартов для «фундаментального повышения» конфиденциальности в Интернете.
Частью этого шага к более частному использованию Chromium по умолчанию является прекращение поддержки сторонних файлов cookie отслеживания. Другая часть — это предлагаемая Google технологическая альтернатива таргетингу рекламы на устройствах когорт пользователей (также известная как FLoC).
Очистка уязвимых областей поверхности, таких как строки пользовательского агента, считывающие отпечатки пальцев, является еще одним компонентом, и его следует понимать как часть более широкого стремления к «гигиене», необходимого для достижения целей Privacy Sandbox.
Тем не менее, последний по-прежнему требует значительных усилий по переворачиванию танкеров.
И хотя были некоторые предложения, что Google может быть готов выпустить Privacy Sandbox в начале 2022 года, учитывая временные рамки, которые он допускает для исходных тестов изменений в строках пользовательского агента — семиэтапное развертывание с двумя исходными испытаниями продолжительностью не менее шести месяцев за штуку — это маловероятно. (По крайней мере, не для всех составных частей Песочницы для отправки.)
Действительно, еще в 2019 году Google был уверен, что изменения, которые он задумал, не произойдут в одночасье, и тогда сказал: «Это будет многолетний путь».Хотя в январе 2020 года казалось, что он набрал хотя бы часть графика, заявив, что он хочет поэтапно отказаться от поддержки сторонних файлов cookie в течение двух лет.
Тем не менее, Google не может реально снизить ценность файлов cookie для отслеживания без внесения изменений в стандарты браузеров, которые необходимы для предоставления издателям и рекламодателям альтернативных средств таргетинга, измерения и предотвращения мошенничества. Таким образом, любая задержка с элементами тестовой среды конфиденциальности может повлиять на «двухлетний» график прекращения поддержки сторонних файлов cookie.(И 2022 год вполне может стать самым ранним сроком, когда может произойти сдвиг.)
Здесь происходит напор, так как усилия Google по переоснащению веб-инфраструктуры — и, в частности, по изменению того, как веб-пользователи и их действия могут и не могут отслеживаться — имеют огромные последствия для многих других веб-пользователей; в первую очередь, игроки и издатели рекламных технологий, чьи предприятия глубоко интегрированы в эту сеть отслеживания.
Неудивительно, что он столкнулся с серьезным сопротивлением со стороны этих секторов.
Его план по прекращению поддержки сторонних отслеживающих файлов cookie также находится под пристальным вниманием регулирующих органов в Европе — где рекламодатели жаловались, что блокирование доступа третьих сторон к пользовательским данным — это антиконкурентный шаг, при этом продолжая помогать себе в огромном количестве основных пользовательских данных. (учитывая доминирование ключевых интернет-сервисов).Таким образом, в зависимости от того, как регулирующие органы реагируют на обеспокоенность экосистемой, Google также может быть не в состоянии полностью контролировать сроки.
Тем не менее, с точки зрения конфиденциальности, связывание строк пользовательского агента в Chrome является долгожданным — если и просроченным — шагом.
Действительно, в блоге Google отмечается, что это отстающие по сравнению с аналогичными усилиями, уже предпринятые веб-движками, лежащими в основе браузера Apple Safari и Mozilla Firefox.
«Как отмечено в объяснении подсказок клиента пользовательского агента, строка пользовательского агента представляет проблемы по двум причинам.Во-первых, он пассивно предоставляет довольно много информации о браузере для каждого HTTP-запроса, который может быть использован для снятия отпечатков пальцев », — пишет Google, конкретизируя свою рациональность в отношении изменений. «Во-вторых, с годами он стал длиннее и сложнее, а также способствует подверженному ошибкам синтаксическому анализу строк. Мы считаем, что API подсказок клиента агента пользователя решает обе эти проблемы более удобным для разработчика и пользователя способом ».
Комментируя разработку, д-р Лукаш Олейник, независимый консультант и исследователь безопасности и конфиденциальности, который консультировал W3C по технической архитектуре и стандартам, описывает входящие изменения как «значительное улучшение конфиденциальности».
«Изменение пользовательского агента уменьшит энтропию и, следовательно, уменьшит идентифицируемость», — сказал он TechCrunch. «Я считаю это значительным улучшением конфиденциальности, потому что одновременное рассмотрение IP-адреса и строки UA очень важно. UA не совсем упрощены в Firefox / Safari в том смысле, в котором это предлагает Chrome ».
В сообщении блога Google отмечается, что его план UA был «разработан с учетом обратной совместимости», и призван успокоить разработчиков, добавив, что: «Несмотря на то, что любые изменения в строке User Agent требуют тщательного управления, мы ожидаем минимальных трений для разработчиков, поскольку мы выкатываем это (т.е. существующие синтаксические анализаторы должны продолжать работать, как ожидалось).
«Если ваш сайт, служба, библиотека или приложение полагаются на определенные биты информации, присутствующие в строке пользовательского агента, такие как дополнительная версия Chrome , номер версии ОС или модель устройства Android , вам нужно будет начать переход на использование вместо этого API клиентских подсказок пользовательского агента », — продолжает он. «Если вам ничего из этого не требуется, то никаких изменений не требуется, и все должно работать так, как было до сих пор.”
Несмотря на заверения Google, Олейник предположил, что некоторые веб-разработчики все еще могут попасть в ловушку — если они не обратят внимание на разработку и не внесут необходимые обновления в свой код вовремя.
«Веб-разработчики могут быть обеспокоены тем, что некоторые библиотеки или серверные системы зависят от строгой строки UA, существующей как сегодня», — отметил он, добавив: «Что-то может перестать работать, как предполагалось. Это может быть внезапная и неожиданная поломка. Но реальное воздействие в масштабе непредсказуемо.”
Googlebot Обновление строки агента пользователя: что это значит для SEO?
17 октября 2019 г., Кайл БланшеттЕще в мае 2019 года Google запустила вечнозеленую версию робота Googlebot, которая будет постоянно работать в последней версии Chrome. Однако строка пользовательского агента осталась прежней. Это скоро изменится.
Вернемся назад: что такое строка пользовательского агента?
Строка пользовательского агента — это короткая «строка» текста, которая идентифицирует браузер для веб-сервера — каждый браузер имеет уникальный! Когда браузер подключается к веб-сайту, пользовательский агент по сути представляет себя серверу: «Эй, я {тип браузера} на {просматривающем устройстве}.”
Но как это связано с роботом Googlebot?
Google использует браузер на основе Chrome для сканирования и отображения веб-страниц, чтобы добавить их в свой индекс. Итак, как и в других браузерах, у Googlebot есть собственная уникальная строка пользовательского агента.
Веб-серверымогут использовать информацию пользовательского агента для изменения способа обслуживания страницы. Например, веб-сервер можно настроить для отправки мобильных страниц посетителям в мобильных браузерах (это называется «динамическое обслуживание»). Строка пользовательского агента также помогает оптимизаторам поисковых систем анализировать свои файлы журналов и понимать, какие страницы посещает Google.
Строка пользовательского агента робота Googlebot будет включать последнюю версию Chrome
.Итак, если у робота Google уже была уникальная строка пользовательского агента, что изменится?
Поскольку Googlebot теперь всегда использует последнюю версию Chrome, строка пользовательского агента должна отражать это. С декабря будет.
Как именно это выглядит? Мы вам покажем.
Как выглядит строка пользовательского агента робота Googlebot для настольных компьютеров сегодня:
Mozilla / 5.0 AppleWebKit / 537.36 (KHTML, как Gecko; совместимый; Googlebot / 2.1;
+ http: //www.google.com/bot.html) Safari / 537.36 Как будет выглядеть строка пользовательского агента робота Googlebot для настольных компьютеров в декабре 2019 г .:
Mozilla / 5.0 AppleWebKit / 537.36 (KHTML, как Gecko; совместимый; Googlebot / 2.1;
+ http: //www.google.com/bot.html) Chrome / W.X.Y.Z Safari / 537.36 Начиная с декабря, строка пользовательского агента Googlebot будет отражать последнюю версию Chrome и будет продолжать обновляться синхронно с Chrome.Указанный выше W.X.Y.Z соответствует последней версии Chrome. Например, вместо W.X.Y.Z вы можете увидеть «76.0.3809.100». Это означает, что робот Googlebot не только запустит текущую версию Chrome, плюс-минус всего несколько недель, но и его строка пользовательского агента затем обновится, чтобы включить текущие номера версий для идентификации.
Как вечнозеленый робот Googlebot помогает при поисковой оптимизации на сайтах JavaScript?
Чтобы понять важность обновления Google для строки пользовательского агента, мы должны сначала поговорить об обновлении его пользовательского агента еще в мае.Постоянный робот Googlebot означает, что ваш бюджет рендеринга будет стремительно расти. Если раньше влияние JavaScript на SEO могло иметь негативные последствия для вашего веб-сайта, теперь робот Googlebot может использовать более современный язык JS, поскольку он продолжает обновляться вместе с Chrome. Это означает, что обновленный пользовательский агент открыл двери для более 1000 функций JavaScript.
Кроме того, вам больше не нужно использовать столько полифилов в JavaScript для функциональности старых браузеров для Googlebot. Раньше, когда робот Googlebot использовал устаревшую версию Google Chrome, было важно использовать полифиллы.Теперь, когда робот Googlebot использует последнюю версию Chrome, вы должны оценить, нужны ли полифилы.
Итак, как обновление Google повлияет на ваш корпоративный веб-сайт?
В Botify мы всегда используем обновленную версию Chrome для рендеринга страниц. Фактически, мы можем даже иногда опережать Google. При этом изменения в именах пользовательских агентов не повлияют на то, как вы видите данные в Botify Log Analyzer. Наш рендеринг всегда будет соответствовать или превосходить рендеринг робота Googlebot, что дает вам наиболее точное представление о ваших данных SEO.
Однако стоит упомянуть, что если ваш сайт ищет определенный пользовательский агент для изменения способа обслуживания страницы, это может повлиять на ваш сайт. Google рекомендует использовать обнаружение функций и прогрессивное улучшение вместо отслеживания пользовательского агента — тактики, иногда используемой небольшими некорпоративными веб-сайтами.
Функция обнаружения идентифицирует робота Googlebot путем сопоставления его возможностей с известными функциями, которые поддерживает робот Googlebot, в то время как прогрессивное усовершенствование гарантирует, что веб-сайты предоставляют предпочтительный полнофункциональный интерфейс для браузеров, которые могут с этим справиться, и одновременно обслуживают более простые веб-страницы для тех, которые не могут.Использование обнаружения функций и прогрессивного улучшения являются более масштабируемыми вариантами для корпоративных веб-сайтов в долгосрочной перспективе и имеют еще больший смысл теперь, когда строка пользовательского агента Googlebot будет продолжать обновляться. Если есть конкретный экземпляр, который вам нужно обнаружить Googlebot через пользовательский агент, просто ищите «Googlebot» в строке пользовательского агента, а не в полной строке пользовательского агента.
Как отмечает Google, вот еще пара потенциальных проблем, на которые следует обратить внимание:
- Страницы, на которых отображается сообщение об ошибке: страница может предположить, что робот Googlebot является пользователем с блокировщиком рекламы, и случайно помешать ему получить доступ к содержимому страницы
- Страницы, которые перенаправляют на роботизированный документ или документ без индекса
Сохраняйте спокойствие и продолжайте поисковую оптимизацию!
В Botify мы всегда думаем о будущем и делаем все возможное, чтобы предвидеть обновления Google.Вот почему мы с самого начала используем последнюю версию Chrome для сканирования. Таким образом, изменение , внесенное Google в строку пользовательского агента, не повлияет на отчет Botify .
Единственные факторы, которые оптимизаторы поисковых систем должны учитывать в отношении новой строки и ранее объявленного вечнозеленого робота Googlebot, — это а) переоценка использования полифилов, б) реализация обнаружения функций и прогрессивного улучшения (если они еще этого не сделали) и ) следите за двумя пунктами выше, как это было предложено Google.В противном случае мы готовы сохранять спокойствие и продолжать поисковую оптимизацию!
Между тем, не только Googlebot стал вечнозеленым. Буквально на прошлой неделе Bing объявил, что Bingbot тоже стал вечнозеленым. Это очень интересное время для специалистов по поисковой оптимизации! Будущее SEO, а точнее бюджета рендеринга, выглядит ярче, чем когда-либо.
Предыдущая статья
«С чего начать?» Просто стало проще. Представляем ActionBoard — Ваш приоритетный список дел для SEO.
.