Что такое Googlebot | Центр поиска Google | Документация
Googlebot — это общее название для двух типов роботов Google. поисковые роботы:
- Рабочий стол Googlebot : сканер рабочего стола, который имитирует пользователя на рабочем столе.
- Googlebot Смартфон : мобильный поисковый робот, имитирующий пользователя на мобильном устройстве.
Вы можете определить подтип робота Googlebot, взглянув на строка пользовательского агента в запрос. Однако оба типа искателей подчиняются одному и тому же токену продукта (токен агента пользователя) в robots.txt, поэтому вы не можете выборочно настроить таргетинг ни на Googlebot Smartphone, ни на Googlebot. Рабочий стол с помощью robots.txt.
Для большинства сайтов Google в первую очередь
индексирует мобильную версию
содержания. Таким образом, большинство запросов на сканирование робота Googlebot будет выполняться с мобильных устройств.
Как робот Googlebot получает доступ к вашему сайту
Для большинства сайтов робот Googlebot не должен заходить на ваш сайт чаще, чем раз в несколько секунд в средний. Однако из-за задержек возможно, что ставка будет немного выше. в течение коротких периодов.
Робот Google был разработан для одновременной работы на тысячах машин, чтобы улучшить
производительность и масштабируемость по мере роста Интернета. Кроме того, чтобы сократить использование полосы пропускания, мы запускаем множество
сканеры на машинах, расположенных рядом с сайтами, которые они могут сканировать. Поэтому ваши журналы могут
показать посещения с нескольких IP-адресов, все с пользовательским агентом Googlebot. Наша цель
состоит в том, чтобы сканировать как можно больше страниц вашего сайта при каждом посещении, не перегружая ваш
сервер.
Googlebot сканирует в основном с IP-адресов в США. Если робот Googlebot обнаружит что сайт блокирует запросы из США, он может пытаться сканировать с IP адреса, находящиеся в других странах. Список используемых в настоящее время блоков IP-адресов, используемых Googlebot доступен в формат JSON.
Робот Googlebot сканирует HTTP/1.1 и, если это поддерживается сайтом,
HTTP/2. Нет никаких
преимущество ранжирования в зависимости от того, какая версия протокола используется для сканирования вашего сайта; однако ползать
через HTTP/2 может сэкономить вычислительные ресурсы (например, ЦП, ОЗУ) для вашего сайта и робота Googlebot.
421 , когда робот Googlebot пытается просканировать ваш сайт
HTTP/2.
Если это невозможно, вы
может отправить сообщение команде Googlebot
(однако это решение временное).Робот Googlebot может сканировать первые 15 МБ HTML-файла или поддерживаемый текстовый файл. Извлекаются любые ресурсы, на которые есть ссылки в HTML, такие как изображения, видео, CSS и JavaScript. в отдельности. После первых 15 МБ файла робот Googlebot прекращает сканирование и рассматривает только первые 15 МБ файла для индексации. Ограничение размера файла применяется к несжатым данным. Другие сканеры Google могут иметь другие ограничения.
Блокировка доступа робота Googlebot к вашему сайту
Почти невозможно сохранить веб-сервер в секрете, не публикуя ссылки на него. Для
например, как только кто-то перейдет по ссылке с вашего «секретного» сервера на другой веб-сервер,
ваш «секретный» URL-адрес может отображаться в теге реферера и может храниться и публиковаться другим
веб-сервер в своем журнале рефереров.
Точно так же в Интернете есть много устаревших и неработающих ссылок.
Всякий раз, когда кто-то публикует неверную ссылку на ваш сайт или не обновляет ссылки, чтобы отразить
изменений на вашем сервере, робот Googlebot попытается просканировать неправильную ссылку с вашего сайта.
Если вы хотите, чтобы робот Googlebot не сканировал содержание вашего сайта, у вас есть количество опций. Быть понимают разницу между предотвращением сканирования страницы роботом Googlebot и предотвращением Googlebot не может индексировать страницу и вообще запрещает доступ к странице обоими пользователями. поисковые роботы или пользователи.
Проверка робота Googlebot
Прежде чем вы решите заблокировать робота Googlebot, имейте в виду, что строка пользовательского агента, используемая роботом Googlebot,
часто подделывается другими поисковыми роботами. Важно убедиться, что проблемный запрос
на самом деле исходит от Google.
Лучший способ убедиться, что запрос действительно исходит от
Робот Google должен
использовать обратный поиск DNS
на исходном IP-адресе запроса или для сопоставления исходного IP-адреса с
Диапазоны IP-адресов робота Googlebot.
Все, что вам нужно знать о пользовательском агенте робота Googlebot
У всех поисковых роботов есть пользовательские агенты.
Googlebot — один из наиболее распространенных роботов, которых вы видите в журналах вашего сервера.
Вот в чем проблема:
Иногда люди маскируются под Googlebot. Это может повлиять на ваши результаты SEO и даже привести к тому, что ваш контент будет украден спамерами.
Но если вы понимаете пользовательские агенты Googlebot, вы можете:
- Определение поддельных роботов Google
- Используйте робота Google для улучшения SEO
В этом блоге я расскажу вам все, что вам нужно знать о пользовательском агенте Googlebot и о том, как его использовать для улучшения SEO.
Что я узнаю?
- Что такое агент пользователя Googlebot?
- Список текущих агентов пользователя Googlebot
- Как заблокировать фальшивых поисковых роботов Googlebot
Что такое агент пользователя Googlebot?
Пользовательский агент робота Googlebot идентифицирует робота Googlebot, когда тот отправляет запрос на сканирование содержимого вашего сайта.
У робота Google есть несколько пользовательских агентов, которые он использует для правильной работы.
Как работает агент пользователя Googlebot?
На вашем сайте много разных элементов:
- Изображения
- Ссылки
- Текст
- Видео
И многое другое.
Когда робот Googlebot начинает сканировать ваш сайт, ему необходимо понимать каждый из этих элементов. У Googlebot есть разные пользовательские агенты для понимания разных элементов веб-страницы.
Googlebot также имеет пользовательские агенты, специфичные для разных устройств.
Например, он может сканировать ваш сайт с точки зрения:
- iPhone
- Телефон Samsung
Каждый из них будет немного отличаться.
Разница между пользовательскими агентами и поисковыми роботами
Думайте об этом так:
Googlebot — это название робота поисковой системы, задача которого — сканировать Интернет, находить ссылки и переходить по ним.
Пользовательский агент идентифицирует, что Googlebot хочет получить доступ к информации на сайте. Другими словами, пользовательский агент — это имя робота Googlebot.
Затем у вас есть строки пользовательского агента, которые идентифицируют более конкретные сведения о Googlebot.
Строка пользовательского агента сообщит вам:
- Браузер, используемый роботом Google для сканирования вашего сайта
- Устройство, которое использовал робот Googlebot
- Будь то настольный или мобильный
- IP-адрес
Типичная строка пользовательского агента от Googlebot выглядит следующим образом:
Mozilla/5.
0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/W.X.Y.Z Mobile Safari/ 537,36 (совместимо; Googlebot/2.1; +http://www.google.com/bot.html)
Веб-браузеры, такие как Google Chrome и Firefox , также имеют пользовательские агенты.
Каждый раз, когда вы переходите на новый сайт, пользовательский агент браузера запрашивает текущую версию сайта.
Список текущих пользовательских агентов Googlebot
Google — очень мощная поисковая система.
Они собирают множество данных о множестве разных вещей, чтобы помочь пользователям найти то, что они ищут. Чтобы помочь с этим, у Google есть 18 различных пользовательских агентов:
| Имя обходчика | Агент пользователя |
| API-интерфейсы Google | API-интерфейсы Google |
| Адсенс | Медиапартнеры-Google |
| AdsBot Mobile Web Android | AdsBot-Google-Mobile |
| AdsBot Mobile Web | AdsBot-Google-Mobile |
| AdsBot | AdsBot-Google |
| Googlebot Изображения | Гуглбот Googlebot-изображение |
| Новости Googlebot | Гуглбот Googlebot-новости |
| Робот Googlebot Видео | Гуглбот Googlebot-видео |
| Googlebot Desktop | Гуглбот |
| Googlebot Смартфон | Гуглбот |
| Мобильный AdSense | Медиапартнеры-Google |
| Мобильные приложения Android | AdsBot-Google-Mobile-Apps |
| Сборщик фидов | FeedFetcher-Google |
| Google Читать вслух | Google-чтение вслух |
| Дуплекс в Интернете | ДуплексВеб-Google |
| Фавикон Google | Фавикон Google |
| Веб-светильник | гуглвеблайт |
| Google StoreBot | Storebot-Google |
Как видите, у Google есть разные пользовательские агенты для предоставления всех своих услуг.
Не все из них актуальны для SEO.
Как использовать агент пользователя Googlebot для SEO
Если вы знаете, какую информацию используют поисковые роботы Google, вы можете проверить, видит ли робот Googlebot тот же контент на веб-сайте, что и обычный пользователь.
Сейчас это легко сделать с помощью браузера Google Chrome:
Загрузите веб-сайт, щелкните правой кнопкой мыши страницу и выберите «Проверить».
Щелкните символ с тремя точками, наведите указатель мыши на другие инструменты, затем щелкните Условия сети.
Теперь выберите пользовательский агент Googlebot из раскрывающегося списка.
Перезагрузить страницу . Теперь вы увидите страницу так же, как ее видит робот Googlebot.
Лучшие пользовательские агенты для SEO
Не все пользовательские агенты Googlebot подходят для SEO.
Существует гораздо меньший список, на котором следует сосредоточиться:
| Googlebot Изображения | Гуглбот Googlebot-изображение |
| Новости Googlebot | Гуглбот Googlebot-новости |
| Робот Googlebot Видео | Гуглбот Googlebot-видео |
| Googlebot Desktop | Гуглбот |
| Googlebot Смартфон | Гуглбот |
| Мобильные приложения Android | AdsBot-Google-Mobile-Apps |
Помните об этом при работе с пользовательскими агентами Googlebot в целях SEO.
Застряли в песочнице Google? Прочтите мое руководство, чтобы узнать, как как можно быстрее выйти из песочницы Google.
Как заблокировать поддельные поисковые роботы Googlebot
Видите трафик Googlebot, но не уверены, что он настоящий?
Спаммеры часто маскируются под Googlebot и получают доступ к вашему сайту.
Вы можете проверить, действительно ли это Googlebot. Самый простой способ сделать это — использовать IP-адрес, потому что подделать IP-адрес очень сложно.
Вот как это проверить:
- Скопируйте IP-адрес Googlebot из журналов вашего сервера
- Вставьте в инструмент What Is My IP.
Теперь подтвердите , что корневым доменным именем является либо googlebot.com , либо google.com .
Нашли поддельного бота?
Примите меры, чтобы заблокировать доступ к вашему веб-сайту.
Вы также можете сообщить об этом в Google.
ХАЙК ДЛЯ РОСТА: Подпишитесь на мою бесплатную серию обучающих видео.
Подведение итогов
Пользовательские агенты Googlebot очень важны, поскольку помогают Google предоставлять наилучшие результаты своим пользователям.
Убедитесь, что вы оптимизировали свой сайт для оптимизации сканирования, чтобы робот Googlebot мог правильно выполнять свою работу.
Помните:
Спамеры часто маскируются под агенты пользователей Googlebot. Если вы заметили, что ваш сайт внезапно получает много трафика от Google, дважды проверьте IP-адрес из журналов вашего сервера.
Заблаговременность избавит вас от проблем в будущем.
Хотите узнать больше о ботах? Проверьте Semrushbot, Ahrefsbot и Bingbot.
ПРОФЕССИОНАЛЬНЫЕ СОВЕТЫ: Чтобы повысить эффективность SEO, обязательно используйте все доступные инструменты Google.