На этом наш экскурс в тему индексации станиц завершен. Если будут вопросы по этой теме, задавайте в комментариях к этой статье.

С уважением, Ваш Максим Довженко

== Часто задаваемые вопросы по теме (FAQ) ==

Что такое индексация сайта?

Это процесс сбора данных с документов сайта поисковым роботом. Идет в 3 этапа:
1. Робот сканирует станицу сайта, собирает все слова, их местоположение и все теги.
2. Ранжирует полученный документ по текстовым факторам и может сразу отправить страницу в топ.
3. Складирует в базу данных своей поисковой системы (индекс).

Как ускорить индексацию сайта?

Во-первых, уменьшить количество технических ошибок на сайте (дубли и т.д. ).
Во-вторых, улучшить работу хостинга (новый тариф, замена хостера, выделенный сервер).
В-третьих, чаще публиковать новый контент на сайте.

Как долго проходит индексация сайта?

Все зависит от активности сайта в поиске. Чем чаще публикуются свежие материалы на нем, тем быстрее поисковый робот приходит для индексации новых/измененных страниц.

Для чего нужна индексация страниц сайта?

Поисковая система предлагает своим пользователям в выдаче только проиндексированные материалы из сети. Нет индексации — нет поискового трафика (реклама не в счет).

Бесплатная программа проверки индекса Google

Цель инструмента проверки индекса Google — информировать пользователей о статусе индекса Google отправленного URL. Некоторые веб-мастера используют средство проверки индекса сайта, чтобы проверить, проиндексировал ли Google их сайт или нет.

Этому инструменту от RankWatch доверяют многочисленные владельцы веб-сайтов и SEO-специалисты. Они используют Site Index Checker, чтобы узнать о рейтинге и статусе индексации Google своего домена и его поддоменов.

Вы можете начать использовать наш инструмент проверки индекса Google, открыв его из раздела «Отслеживание веб-сайтов» бесплатных инструментов. После открытия инструмента вам необходимо ввести URL-адрес, по которому вы хотите проверить статус индексации Google, и нажать «Проверить индекс сайта».

Инструмент запустит свой алгоритм и построит отчет, который проинформирует вас о вашем статусе индекса Google. Есть еще одна категория, называемая «URL-адрес индекса», которая сообщает вам об общем количестве проиндексированных URL-адресов вашего веб-сайта.

Когда вы задаетесь вопросом «проиндексирован ли мой сайт?» Вы можете использовать инструмент проверки индекса Google от RankWatch. Мы не запрашиваем ваши адреса электронной почты или заглавные буквы, наш инструмент проверки индекса бесплатно выполняет поиск в индексе Google.

RankWatch также предлагает множество других бесплатных инструментов для предложения ключевых слов, проверки полномочий домена, получения HTML-кода счетчика посещений и т. Д. Вы можете использовать эти инструменты неограниченное количество раз.

Индекс Google — это обширная база данных с миллиардами веб-сайтов в Интернете.Google собирает эти данные массового индекса через своего Google Bot. Google Bot — это сканер с продвинутым алгоритмом, который непрерывно просматривает веб-сайты в поисках информации для ранжирования.

Crawler будет сканировать каждый веб-сайт в Интернете, НО не каждый сайт включен в индекс Google. Существует около 200 факторов ранжирования, на основе которых поисковый робот включает веб-сайт или веб-страницу в индекс Google.

Из 200 факторов ранжирования SEO-специалисты и веб-мастера знают лишь о некоторых.Но те немногие элементы, о которых мы знаем, могут помочь нашему веб-сайту проиндексироваться и, в конечном итоге, получить рейтинг, поэтому вам не нужно беспокоиться о том, как индексировать сайт в Google. Эти факторы включают оптимизацию на странице и вне страницы.

Оптимизация на странице

Оптимизация на странице — самая важная часть включения вашего сайта в процесс индексации Google. Каждая веб-страница вашего сайта должна иметь мета-описание, заголовок, тег h2, тег Alt, теги h3, а также внутренние и внешние ссылки.

Вам необходимо оптимизировать каждый элемент на странице с помощью ключевых слов, связанных с контекстом, которые органично размещаются вокруг контента и не заполняются без надобности.

Google Bot Crawler просматривает эти элементы и просматривает их на предмет связанных ключевых слов. Если он обнаружит, что просканированный сайт содержит все релевантные ключевые слова, он добавит сайт в индекс Google. Однако, если поисковый робот обнаружит, что ключевые слова не связаны с контекстом или без необходимости размещены и заполнены на веб-странице, он не добавит ваш сайт в индекс Google.Более того, это будет наказывать ваш сайт из-за черной оптимизации.

Оптимизация вне страницы

Оптимизация вне страницы в основном состоит из построения ссылок. Если вы недавно запустили свой веб-сайт, потребуется время, чтобы его просканировали и добавили в индекс Google. Следовательно, вам нужно повысить видимость в Интернете и повысить авторитет вашего домена. Так что, когда ваш домен, наконец, будет проиндексирован, он будет занимать более высокое место в поисковой выдаче.

Когда вы получаете входящие ссылки с сайтов, которые уже занимают более высокие позиции в поисковой выдаче, поисковый робот будет направлен на сканирование вашего сайта в тот момент, когда он просканирует сайт с высоким рейтингом.Поступая так, ваши шансы попасть в индекс Google увеличиваются. Однако, если вы правильно следуете методам на странице, ваш сайт обязательно будет включен в индекс Google.

Если вы следовали каждой стратегии SEO и оптимизировали свой контент с помощью подходящих ключевых слов, но не знаете, как проверить статус своего веб-сайта в индексе Google? Не волнуйся. Вы можете провести тест Google Index с помощью инструмента Google Index Checker от RankWatch и проверить статус индекса вашего домена.Кроме того, наша программа проверки индекса сайта также проинформирует вас о номере индекса Google.

Многие люди спрашивают: «Как Google индексирует веб-сайты?» ответ на этот вопрос прост.

Сканер Google основан на расширенном алгоритме, который сканирует ваш тег заголовка, тег h2, метаописания, тег alt, внутреннюю структуру ссылок и количество качественных входящих ссылок (если вы не знаете, как создавать метатеги, вы можете использовать наши Инструмент Meta Tag Generator, он бесплатно создает метатеги).Сканер также ищет органическое размещение релевантных ключевых слов в метатегах.

Так Google индексирует веб-сайты.

Хотя, вы должны быть осторожны с размещением ключевых слов и созданием метатегов. Их следует размещать естественным образом, не ухудшая читаемость контента. Когда сканер Google обнаруживает подозрительное использование ключевых слов, он не индексирует ваш сайт.

Кроме того, при желании вы можете запретить индексацию определенных страниц вашего сайта, добавив файл Robots.txt к нему. Если вы не знаете, как создать файл Robots.txt, вы можете обратиться за помощью к нашему Генератору Robots.txt.

Если вы являетесь владельцем веб-сайта, веб-мастером или специалистом по поисковой оптимизации, вам необходимо проверить статус вашего домена в индексе Google. А когда сайт не добавлен в индекс Google, он в конечном итоге перестанет генерировать органический трафик (который является лучшим видом трафика). Итак, вам нужно продолжать инвестировать в привлечение платного трафика на свой домен.

Кроме того, инструмент Google Index Checker от RankWatch бесплатен и прост в использовании. Вы можете проверить статус индексации Google для каждой страницы своего веб-сайта, и мы не будем запрашивать у вас адрес электронной почты и покупать подписку на наш инструмент.

Просто введите домен и проверьте статус индекса Google с помощью нашего бесплатного инструмента проверки индекса Google.

Как узнать, сканируются ли и индексируются ли URL-адреса ваших сайтов Google

Это сообщение в блоге на двух (больших) страницах — действующем и промежуточном сайтах:

Часть 1: Как проверить, проиндексировал ли Google ваш действующий сайт

Часть 2: Как проверить, проиндексировал ли Google ваш промежуточный / тестовый сайт

Часть 1:

Как узнать, проиндексировал ли Google мой действующий сайт?

Есть два простых способа узнать:

Использование сайта: оператор запроса

Найдите свой домен в Google следующим образом: site: organicdigital.co

Если ваш сайт проиндексирован, вы увидите список страниц:

Если результаты не возвращаются, у вас могут быть проблемы:

Примечание: на крупных сайтах, хотя вы увидите приблизительное количество проиндексированных страниц, вы сможете увидеть только около 300 из них в поисковой выдаче.

Проверьте раздел покрытия в Google Search Console

У каждого веб-сайта должна быть учетная запись GSC. На мой взгляд, это лучший инструмент, который может использовать владелец сайта или оптимизатор поисковых систем. Он предоставляет обширную информацию об органической видимости и эффективности вашего сайта.Если у вас его нет, перейдите на официальную страницу GSC, если у вас есть, перейдите в раздел Покрытие, где вы можете увидеть разбивку по:

• Ошибки, обнаруженные при сканировании страниц
• Заблокированные страницы
• Действительные проиндексированные страницы
• Исключенные страницы

Если на вашем сайте есть проблемы, они будут отмечены как «ошибка» или «исключены» — и вы сможете найти из причин, по которым они не включаются в поиск, например:

• Альтернативная страница с правильным каноническим тегом
• Просканировано — в настоящее время не проиндексировано
• Дубликат без выбранного пользователем канонического тега
• Исключено тегом noindex
• Аномалия сканирования
• Не обнаружено (404)

Если страницы вашего сайта не отображается в «действительном» разделе, то у вас могут быть проблемы.

Используйте функцию проверки URL в GSC

Если одни страницы проиндексированы, а другие нет, то вы также можете использовать инструмент проверки URL, чтобы узнать, может ли Google сканировать и проиндексировать определенную страницу или есть ли другие проблемы, препятствующие ее отображению в поиске — это в в верхнем меню и позволит вам проверять по одному URL за раз:

Если ваша страница проиндексирована, она будет содержать следующую информацию:

Если нет, вы получите этот статус, который показывает, когда Google пытался сканировать страницу, и некоторое представление о том, почему она не проиндексирована:

Почему Google не сканирует или не индексирует мои страницы?

Обычно страницу нельзя просканировать или проиндексировать по двум причинам.Это особенно часто встречается, когда новый сайт был запущен или перенесен, а настройки из среды разработки были перенесены.

Директива о запрете доступа в robots.txt

Здесь блокируется сканирование сайта, каталога или страницы с помощью файла robots.txt.

На каждом сайте должен быть файл robots.txt, который используется для указания поисковым системам, какие разделы вашего сайта должны и не должны сканироваться.

Если он у вас есть, вы найдете его в корневом каталоге под именем robots.txt

https://organicdigital.co/robots.txt

Директивы, предотвращающие сканирование сайта, каталога или страницы, будут следующими:

  Запрещено: /
Запретить: / каталог /
Запретить: /specific_page.html
  

Вы также можете использовать Screaming Frog, чтобы попытаться просканировать ваш сайт. Если это невозможно, вы увидите следующие данные сканирования:

Существует множество веских причин для блокировки поисковых систем с помощью этой директивы, но если вы видите что-то похожее на приведенное выше, вам необходимо изменить их, чтобы разрешить сканирование вашего сайта.

Как изменить файл Robots.txt вручную

Если у вас есть доступ к FTP или у вас есть разработчик, вы можете вручную изменить файл robots.txt, чтобы удалить все директивы, которые блокируют сканирование вашего сайта.

Обычно это делает следующая команда:

  Агент пользователя: *
Разрешать: /
  

Как изменить файл Robots.txt в WordPress

Если у вас установлен плагин Yoast, вы можете редактировать файл напрямую через Tools -> File Editor Section — перейдите по этой ссылке, чтобы узнать, как это сделать.

Как изменить файл Robots.txt в Magento

Перейдите к C ontent -> Design -> Configuration , щелкните в соответствующем представлении магазина и отредактируйте «Search Engine Robots»

Для метатега роботов установлено значение Noindex и / или Nofollow

Помимо файла robots.txt, вы также можете проверить метатег robots в исходном коде вашего сайта и убедиться, что он не препятствует сканированию поисковыми системами.

Если вы проверяете свой исходный код, если вы не видите метатег robots, или он установлен на «index» или «index, follow» — тогда проблема не в этом.Однако, если вы видите, что там написано «noindex», это означает, что ваша страница может быть просканирована, но не будет проиндексирована:

Опять же, вы можете использовать Screaming Frog для проверки статуса ваших тегов роботов на вашем сайте. Если для вашего тега установлено значение noindex, nofollow не выйдет за пределы главной страницы:

Если для него просто установлено значение noindex, весь сайт все еще можно сканировать, но не индексировать:

Как вручную изменить файл метатегов роботов

Опять же, откройте страницу / шаблон вашего сайта напрямую и замените / добавьте следующий тег:

Как изменить метатег роботов в WordPress

Есть два способа сделать это — если проблема касается всего сайта, перейдите в «Настройки » -> «Чтение » и убедитесь, что флажок «Не разрешать поисковым системам индексировать этот сайт» не отмечен:

Я могу ошибаться, но я думаю, что единственный способ настроить определенную страницу или сообщение на index или noindex, если вы используете Yoast, поэтому перейдите на страницу / сообщение и проверьте следующий параметр внизу страницы:

Как изменить метатег роботов в Magento

Как и раньше, перейдите в раздел Content -> Design -> Configuration , щелкните в соответствующем представлении магазина и внесите поправки в раскрывающийся вариант «Роботы по умолчанию»:

Мой сайт / страницы могут сканироваться и индексироваться Google — что дальше?

Как только вы убедитесь, что файл robots.txt и метатег robots верны, вы можете снова использовать инструмент Inspect URL, чтобы проверить свою страницу и запросить, чтобы Google сканировал и индексировал вашу страницу:

У меня также есть учетная запись для веб-мастеров Bing!

А ты? Я думал, что я единственный. Хорошо, вы можете делать почти все то же, что написано в этой статье, в Bing Webmaster Tools, как и в GSC, поэтому проверьте URL-адрес и индексирование запроса:

Я сделал все это, а мой сайт / страницы все еще не проиндексированы!

В этом случае вам нужно глубже изучить конфигурацию и функциональность вашего веб-сайта, чтобы определить, какие еще проблемы могут быть.Я могу помочь вам, если вы заполните контактную форму ниже.

Часть 2:

Как: проверить, проиндексирован ли ваш промежуточный сайт в Google

В жизни можно быть уверенным только в трех вещах: смерть, налоги и индексирование вашего тестового сайта Google.

Очень редко вы сталкиваетесь с запуском нового сайта без того, чтобы в какой-то момент понять, что промежуточный сервер открыт для ботов, которые могут сканировать и индексировать.

Это не обязательно конец света, если поисковая система должны были проиндексировать тестовый сайт, так как это довольно легко решить, но если вы долгосрочное использование тестовой среды для разработки новых функций наряду с живым сайта, то вам необходимо как можно раньше убедиться, что он правильно защищен, чтобы избегать проблем с дублированным контентом и гарантировать, что люди в реальной жизни не будут посещать и взаимодействовать (т.е. попробуй что нибудь купить).

Я раньше был разработчиком и, вероятно, сам неоднократно допускал эти ошибки, но тогда у меня не было SEO, который постоянно указывал мне на эти вещи, когда он указывал на эти вещи (в то время старая школьная брошюра пришла … веб-дизайнеры, которые не понимали ограничений таблиц и встроенного CSS, где мне было больно).

Все следующие методы являются испытанными и проверенными. что я использовал для выявления этих проблем в дикой природе, хотя для защиты личности моих клиентов и их разработчиков, я самоотверженно решил создать пара тестовых сайтов, использующих мой собственный контент, чтобы проиллюстрировать, что нужно сделать, это такие:

тест.organicdigital.co
alitis.co.uk

Хотя к тому времени, когда вы это прочтете, я последую своему совету и уберу их, мне нужна вся доступная видимость, последнее, что мне нужно, — это проиндексированные тестовые сайты, содержащие меня обратно.

1)

Одна из замечательных особенностей нового GSC заключается в том, что вы можете настроить свойства домена, которые дают вам ключевую информацию обо всех поддоменах, связанных с вашим веб-сайтом — как по HTTP, так и по HTTPS.Чтобы настроить это, просто выберите параметр домена при добавлении свойства (вам также необходимо выполнить потенциально не очень простую задачу добавления записи TXT в DNS вашего домена):

Существует целый ряд причин, по которым свойство домена полезно, в данном случае это потому, что если у вас есть тестовый сайт, настроенный на поддомене, и он производит впечатление и количество кликов в поиске, вы можете определить это в разделе «Производительность », Отфильтровав или упорядочив страницы:

Кроме того, вам следует также проверить раздел «покрытие» — в в некоторых случаях Google проиндексирует ваш контент:

В других случаях они обнаружат, что у вас дублировать контент на месте и любезно воздерживаться от индексации, в этом случае вы найдет его в разделе «Дублировать, Google выбрал другой канонический чем пользователь »:

Даже если это так, вы все равно должны постараться он не ползет вперед.

2)

Если у вас нет доступа к свойствам домена GSC или какой-либо доступ в GSC (если нет, почему бы и нет?), то вы можете проверить поисковую выдачу, чтобы увидеть, есть ли какие-либо тестовые URL-адреса попали в индекс.

Это также удобный метод при продвижении к новому бизнесу, Что может быть лучше для привлечения потенциального клиента, чем сделать его внутренним или внешняя команда разработчиков выглядит так, будто играет в кости со смертью видимости в поисковой сети позволив этому случиться в первую очередь, и что вы здесь, чтобы спасти день.

Шаги следующие:

i) установить ссылку Расширение Clump Google Chrome, которое позволяет копировать и вставлять несколько URL-адресов. со страницы в более полезное место, например, в Excel.

ii) Измените настройки группы ссылок следующим образом:

Самое важное, на что следует обратить внимание, — это действие «скопировано в буфер обмена». — последнее, что вам нужно здесь, — это открыть до сотни URL-адресов на однажды.

iii) Перейдите в свой любимый (или местный) домен верхнего уровня Google, нажмите «Настройки», которые вы должен увидеть в правом нижнем углу страницы, и выберите «Настройки поиска», где вы можете установить для «результатов на страницу» значение 100.

iv) Вернитесь на главную страницу Google и используйте запрос «site:». оператор и добавьте свой домен. если ты используйте www или аналогичный, удалите это — команда будет иметь следующий вид:

site: organicdigital.co

Вам будет представлен образец до 300 URL-адресов. в настоящее время индексируется Google по всем поддоменам. Хотя вы можете вручную просмотреть каждый результат для обнаружения мошеннических сайтов:

Я считаю, что гораздо быстрее и проще щелкнуть правой кнопкой мыши и перетащить все путь к низу страницы.Ты будет знать, работает ли Link Clump, поскольку вы увидите следующее, обозначают, что ссылки выбираются и копируются:

Повторите это для результатов поиска 2 и 3, если они доступны, и один раз URL-адреса вставляются в Excel, используйте сортировку по алфавиту, чтобы легко идентифицировать проиндексированные контент во всех соответствующих поддоменах.

3)

Описанные выше методы работают, если ваш тестовый сайт размещен на поддомен в том же домене, что и ваш действующий веб-сайт.Однако, если ваш тестовый сайт находится в другом месте, например test.webdevcompany.com, то они не будут работать. В этом случае этот или следующие методы мог бы.

Найдите контент, который, по вашему мнению, является уникальным для вашего веб-сайта — в моем случае я использовал строку: «Повысьте органическую видимость и посещаемость вашего веб-сайта» — а затем выполните поиск в кавычках. Если тестовый сайт, содержащий этот контент, был проиндексирован, этот поиск должен выявить его:

Как видите, появляются домашние страницы на основном сайте, тестовом субдомене и отдельном тестовом домене.Вы также можете случайно обнаружить конкурента, который скопировал ваш контент. Кто-то воспримет это как комплимент, кто-то выдаст DMCA — решать вам, но меньше всего вам нужно, чтобы кто-то превзошел вас по вашей собственной копии.

4)

Полагаю, вы занимаетесь SEO и поэтому используете Screaming Frog. Если какой-либо из этих ответов отрицательный, то хорошо, что вы так далеко зашли в эту статью (позвольте мне предположить, что вы разработчик, который бросил чушь и хочет прикрыть свою задницу, прежде чем кто-то узнает?).

Если у вас его нет, скачайте здесь.

В основных настройках отметьте «Сканировать все субдомены». Вы также можете установить флажок «Follow Internal‘ nofollow ’» поскольку в некоторых тестовых средах это может быть.

После завершения сканирования просмотрите список, чтобы увидеть, есть ли есть любые внутренние ссылки на тестовые сайты. Я недавно наткнулся на это, когда появился новый сайт Drupal, но со всеми внутренними ссылками в сообщениях блога, указывающими на бета-поддомен:

Затем вы можете щелкнуть каждый тестовый URL-адрес и щелкнуть InLinks на внизу, чтобы найти оскорбительную внутреннюю ссылку с действующего сайта на тестовый.В этом случае я изменил ссылку «Связаться с нами» в карте сайта, чтобы указать на тестовый URL:

После обнаружения исправьте и переползайте, пока они не исчезнут. внутренние ссылки, ведущие посетителей в другое место. Если вы используете WordPress, используйте плагин поиска / замены, чтобы найти все тестовые URL-адреса и замените их действующим.

5)

Если на вашем тестовом сайте используется тот же аккаунт Google Analytics, код отслеживания установлен как ваш действующий сайт, вы сможете обнаружить это в GA, если вы перейдете в такой раздел, как «Поведение» -> «Контент сайта» -> «Все Страницы »и выберите« Имя хоста »в качестве дополнительного параметра:

Кроме того, вы также можете дополнительно отфильтровать данные с помощью исключение из отчета всех посещений основного домена, в результате чего все другие экземпляры в списке.В Помимо тестовых сайтов, вы также можете обнаружить, что спам GA запускается на 3 ^rd сайт партии:

У использования одного и того же идентификатора отслеживания GA есть свои плюсы и минусы. работает как в вашей реальной, так и в тестовой среде, но лично я не вижу причина иметь отдельные учетные записи и вместо этого создавать несколько представлений в ваша единственная учетная запись. Для действующего сайта настроить фильтр, чтобы включить трафик только к действующему имени хоста, и наоборот для тестового сайта.

Итак, вы обнаружили свой тестовый сайт в индексе с помощью одного описанных выше методов, или вы хотите убедиться, что этого не происходит в первое место.Следующее поможет с этим:

1) Удалить URL через GSC

Если ваш сайт проиндексирован, генерирует ли он трафик или нет, лучше удалить его. Делать для этого вы можете использовать раздел «Удалить URL-адреса» из «старого» GSC.

Обратите внимание, это не будет работать на уровне свойств домена, так как эти не обслуживаются в старом GSC. Чтобы для этого вам необходимо настроить свойство для отдельного теста домен.

После настройки «Перейти к старой версии» и перейти в «Индекс Google». -> «Удалить URL-адреса».Отсюда выберите «Временно Hide »и введите одинарную косую черту в качестве URL-адреса, который вы хотите заблокировать. отправить весь сайт на удаление:

Это приведет к удалению вашего сайта из поисковой выдачи на 90 дней, в Чтобы гарантировать, что он не вернется, необходимо предпринять дальнейшие шаги. Достаточно одного из следующих выполняться независимо от того, можете ли вы Удалить через GSC)

2) Установите тег роботов на noindex на тестовом сайте

Попросите своих разработчиков убедиться, что при работе в тестовом домене каждая страница сайта генерирует тег noindex для роботов:

Если ваш сайт — WordPress, вы можете установить это через «Настройки» -> «Чтение» и выбрав «Запретить поисковым системам индексировать этот сайт»:

Какой бы код или настройки вы не использовали для предотвращения тестирования сайта от индексации, вы должны убедиться, что он не переносится на действующий сайт при появлении новых контент или функциональность становятся живыми. Настройки тестового сайта — одни из самых распространенных и надежных. способы испортить видимость вашего действующего сайта.

3) Защитите свой тестовый сайт паролем

Через веб-панель управления или через сервер, пароль защитить каталог, в котором находится ваш тестовый сайт. Есть множество способов сделать это — лучший ставка заключается в том, чтобы попросить вашу хостинговую компанию или разработчиков настроить это, или там есть много хороших ресурсов, которые покажут вам, как это сделать, например:

https: // one-docs.com / tools / basic-auth

После блокировки вы должны увидеть окно предупреждения при попытке доступ к тестовой площадке:

https://alitis.co.uk/

Это предотвратит сканирование и индексирование поисковыми системами сайт.

4) Удалить сайт и вернуть статус страницы 410

Если вам больше не нужен тестовый участок, вы можете просто удалите это. Когда поисковые системы пытаются Посетите страницы, если они дольше живут, они увидят, что страницы удалены. По умолчанию неработающая страница возвращает статус 404 («Не найдено») — хотя это приведет к деиндексации сайта со временем, он займет некоторое время, так как будут последующие посещения, чтобы увидеть, вернулась ли сломанная страница.

Вместо этого установите статус 410 («Ушел навсегда»), который вернет следующее сообщение:

Чтобы сделать это во всем домене, удалите сайт и оставьте файл .htaccess на месте с помощью следующей команды:

  Перенаправление 410/ 

Это обеспечит деиндексирование сайта в первый раз. запроса (или, по крайней мере, быстрее, чем 404)

5) Заблокировать через robots.txt

Вы можете заблокировать сканирование сайта, реализовав следующие команды в файле robots.txt файл:

  Агент пользователя: *
Disallow: /  

Это предотвратит сканирование сайта ботами. Примечание: если ваш тестовый сайт в настоящее время проиндексирован, и вы пошли по пути добавления тегов noindex на сайт, не добавляйте команду robots.txt до тех пор, пока все страницы не будут деиндексированы. Если вы добавите это до того, как все страницы будут деиндексированы, это предотвратит их сканирование и обнаружение тега роботов, поэтому страницы останутся проиндексированными.

И все — я надеюсь, что вам будет достаточно найти, деиндексировать и предотвратить повторное сканирование вашего теста.

Я не могу это подчеркнуть — если вы решите реализовать метатеги robots или robots.txt, запрещающие сканирование всем ботам и индексируя свой тестовый сайт, убедитесь, что когда вы запускаете тестовый сайт, что вы делаете не переносите эти конфигурации на действующий сайт, так как вы рискуете потерять свой органическая видимость в целом.

И мы все там были, да?

10 шагов для проверки индексируемости вашего веб-сайта

Все маркетологи должны обеспечить индексацию своих веб-сайтов, чтобы привлечь больше пользователей и трафика на свои веб-сайты, чтобы обеспечить более высокие коэффициенты конверсии.Эта статья поможет вам обеспечить индексацию вашего сайта.

Важным условием успеха вашего онлайн-бизнеса является то, что ваш веб-сайт должен быть виден пользователям в поисковой выдаче, то есть он должен индексироваться Google. Есть много способов проверить, индексируется ли ваш сайт. Ryte может помочь — вы можете использовать Ryte в качестве пошагового руководства, чтобы найти любые факторы, препятствующие индексации вашего сайта. После того, как вы проверите эти шаги и внесете все необходимые исправления, ничто не будет препятствовать успешной индексации вашего веб-сайта, что приведет к увеличению трафика и конверсий.

Шаг 1. Проверьте свои страницы на наличие тегов Noindex

Это ошибка, которая может случиться даже с самыми опытными специалистами по поисковой оптимизации: вы могли случайно вставить метатег «noindex, follow» на свои подстраницы или забыть удалить его. Этот тег используется, чтобы гарантировать, что URL-адрес не будет проиндексирован поисковыми системами, и вставляется в область веб-страницы следующим образом:

Этот тег может быть полезным способом избежать дублирования контента, а также может использоваться, например, перед переносом домена для тестирования веб-сайта перед фактическим запуском.(Хотя, когда ваш сайт будет запущен, тег Noindex, конечно, должен быть удален.)

С помощью Ryte Website Success вы можете несколькими щелчками мыши проверить, какие страницы индексируются. Щелкните в разделе «Индексируемость» отчета «Что индексируется?»

Рисунок 1: Проверьте свою индексируемость с помощью Ryte

Шаг 2. Проверьте свой файл Robots.txt

Использование роботов. txt, вы можете активно управлять сканированием и индексированием своего веб-сайта, давая роботу Google конкретные инструкции относительно того, какие каталоги и URL-адреса следует сканировать.

Однако при настройке файла вы могли случайно исключить важные каталоги из сканирования или заблокировать целые страницы. Это не мешает напрямую индексировать ваши URL-адреса, поскольку робот Googlebot может находить, сканировать и индексировать их с помощью обратных ссылок с других веб-сайтов. Однако из-за неисправного файла robots.txt робот Google не сможет выполнять достаточный поиск во всех областях вашего веб-сайта при регулярном сканировании. Прочтите эту статью, чтобы узнать о других ошибках, которые могут быть допущены при настройке robots.txt файл.

Вам следует проверить файл robots.txt на наличие ошибок, особенно после внесения изменений. Здесь вам может помочь Ryte: нажмите на отчет «Robots. Txt» в разделе «Индексируемость». Затем Ryte Website Success предоставит вам список всех URL-адресов, исключенных из сканирования. С помощью Ryte вы также можете отслеживать свой файл robots.txt, чтобы отслеживать любые изменения.

Рисунок 2: Проверьте свой robots.txt с помощью Ryte

Шаг 3. Проверьте файл .htaccess на наличие ошибок

Ваш.Файл .htaccess также может препятствовать отображению вашей страницы в результатах поиска и рассматривать сканирование как несанкционированный доступ. .Htaccess — это управляющий файл, хранящийся в каталоге сервера Apache.

В частности, операторы веб-сайтов используют их для следующих действий:

• Переписывание URL
• Перенаправление старого URL-адреса на новый URL-адрес
• Перенаправление на www-версию страницы

Конкретные правила можно определить в. htaccess.Однако, чтобы эти правила выполнялись сервером, файл всегда должен называться точно так же в следующих случаях:

Перенаправление или перезапись URL:

RewriteEngine на

Требуется перезапись:

RewriteBase /

Определите правило, которое должен выполнять сервер:

RewriteEngine на
RewriteBase /
RewriteRule seitea.html seiteb.html [R = 301]

Конечно, возможно, что файл был назван неверно и поэтому не может перезаписывать или перенаправлять URL-адреса.В результате ни пользователи, ни поисковые системы не смогут получить доступ к страницам, и, следовательно, они не будут сканироваться или индексироваться.

Шаг 4. Проверьте свои канонические теги

Канонический тег помогает Google найти исходный URL-адрес для нескольких URL-адресов с одинаковым содержанием, чтобы можно было проиндексировать правильный URL-адрес. Канонический тег ссылается на HTML-тег со ссылкой на исходную страницу, «канонический» URL.

При установке канонических тегов могут возникать многочисленные ошибки, вызывающие проблемы с индексацией.

• Тег Canonical относится к относительному боковому пути
• Канонический тег относится к URL-адресу, который находится в теге Noindex
.
• Страница с разбивкой на страницы относится к первой странице разбивки на страницы по тегу Canonical.
• Тег Canonical относится к URL-адресу без косой черты в конце

Как проверить теги Canonical с помощью Ryte:

Ryte имеет собственный отчет для канонических тегов в области «Индексируемость». После нажатия на «Канонические» и «Использовать» вы быстро получите обзор возможных проблем с реализованными каноническими тегами.

Рисунок 3: Проверка канонических тегов с помощью Ryte

Шаг 5. Отслеживайте доступность сервера и сообщения об ошибках состояния

Другая причина, по которой веб-сайт или URL не могут быть проиндексированы, может быть связана с отказом сервера. Это делает технически невозможным доступ к странице.

также играют важную роль в поисковой оптимизации по многим причинам. Для хорошего рейтинга вам нужен быстрый и эффективный сервер. Если он медленный, время загрузки вашего веб-сайта будет задерживаться, что не нравится пользователям, что приведет к высокому показателю отказов и низкому среднему времени на странице.Google классифицирует эти KPI как отрицательные для пользовательского опыта, что, конечно, отрицательно сказывается на SEO.

С помощью Ryte Website Success вы можете регулярно проверять свой сервер; Мониторинг сервера функций информирует вас о сбоях и тайм-аутах, чтобы вы могли действовать быстро.

Рисунок 4: Мониторинг сервера с помощью Ryte

Совет. Регулярно проверяйте коды состояния HTTP вашего сайта, чтобы убедиться, что переадресация 301 работает правильно или существуют коды состояния 404.Страницы с этим статусом не отслеживаются потенциальными читателями и поисковыми роботами. Ссылки на такие страницы называются «мертвыми ссылками».

Шаг 6. Найдите потерянные страницы

Когда вы реструктурируете свой веб-сайт или добавляете новые категории, эти новые страницы могут не иметь внутренних ссылок. Кроме того, если эти новые URL-адреса не указаны в sitemap.xml и не связаны с внешними источниками, существует высокий риск того, что эти страницы не будут проиндексированы. Поэтому старайтесь любой ценой избегать появления потерянных страниц.

Рисунок 5: Поиск страниц без входящих ссылок

Ryte Website Success быстро покажет вам потерянные страницы. Для этого нажмите на отчет «Страницы без входящих ссылок» в разделе «Ссылки».

Шаг 7. Найдите кражу контента — внешний дубликат контента

Внешний дублированный контент означает, что внешняя интернет-страница берет контент с вашей страницы. Хотя теперь Google стал лучше определять, что является «оригинальным», вполне возможно, что страница с вашим содержанием может получить более высокий рейтинг, чем вы, или, в крайних случаях, вообще помешать вашему содержанию индексироваться.

Предотвратить кражу контента поможет следующий совет:

При публикации вашего контента попросите ссылку на первоисточник. Заранее указывая условия передачи этих текстовых элементов, вы избегаете внешнего дублирования контента. Издатели могут использовать специальное уведомление, такое как «исходный текст на www.yourpage.com», или установить канонический тег для URL-адреса, по которому вы изначально опубликовали контент.

Чтобы найти внешний дублированный контент, вы можете просто скопировать некоторые соответствующие текстовые строки со своей страницы и ввести их в поиск Google.Если несколько результатов с совершенно одинаковым содержанием появляются без ссылки на вашу страницу, очевидно, что это кража контента.

Шаг 8: Определите внутренние ссылки Nofollow

Если вы пометите свои внутренние ссылки атрибутом rel = «nofollow», робот Googlebot не будет переходить по ссылке, и вы будете препятствовать правильному сканированию вашего веб-сайта, как если бы вы не позволяли роботу Googlebot переходить по ссылке, это может не сможет проникнуть в более глубокие области страницы. Поэтому некоторые URL-адреса больше не будут сканироваться, а это означает, что вероятность их индексации снижается.

Если вы работаете с внутренними ссылками nofollow, вы можете уточнить у Ryte, где их найти. Затем мы рекомендуем вам удалить атрибут nofollow. Если вы действительно хотите исключить URL из индексации, лучше подойдет тег noindex в сочетании с атрибутом follow.

Шаг 9. Проверьте свой XML-файл Sitemap

При создании карты сайта возможно, что карта сайта может содержать не все URL-адреса для индексации. Это создает ту же проблему, что и потерянные страницы, потому что нет ссылок на соответствующие URL-адреса.В этом случае велик риск не индексации.

Ryte Website Success может помочь вам в этом. В разделе «Успешность веб-сайта» в области «Карта сайта» перейдите к отчету «Коды состояния файлов». Там вам будут показаны все URL-адреса карты сайта, которые либо не найдены на сервере, либо перенаправлены.

Рисунок 6: Проверьте свой sitemap.xml на наличие ошибок с помощью Ryte

Вы также можете проверить свою карту сайта на наличие ошибок с помощью Google Search Console — предупреждение указывает на возможные проблемы с индексацией.

Шаг 10. Регулярно проверяйте, не были ли взломаны ваши страницы

Google стремится предоставить своим пользователям максимально возможное качество результатов поиска. Нарезанные страницы сильно ограничивают это качество. Обязательно ищите подсказки в Google Search Console. Если ваш сайт стал жертвой взлома, пора сохранять спокойствие. Первым шагом будет изменение паролей для доступа к бэкэнду, если это возможно.

Для предотвращения взлома вам следует регулярно менять пароли и максимально ограничивать количество пользователей, использующих пароли.Кроме того, важно всегда устанавливать все предлагаемые обновления. Google предоставляет дополнительную информацию и советы относительно взлома в центральном блоге веб-мастеров.

Заключение

Может быть множество причин, по которым ваш веб-сайт или отдельные URL-адреса не индексируются. С помощью Ryte вы можете легко находить и устранять ошибки, что приводит к лучшей индексации вашего веб-сайта, что приведет к лучшему ранжированию и большему успеху веб-сайта.

Контрольный список для индексирования

Проверьте индексируемость своего сайта с помощью Ryte FREE

Отчет об индексировании Google — Проверка статуса индексирования сайта

Отчет об индексировании Google — Проверка статуса индексирования сайта

Компании и маркетологи могут видеть, какие из их страниц были проиндексированы, и диагностировать любые проблемы с индексируемостью своего сайта с помощью консоли поиска Google.

Отчет об индексировании Google может дать веб-мастерам более полное представление о том, как их сайт просматривается и сканируется Google, но он также может включать в себя широкий спектр сообщений и предупреждений.Возможность проверить статус индекса Google и исправить любую проблему на вашем сайте имеет решающее значение для поддержания поисковой оптимизации. Знание того, что означают эти сообщения и как на них реагировать, поможет убедиться, что важные части вашего сайта не пропадают в результатах поиска и что ваш обычный трафик не испорчен плохими методами.

Отчет о покрытии индекса Google в Search Console разработан в основном для того, чтобы веб-мастера знали, какие из их страниц находятся в поисковом индексе, а какие нет.

Но правда в том, что этот инструмент предлагает гораздо больше информации, чем просто эта. Он показывает статус всех страниц веб-сайта, которые Google посещал или пытался посетить. В частности, URL-адреса вашего ресурса Search Console, которые были посещены и просканированы роботом Googlebot.

Здесь все страницы сгруппированы по статусу вместе с подсчетом страниц, которые были «проверены» Google и добавлены в индекс, страниц, которые были исключены из индекса, страниц с серьезными проблемами и страниц с предупреждениями.

«Сводная страница» отчета индекса Google

Пользователи могут щелкнуть любую строку на странице сводки, чтобы увидеть все URL-адреса с одинаковым статусом / причиной и более подробную информацию о проблеме.

Эта страница также содержит дополнительную информацию, такую ​​как основной сканер, использованный для сайта (конкретный тип робота Googlebot), и дату последнего обновления отчета.

Чтобы получить доступ к отчету об охвате индекса Google, сначала необходимо создать и настроить учетную запись Search Console.Этот бесплатный инструмент специально разработан для предоставления веб-мастерам и владельцам бизнеса информации о том, как Google обрабатывает их сайт. Найдите ресурс своего сайта в консоли, а затем перейдите к отчету «Покрытие» на левой панели навигации.

Этот отчет очень важен для SEO, поскольку он дает компаниям возможность увидеть, какие из их страниц были правильно проиндексированы и доступен ли их основной контент для поисковиков.В противном случае это просто игра в догадки, в которой нужно узнать, смогут ли люди найти ваш сайт в результатах поиска.

Итак, что вам следует искать в отчете об индексном покрытии? В идеале вы должны видеть постепенно увеличивающееся количество допустимых проиндексированных страниц по мере роста вашего сайта. В частности, если вы постоянно добавляете новый контент на свой сайт или пытаетесь отслеживать поисковую оптимизацию нового сайта.

Для старых веб-сайтов или предприятий с очень согласованным содержанием — не обязательно ожидать каких-либо значительных изменений (хотя небольшие колебания количества действительных страниц вверх и вниз являются нормальным явлением).

Если вы видите спуски или всплески, возможно, проблема связана с индексируемостью вашего сайта. Таблица статуса на странице сводки сгруппирована и отсортирована по «статусу» и причине проблемы; вы должны сначала исправить наиболее серьезные ошибки.

Отчет об индексах Google — отличный инструмент для веб-мастеров и компаний, которые могут проверить состояние своего сайта. Используйте этот отчет, чтобы оценить, как индексируется ваш сайт, и есть ли у Google какие-либо проблемы с пониманием ваших страниц, сканированием отдельных URL-адресов или индексированием правильных URL-адресов.

Этот отчет дает отличный обзор того, что правильно индексируется с помощью графика. Многие оптимизаторы поисковых систем и веб-мастера будут визуально сканировать эту диаграмму, чтобы проверить непропорционально большое количество ошибок и предупреждений, а затем копать оттуда. Если вы пытаетесь проверить статус своего сайта в индексе Google, сделайте то же самое.

Вы должны расставить приоритеты для ошибок, показанных здесь (показаны красным), а затем искать объяснения того, что может вызывать проблемы. После того, как эти проблемы будут решены, вы также можете попросить свою команду SEO проверить все «предупреждения» здесь и поддерживать нормальное количество исправных, проиндексированных страниц.В отчете об индексировании в Search Console нет инструментов или ресурсов для разработчиков для решения этих проблем — этот отчет используется только для проверки и мониторинга.

Хороший способ работать с вкладкой «ошибки» отчетов о покрытии индекса — это проработать контрольный список технического аудита SEO, чтобы попытаться изолировать любые недобросовестные действия на вашем сайте. К счастью, в отчете об индексировании URL-адреса будут сгруппированы по отдельным сообщениям, так что вы можете попытаться определить общие качества и сузить общие элементы, которые могут вызывать проблемы.

Вы также можете использовать инструмент проверки URL-адресов в Search Console, чтобы получить конкретную информацию об общих проблемах и проблемах. Для получения более подробной информации вы можете «Проверить действующий URL-адрес», чтобы попытаться обнаружить любые проблемы с URL-адресом.

Попросите вашего веб-мастера или веб-разработчика внести какие-либо исправления, а затем использовать опцию «Проверить исправление» в Search Console, чтобы Google повторно сканировал ваши страницы и обновлял индекс после устранения проблем.

Существует множество потенциальных сообщений, которые вы можете увидеть, когда проверяете статус своего индекса Google, поэтому мы составили их список.Правда в том, что вы, скорее всего, увидите только несколько из них, и в большинстве случаев сообщения не требуют каких-либо действий или исправлений — они просто сообщают вам статус вашего сайта.

Прочтите, чтобы лучше понять все сообщения, которые вы можете найти в отчете об индексировании.

Ошибка сервера (5xx): Это ошибка уровня сервера, означающая, что страница не может быть загружена. В этом случае Google не будет добавлять эти страницы в индекс, а это означает, что для ценного контента и важных страниц эта ошибка может иметь серьезные последствия для SEO.

Отправленный URL-адрес заблокирован файлом robots.txt: Это сообщение не требует пояснений. Это сообщение появляется на вкладке «Ошибка» отчета о покрытии индекса Google, если вы специально просили проиндексировать страницу (в инструменте проверки URL или в карте сайта) — это дает противоречивые запросы. В тех случаях, когда вы не хотите, чтобы страница индексировалась, это сообщение безвредно, в противном случае вам, возможно, придется обновить файл robots.txt.

Отправленный URL с пометкой «noindex»: Аналогично сообщению об ошибке выше.Был сделан запрос на индексирование страницы, но команда роботов на странице (с метатегом или в заголовке HTTP) не запрашивает индекса.

Отправленный URL-адрес кажется мягким 404: Это сообщение отображается для страниц, которые были отправлены в индекс, но появляются как «мягкая» ошибка 404, когда робот Googlebot пытается их просканировать. Эти страницы можно оставить в покое, если статус «пустой» или «нет в наличии» носит временный характер, но было бы неплохо проверить эти страницы, чтобы убедиться, что на них есть ценный контент.

В редких случаях страница, представляющая ценность для вашего сайта, может случайно выглядеть как программный код 404, если страница кажется пустой или почти пустой для Google, если у нее очень малоценное и тонкое содержание.

Отправленный URL возвращает неавторизованный запрос (401): Сообщение о состоянии 401 предназначено для «неавторизованных» страниц, что указывает на то, что требуются учетные данные для аутентификации. Обычно для серверных частей домена, таких как страницы входа в систему, страницы учетных записей, промежуточные сайты и т. Д. Если эти страницы имеют ограниченный доступ, то их ценность для SEO, вероятно, также ограничена.Еще раз подумайте, следует ли включать их в карту сайта, и удалите их, чтобы улучшить свой краулинговый бюджет.

Отправленный URL не найден (404): Для страниц, которые были отправлены для индексации через карту сайта, возвращают ошибку 404. Эти страницы следует удалить из карты сайта и перенаправить, чтобы сохранить авторитет страницы SEO, который у них может быть.

Отправленный URL содержит ошибку сканирования: Это сообщение означает, что Google обнаружил неопределенную ошибку сканирования, которая не попадает в другие категории.Веб-мастера могут использовать инструмент проверки URL-адресов, чтобы проверить наличие проблем, или дождаться, пока робот Googlebot повторно просканирует URL-адрес.

Проиндексировано, но заблокировано robots.txt: Это сообщение сообщает веб-мастерам, что Google решил проиндексировать страницу, хотя директивы в файле robot.txt могут блокировать эту страницу. Google отправляет это сообщение в качестве предупреждения, потому что они не могут быть уверены, что блокировка была преднамеренной.

Блокировка страниц из индекса с помощью robots.txt — устаревшая стратегия SEO, поскольку Google прекратил поддержку команд noindex в роботах.txt, лучше использовать мета-команды роботов на странице. Имейте в виду, что если Google проиндексировал страницу, это обычно происходит потому, что он считает, что содержание достаточно сильное, чтобы его можно было включить в результаты поиска.

Отправлено и проиндексировано: Это сообщение появляется для «действительных» страниц и означает, что отправленная страница проиндексирована Google. Это, конечно, идеально подходит для SEO-маркетинга, так как это идеальное состояние по умолчанию.

Имейте в виду, что количество «отправленных и проиндексированных» страниц может не всегда соответствовать ожидаемому, Google будет игнорировать повторяющиеся URL-адреса, неканонические URL-адреса и URL-адреса с параметрами (их можно отобразить в инструменте проверки URL-адресов).Количество отображаемых здесь страниц может иногда уменьшаться и уменьшаться со временем.

Исключено тегом noindex: Google просканировал страницу, но обнаружил в HTML метатег robots noindex и поэтому не добавил страницу в индекс. Для целей SEO команды мета-роботов — лучший способ предотвратить индексацию страниц, но если эта страница предназначалась для индексации, веб-мастерам, возможно, придется проверить свои настройки CMS или удалить тег.

Заблокировано инструментом удаления страницы: Это означает, что страница была удалена из индекса вручную кем-то с помощью инструмента запроса удаления URL в консоли поиска Google.Это только временно, и даже если ничего не будет сделано, страница в конечном итоге будет повторно просканирована и, возможно, проиндексирована примерно через 90 дней. Чтобы удалить страницу навсегда, лучше использовать команду роботов на странице noindex.

Заблокировано файлом robots.txt: Это означает, что в файле robots.txt домена есть команды, которые блокируют страницу, но страница не была «отправлена» просто потому, что Google естественным образом просканировал файл robots.txt и обнаружил команда.

Это не означает, что страница не будет проиндексирована.Поскольку Google не рекомендует использовать команду «noindex» в файле robot.txt, лучшим решением для предотвращения индексации является использование мета-тега robots на странице.

Заблокировано из-за неавторизованного запроса (401): Страница заблокирована для робота Googlebot кодом состояния 401, что означает, что для доступа к странице требуется авторизация аутентификации. Если эту страницу необходимо проиндексировать для целей SEO, веб-мастер или разработчик сайта должны сделать так, чтобы содержимое страницы было полностью доступно как для пользователей в браузере, так и для индексаторов поисковых систем.

Аномалия сканирования: Это сообщение в отчете о покрытии индекса Google означает, что при сканировании страницы произошла какая-то ошибка. Это может означать код ответа уровня 4xx или 5xx или возникновение другой проблемы при попытке загрузить страницу. Вы можете использовать инструмент проверки URL-адресов, чтобы проверить наличие проблем.

Просканировано — в настоящее время не проиндексировано: Это одно из наиболее частых сообщений, которые можно увидеть в отчете об индексировании. Важно помнить, что «просканировано» не означает, что страница была автоматически добавлена ​​в индекс результатов поиска Google — это просто означает, что робот Googlebot посетил и обработал страницу.

Одно из возможных объяснений состоит в том, что Google определил, что страница достаточно ценна для индексации — возможно, из-за нехватки контента или тонкого контента. Другая причина может заключаться в том, что Google считает, что это не часть основного содержания вашего сайта. Вы можете проверить свою страницу в инструменте проверки URL-адресов, чтобы увидеть, есть ли какие-либо проблемы с отрисовкой. Вы можете запросить индексацию или добавить страницу в карту сайта, чтобы указать поисковым системам, что эта страница представляет ценность для вашего сайта / бизнеса.

Вы также должны убедиться, что содержание вашей страницы доступно поисковым системам — например, Google не может прочитать какое-то содержание JavaScript или Flash.

Обнаружено — в настоящее время не проиндексировано: URL-адрес известен Google (либо из карты сайта, либо из других источников), но робот Googlebot еще не посещал и не сканировал URL-адрес. Обычно это означает, что он пытался просканировать URL, но сайт или сервер домена были перегружены, поэтому Google остановился, чтобы не снизить производительность сайта.При этом они дают вашему сайту «краулинговый бюджет».

В большинстве случаев здесь ничего не нужно делать, если вы проверяете статус своего сайта в индексе Google. Google перенесет сканирование и возврат позже.

Альтернативная страница с правильным каноническим тегом: В этом случае Google знает о странице, но этот конкретный URL не был проиндексирован, поскольку вместо этого был проиндексирован канонический URL страницы. Для целей SEO здесь не нужно ничего менять, а это значит, что Google правильно понимает сайт.

Дубликат без выбранного пользователем канонического: Это означает, что Google обнаружил несколько повторяющихся URL-адресов для страницы или несколько страниц с повторяющимся содержанием, ни одна из которых не была канонизирована. В большинстве случаев Google выберет свою собственную «каноническую» версию и проиндексирует ее — вы можете проверить URL-адрес в инструменте проверки URL-адресов, чтобы увидеть, как обрабатывается эта страница.

Как правило, здесь не требуется никаких исправлений, поскольку выбранный Google канонический файл работает так же, как пользователь, объявленный каноническим, но веб-мастера имеют возможность установить свой собственный канонический, если они хотят иметь больше контроля или если они хотят проиндексировать определенный URL.

Дубликат, Google выбрал каноническую версию, отличную от пользовательской: Здесь страница имеет каноническую версию, но вместо этого Google выбрал другой URL в качестве канонической версии. Если этот выбор Google кажется правильным, веб-мастера могут изменить канонизацию, чтобы она соответствовала (или позволить ей быть), в противном случае лучше всего оптимизировать структуру сайта, чтобы она была более понятной для поисковых систем или уменьшила количество повторяющихся URL-адресов.

Вы также должны убедиться, что содержимое «повторяющихся» страниц совпадает и что содержимое ваших канонических URL совпадает с исходной страницей.В противном случае Google может не счесть его хорошим каноническим.

Не найдено (404): Эта страница вернула ошибку 404 при запросе. Это сообщение появляется в отчете о покрытии индекса, поскольку робот Googlebot обнаружил ссылку на страницу без определенного запроса в Search Console или карте сайта, но ссылка вернула 404.

Это, вероятно, указывает на неработающую ссылку где-то в содержании вашего сайта или неработающую обратную ссылку с другого домена. Обычно лучшим решением здесь является переадресация 301 ссылки на ближайшую приблизительно соответствующую страницу.Это может помочь сохранить и передать любой ассоциированный рейтинг или авторитет страницы для исходной страницы

 Агент пользователя: *
Запретить: / wp-admin /
Разрешить: / wp-admin / admin-ajax.php
Карта сайта: https://ihredomain.de/sitemap_index.xml