Как удалить страницы из поиска
Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена с сайта.
- Шаг 1. Запретите индексирование страницы или каталога
- Шаг 2. Ускорьте удаление страницы
- Как вернуть страницу в результаты поиска
- Вопросы и ответы
Сделать это можно несколькими способами:
- Если страница удалена с сайта
- Если страница не должна отображаться в поиске
Для проверки корректности указаний в файле robots.txt используйте инструмент Анализ robots.txt.
Примечание. При обходе сайта робот сначала обращается к файлу robots.txt, если он есть, а затем к самим страницам сайта. Последовательный обход страниц может занять некоторое время. Если вы хотите удалить из поиска множество страниц, укажите директиву Disallow для нужных страниц.
Способ удаления | Поведение робота |
---|---|
Запрет в файле robots.txt | Робот прекращает обращаться к странице в течение суток. |
HTTP-статус с кодом 404, 403 или 410 | Робот продолжает посещать страницу в течение некоторого времени, чтобы убедиться, что ее статус не изменился. Если страница останется недоступной, робот прекратит ее обходить. |
Метатег robots с директивой noindex |
Когда робот посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных на странице Яндекс.Вебмастера.
Удаление из результатов поиска страниц, удаленных с сайта из-за нарушения авторских прав, не является приоритетным для робота. Чтобы убрать страницу из поиска, используйте описанные в данном разделе способы.
Удаленные из поисковой выдачи страницы могут отображаться в Яндекс.Вебмастере до следующего обхода сайта.
Рекомендуем просмотреть урок Как удалить страницу из поиска.
Чтобы ускорить удаление страницы из поиска, сообщите Яндексу о необходимости ее убрать, не дожидаясь планового обхода робота.
Если ваш сайт не добавлен или не подтвержден в Яндекс.Вебмастере:
- Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
В поле введите адрес страницы, которую надо удалить, например http://example.com/page.html.
Нажмите кнопку Удалить.
Чтобы убрать из поиска несколько страниц, последовательно удалите данным образом каждую страницу.
Если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом:
Перейдите на страницу .
Установите переключатель в положение По URL.
В поле введите адрес страницы, например http://example.com/page.html.
Нажмите кнопку Удалить.
Вы можете указать до 500 адресов одного сайта в сутки.
Вы можете удалить все страницы сайта, отдельные каталоги или страницы с заданными параметрами в URL, если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом.
В Яндекс.Вебмастере перейдите на страницу .
Установите переключатель в положение По префиксу.
- Укажите префикс:
Что удалить Пример Каталог сайта http://example.com/catalogue/ Все страницы сайта http://example.com/ URL с параметрами http://example.com/page? Можно отправить до 20 префиксов для одного сайта в сутки.
Нажмите кнопку Удалить.
Примечание. Робот удалит страницы, указанные в Яндекс.Вебмастере, только если для этих страниц прописана директива Disallow в файле robots.txt.
После того, как URL отправлен в Яндекс.Вебмастер, вы можете отслеживать изменение статуса на странице :
Статус | Описание |
---|---|
«В очереди на удаление» | Робот проверяет ответ сервера и наличие запрета на индексирование страницы. Проверка может занимать несколько минут. |
«В процессе» | Робот проверил страницу. В течение суток страница будет удалена из результатов поиска. |
«Удалена» | Страница удалена из результатов поиска. |
«Отклонено» | Отсутствует запрет на индексирование или при обращении робота к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone. |
Уберите запрет на индексирование: директиву Disallow в файле robots.txt или метатег noindex. Страницы вернутся в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.
- Редирект настроен на новые страницы, но в поиске присутствуют старые страницы
Если вы использовали редирект, робот постепенно отследит перенаправление, и по мере обхода сайта старые страницы будут пропадать из результатов поиска. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переобход.
Если адреса страниц меняются со сменой доменного имени сайта, то на обновление данных в поиске может потребоваться более месяца. Проверьте, правильно ли настроены зеркала.
Как удалить страницу из поиска Яндекс и Google?
Как добавить страницу в Яндекс и Google мы уже рассказывали. Но может понадобиться и обратная процедура — удалить страницу из поиска. Это можно сделать вручную или здать автоматической настройки. Что удобнее, быстрее и легче рассказываем в новой заметке.
Ручное удаление
Чтобы оперативно удалить страницу из поиска, необходимо воспользоваться инструментом Яндекс Вебмастера и Search Console: «Удалить URL».
В Яндекс.Вебмастере существует две версии данного инструмента:
- Первый позволяет отправлять на удаление URL любых сайтов. Ограничение — URL необходимо отправлять поштучно.
- Второй доступен только после подтверждения сайта и позволяет отправить на удаление до 500 URL в сутки (отправлять URL можно списком).
Перед тем как использовать данные сервисы, необходимо настроить 404 код ответа удаляемых страниц или запретить от индексации в файле robots.txt.
В течение нескольких дней после использования сервиса, страницы пропадут из выдачи поисковых систем.
Автоматическое удаление страниц
Если страница отвечает любому из трех условий:
- Отдает 404 код ошибки.
- Закрыта от индексации в файле robots.txt.
- Закрыта от индексации мета-тегом robots.
То со временем они удалятся из индекса автоматически. Недосток автоматического метода в том, что удаление страниц может затянуться — требуется время ожидания повторного переобхода поисковыми роботами. А если это внутренняя страница с небольшим количеством входящих ссылок, то произойти это может не скоро.
Именно поэтому рекомендуется использоваться ручные сервисы по удалению страниц из индекса.
#104
Февраль’19 1213 21 #94 Декабрь’18 3026 28#60
Февраль’18 3727 19Как удалить страницу из поиска Яндекса
Автор Алексей На чтение 4 мин. Просмотров 2.9k. Опубликовано Обновлено
Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена.
Сообщите Яндексу о том, что страницу нужно удалить
Сделать это можно несколькими способами:
Если страница удалена с сайта
- Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.
Если страница не должна отображаться в поиске
- Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
- Закройте страницы от индексирования с помощью мета-тега noindex.
Если вы настроили ответ сервера на код 4XX или использовали мета-тег noindex для множества страниц, робот узнает об изменении каждой страницы постепенно. В этом случае запретите индексирование страниц с помощью директивы Disallow.
Когда робот Яндекса посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных в разделе Индексирование → Страницы в поиске Яндекс.Вебмастера.
В течение некоторого времени робот еще будет посещать страницу, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, она пропадет из базы робота.
Страница может снова появиться в результатах поиска, если вы уберете запрет на индексирование в файле robots.txt или ответ сервера изменится на 200 OK.
Если страница удалена с сайта из-за нарушения авторских прав, порядок удаления ее из результатов поиска не меняется и не является приоритетным.
Ускорьте удаление страницы из поиска
Если после того, как вы запретили индексирование станиц, робот еще не посетил ваш сайт, вы можете сообщить Яндексу о необходимости убрать страницу с помощью инструмента «Удаление страниц из поиска» в Яндекс.Вебмастере.
Удалить отдельные страницы сайта из поиска Яндекса
Если ваш сайт не добавлен в Яндекс.Вебмастер:
- Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
- В поле введите адрес страницы, например http://ururu.com/ololo.html.
- Нажмите кнопку Удалить.
Чтобы убрать из поиска несколько страниц, удалите адрес каждой страницы последовательно.Если ваш сайт добавлен и подтвержден в Яндекс.Вебмастере:
- Перейдите на страницу Инструменты → Удаление страниц из поиска.
- Установите переключатель в положение По URL.
- В поле введите адрес страницы, например http://ururu.com/ololo.html.
- Нажмите кнопку Удалить.
Вы можете указать до 500 адресов одного сайта в сутки.
Удалить отдельные страницы сайта из поиска Яндекса
Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.
В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.
Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.
Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.
В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.
Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.
- Установите переключатель в положение По префиксу.
- Укажите префикс:
Что удалить Пример Каталог сайта http://example.com/catalogue/ Все страницы сайта http://example.com/ URL с параметрами http://example.com/page? Можно отправить до 20 указаний для одного сайта в сутки.
- Нажмите кнопку Удалить.
Статусы после отправки URL
Статус | Описание |
---|---|
«В очереди на удаление» | Робот проверяет ответ сервера и наличие запрета на индексирование страницы в файле robots.txt. Проверка может занимать несколько минут. |
«Удалена» | В течение часа после проверки страница будет удалена из результатов поиска. |
«Отклонено» |
|
Как вернуть страницу в результаты поиска
Уберите запрещающие индексирование директивы: в файле robots.txt или мета-тег noindex. Страницы вернуться в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.
Как удалить неактуальную информацию из поисковой выдачи Google и Яндекс
Рассказываем о том, почему нужно удалять неактуальную информацию из поисковой выдачи и как это сделать.
Зачем удалять информацию из Google?
Причина состоит в том, что любые данные в сети стремительно устаревают, причем на совершенно разных сайтах.
Интернет-магазины
Список товаров может постоянно меняться. Огромное количество продуктов, техники и мебели исчезает с прилавков, и информацию об этом нужно донести до покупателей. Зачастую магазины просто оставляют на сайте заглушку с надписью «Товар закончился», но иногда нужно полностью удалить страницу товара.
Новостные сайты
Любая статья на новостном ресурсе быстро стареет. Поэтому иногда их полезно подчищать, убирая старье, которое только мешает, а не генерирует новых посетителей.
Крупный бизнес
Некоторые ресурсы находятся под постоянным контролем надзорных органов. Чтобы у них не возникло проблем с госструктурами, администраторам ресурса приходится держать на сайте исключительно актуальную и точную информацию.
И таких вариантов много. Существуют десятки типов контента, которые необходимо вовремя удалять из поисковой выдачи, так как их нахождение там может негативно сказаться на бизнесе или SEO-показателях ресурса. Например, попадание в поисковики страниц с чьей-то персональной информацией, паспортными данными или другими личными файлами, а также появление в выдаче «несуществующих» адресов, которые очень не нравятся пользователям и поисковым ботам Google и Яндекса.
Почему в Google и Яндексе появляются несуществующие страницы?
-
Если вы удалили со своего сайта контент, но не попросили поисковую службу сделать повторный обход, чтобы добавить в результаты поиска актуальную информацию.
-
Если вы изменили URL страницы, но забыли оповестить об этом поисковые системы. Они отобразят в выдаче некорректные данные, а пользователи после перехода по ссылке будут оказываться на другой странице или вовсе получать в ответ ошибку.
-
Кто-то разместил внешнюю ссылку на ваш ресурс в искаженном виде (некорректный или устаревший адрес).
Как удалить устаревший контент из поисковой выдачи?
Удаление неактуальных данных из сети – довольно распространенная процедура. И есть целый список техник, позволяющих эту информацию «стереть». Выбор зависит от поисковой службы, ваших навыков, времени, цели и желания разобраться в вопросе.
Яндекс.Вебмастер: «Удалить URL»
У Яндекса для удаления устаревших страниц есть отдельная опция в интерфейсе Вебмастера. Перед тем как воспользоваться этой функцией, необходимо скорректировать параметры в файле robots.txt. Это документ, в котором содержится информация для поискового бота, анализирующего все страницы в сети.
Так вот, в этом документе нужно указать директиву Disallow. То есть прописать:
User-agent: Yandex Disallow: /moy-sait
Такой код запретит боту анализировать все страницы, в URL которых содержится moy-sait.
Затем нужно корректно настроить ответ сервера. Чтобы при посещении «удаленной» страницы, пользователь видел ошибку 404 с соответствующим уведомлением о том, что страница больше не существует.
После этого можно полностью удалить страницу из поиска, прописав ее адрес в специальном интерфейсе Яндекс.Вебмастера. Сделать это могут только пользователи с подтвержденными правами администратора.
Процесс может занять длительное время. Состояние удаляемых страниц отображается в специальной панели управления в Яндекс.Вебмастере. Каждый день можно удалять не более 500 адресов.
Google Search Console URL Removal Tool
У Google есть аналогичный инструмент для удаления страниц из результатов поиска. Чтобы им воспользоваться, нужно иметь учетную запись в Google Search Console с подтвержденными правами на владение сайтом. Только после этого можно делать запрос на удаление.
Если страница, которую вы хотите скрыть из поисковой выдачи, теперь не существует, надо подать запрос на официальном сайте Google, дабы удалить ее из результатов поиска.
Также у Google есть отдельный инструмент для удаления неактуальных результатов поиска на сторонних ресурсах. Google Removal Tool используется, когда вы нашли чужой сайт, который отображает сниппет в поиске, но при попытке войти на конкретную страницу отзывается ошибкой либо показывает совершенно иной контент.
noindex
Универсальный способ сокрытия URL из результатов поиска. Он заключается в установке тега noindex в HTML-коде страницы. Этот тег блокирует работу роботов Google и Яндекса, пытающихся проанализировать контент на странице и вывести его в поисковую выдачу.
Чтобы настроить noindex:
-
Открываем HTML-файл страницы, адрес которой нужно скрыть из сети.
-
Прописываем в meta-тег:
<meta name="robots" content="noindex"/>
…или…
<meta name="googlebot" content="noindex"/>
…если нужно заблокировать конкретного бота, а не всех сразу.
После этого поисковые роботы будут обходить выбранную страницу стороной.
Также noindex можно настроить через плагины для WordPress. Соответствующая опция есть в дополнении Yoast. В расширенных настройках приложения есть опция «Allow search engines to show this Blog Post in search result». В ней можно указать страницы, которые необходимо скрыть.
Редиректы 301 и 302
Еще один вариант убрать страницу из результатов поиска – настроить переадресацию. Разберем, как это работает на примере. У вас есть страница какого-нибудь товара, который больше не поступит в продажу. Вы точно знаете, что вам не нужно индексировать этот URL, готовы полностью скрыть его с глаз поисковиков и предоставить пользователям альтернативный вариант. Для этого можно настроить переадресацию на другую страницу с наиболее подходящим товаром.
301-редирект лучше использовать для страниц, которые нужно удалить совсем. А 302-редирект для тех страниц, что нужно оставить в поиске (например, временно отсутствующие товары).
Чтобы настроить переадресацию:
-
Генерируем код для редиректа с помощью специального сервиса, указав нужные ссылки.
-
Затем открываем файл .htaccess и вставляем туда сгенерированный для редиректа код.
-
Сохраняем изменения.
При желании можно воспользоваться WordPress-плагинами в духе Redirect и Redirection.
Сделать заглушку
Иногда удалять страницу вовсе не обязательно. Если вам мешает URL, ведущий на временно неактуальный контент, то можно попытаться его слегка отредактировать. Известный SEO-специалист Джо Джонсон приводит в пример страницу с информацией о Черной Пятнице, большой ежегодной распродаже. Он считает, что по завершении акции можно не удалять страницу, а поставить на ней заглушку, отображающую дату следующей распродажи.
Такой подход позволяет не терять позиции страницы. Многие магазины держат подобные URL, чтобы оставаться на первых местах при ранжировании в поисковой выдаче. И им это удается.
Редактирование контента
Некоторые пользователи считают, что для обновления контента нужно снести страницу целиком, а потом создать заново. На самом деле, контент можно редактировать, причем менять его радикально. Поисковые боты регулярно отслеживают изменения в сети и вносят обновления в свою базу данных. Поэтому удалять ссылку не нужно, если вы знаете, чем заменить ее содержимое.
Удаление данных с чужого сайта
Удалить контент с чужого сайта можно двумя путями. Первый, тот, что я описал выше, – Google Search Console Removal Tool. Он подходит для борьбы с неактуальной информацией. Но иногда контент нужно удалить не из соображений актуальности, а из-за юридических аспектов.
В таких случаях необходимо обращаться в поисковые службы напрямую и требовать удалить контент по закону. Опять же, это сработает только в том случае, если информация нарушает ваши исключительные авторские права на размещение. Или же публикуемая информация нарушает законодательство страны, в которой работает поисковая служба.
Можно обратиться напрямую к владельцам сайта, припугнуть законом. Если не сработает, то Google предлагает направить запрос через их форму. И уже после того, как «запрещенные» материалы будут удалены со страниц, можно запустить Google Search Console Removal Tool и потребовать удаления устаревших URL из поисковой выдачи.
Проверка поисковой выдачи после удаления данных
По завершении описанных выше процедур страница исчезнет не сразу. Не нужно гуглить через минуту после прописывания meta-тегов и запроса на удаление URL. Ссылки пропадут из Google и Яндекс через несколько дней.
Если вы решили удалить страницу из интернета, то проверить ее отсутствие можно вводом точного адреса в соответствующую строку браузера.
Вместо заключения
Здесь мы и закончим. Как видите, есть масса способов спрятать страницу от Google и Яндекса. Все они срабатывают не сразу, но довольно быстро, да и сам процесс удаления ссылок до боли простой. Не придется осваивать какие-то сложные инструменты.
Поддерживайте данные на своих ресурсах в актуальном состоянии и удаляйте «поломанные» URL вовремя.
7 способов удаления страницы из индекса поисковых систем
В этой статье я помогу вам разобраться в том, какие страницы не стоит индексировать, как удалить страницы из индекса поисковиков и зачем это нужно делать.
Содержание:
-
Зачем нужно удалять страницы из индекса и что это за страницы
-
Как удалить страницы из поисковой выдачи
Зачем нужно удалять страницы из индекса и что это за страницы?
«Ненужные страницы» – это страницы, которые не предназначены для притягивания трафика из поиска и их дальнейшего продвижения.
Устранение подобных страниц из индекса позволяет удалить лишние копии страниц, скрыть персональную информацию и, самое главное, улучшить хостовые поведенческие факторы, которые включают в себя такие основные показатели, как:
-
Показатель отказов.
-
Глубина просмотра (среднее количество просмотренных страниц в рамках одной сессии).
-
Время, проведенное пользователем на странице.
-
Среднее время, проведенное пользователем на сайте.
-
Поведение пользователей на выдаче.
Логика простая: чем больше мусорных страниц в поиске, по которым не кликают, тем хуже значения хостовых поведенческих факторов сайта, что влечет за собой ухудшение ранжирования.
К таким страницам относятся:
-
Страницы с GET-параметрами, которые выступают дублями посадочных страниц (страницы сортировок или с различными вариантами отображения карточек товаров и т. д.). Примеры таких страниц: https://site.ru/catalog/page1/?sort=sort&amp;order=asc; https://site.ru/catalog/page2/?display=list.
-
Страницы с результатами поиска по сайту, страницы сравнения (https://site.ru/search/?q=&amp;amp;s=Найти; https://site.ru/catalog/page1/compare.php).
-
Страницы с неуникальным контентом.
-
Страницы, не несущие в себе смысловой нагрузки (административные и технические страницы с персональной информацией).
-
Системные каталоги и файлы.
-
Страницы, удаленные на сайте, но все еще отображающиеся в поиске.
Как удалить страницы из поисковой выдачи?
Рассмотрим ключевые методы удаления страниц из индекса.
1 способ. Директива Disallow в файле Robots.txt
Используя данную директиву, можно дать указания роботу не посещать список заданных страниц.
Имеется существенное дополнение.
Страница, запрещенная к индексированию с помощью директивы Disallow, все равно может быть просканирована и проиндексирована. Что может происходить из-за того, что на настоящую страницу ссылаются иные страницы на сайте.
Стоит отметить и то, что Yandex чаще всего воспринимает директивы robots.txt как четкие инструкции по внесению в индекс. Совсем другая ситуация с «Гуглом», для него robots.txt – это всего лишь рекомендации. Поэтому, если вы закрыли страницу от индексации в robots.txt, поисковые роботы Google все равно могут ее проиндексировать. Чтобы этого избежать, можно воспользоваться другими способами, описанными ниже.
2 способ. Настройка 404, 403 и 410 HTTP-кодов ответа от сервера
При получении одного из этих кодов ответа при посещении страницы, робот воспринимает ее более недоступной и исключает ее из индекса.
Работающая страница, которая подлежит индексации, должна отдавать код 200.
Проверить HTTP-коды ответа сервера можно с помощью сервиса bertal.ru
3 способ. Директива noindex в HTTP-ответе сервера
Мы уже выяснили, что робот при обходе страницы получает какой-либо ответ с сервера в котором содержатся специальные коды. Они показывают роботу, что сканируемая страница работает, либо недоступна. Но может возникнуть ситуация, когда страница должна работать на сайте, т. е. отдавать код 200, но ее нельзя индексировать. При таких условиях в HTTP-ответ сервера можно добавить HTTP-заголовок, который будет запрещать индексирование данной страницы.
HTTP-заголовок для запрета к индексации выглядит так:
X-Robots-Tag: noindex
Образец кода ответа сервера с применением noindex:
4 способ. Директива noindex, прописанная в метатеге
Задается в коде страницы при помощи тега <meta name=”robots” content=”noindex”>
5 способ. Устранение страниц из поиска в сервисе «Яндекс Вебмастер»
«Яндекс Вебмастер» предлагает 2 способа исключения страниц: по URL и по префиксу.
Используя вариант удаление «по URL», в окне сервиса необходимо просто указать список страниц, которые вам необходимо удалить.
Удаление «по префиксу» позволяет устранить все страницы, вложенные в каком-либо разделе или страницы, содержащие определенный параметр.
Например на сайте https://site.ru необходимо удалить все страницы из раздела catalogue, для этого в «Яндекс Вебмастере» откроем вкладку по префиксу и укажем УРЛ https://site.ru/catalogue/. В итоге все страницы из раздела catalogue будут удалены из индекса.
Если нужно удалить все страницы, которые содержат параметр после символа «?» в адресе, воспользуемся такой записью:
Перед тем, как отправить страницы на удаление в «Яндекс Вебмастере», необходимо запретить соответствующие страницы к индексации в robots.txt, иначе ваша заявка на удаление страниц будет отклонена.
6 способ. Удаление страниц из поиска в сервисе Google Search Console
Инструмент Google URL Removal работает также, как и аналогичный инструмент в «Яндекс Вебмастер» и имеет возможность удалять страницы как по URL-адресу, так и по префиксу.
Основное отличие состоит в том, что с помощью данного инструмента Google исключает страницу из поиска временно (на срок до 90 дней). Иными словами через некоторое время отправленная на удаление страница, снова рискует попасть в индекс, если ее HTTP-код отличен от 404, 403, 410, и она не имеет установленной директивы noindex в коде страницы, либо в HTTP-заголовке.
7 способ. Защита страницы паролем
Разделы, защищенные паролем, запрещают поисковикам получить доступ к контенту, вследствие чего подобные страницы чаще всего не попадают в индекс.
Выводы
-
Необходимо удалять из индекса страницы, по которым не притягивается трафик из поиска.
-
Удаление ненужных страниц дает улучшение релевантности сайта и поведенческих факторов на выдаче.
-
Ключевые методы удаления страниц из индекса:
-
Директива Disallow в Robots.txt.
-
Настройка HTTP-кодов ответа от сервера 404, 403 и 410.
-
Директива noindex, используемая в HTTP-ответе страницы и метатеге.
Самые результативные способы удаления страниц из индекса – это настройка 404, 403 и 410 HTTP-кодов ответа сервера и директива noindex, используемая в HTTP-заголовке, либо коде страницы.
Директива Disallow не дает 100%-ой гарантии, что страница не будет снова занесена в индекс. А страница, защищенная паролем, в свою очередь создаст неудобства для пользователей.
Как удалить устаревший контент из Гугла и Яндекса
В процессе развития веб-сайта с него периодически приходится удалять страницы. Страницы сайта постоянно удаляются владельцем. Это происходит, когда они становятся неактуальными. Тем не менее, «призрак» удаленной с сайта страницы может остаться в индексе поисковых систем. В результате Гугл и Яндекс накапливают в своем архиве несуществующие страницы, которые не приносят трафик и плохо влияют на поведенческие факторы по сайту: показатель отказов, глубину просмотров, среднее время пользователя на сайте и т. д. Это приводит к понижению позиций сайта в поиске. В статье мы рассмотрим способы удаления страниц из поисковиков и выясним, зачем нужно проделывать эту работу.
Зачем удалять старый контент
Казалось бы, лежит себе и лежит, никого не трогает. На самом деле, есть несколько веских причин почистить сайт и скрыть эти страницы от Гугла и Яндекса:
Обновление в ассортименте
В интернет-магазинах часто меняется ассортимент товаров: добавляются новые модели и снимаются с продажи старые, что-то и вовсе могут перестать производить. Такие устаревшие страницы рекомендуется удалить и скрыть от поисковых роботов.
Устаревшая информация в статьях
Старые статьи далеко не всегда стоит удалять и скрывать от поисковых роботов. Лучшее решение — отредактировать материал, добавить актуальную информацию. Но бывает так, что тема статьи безвозвратно устарела, описываемые в ней продукты уже не существуют, ссылки не работают. Если статью уже никак нельзя исправить, то ее лучше удалить и скрыть от индекса Гугла и Яндекса.
Требования закона
В некоторых отраслях контент напрямую зависит от законодательных требований. Одна из них — медицина. Иногда материал приходится срочно удалять, чтобы не получить штраф за несоблюдение норм. Например, сейчас в любой медицинской статье требуется оставлять напоминание, что лучше не полагаться на опубликованный материал и не заниматься самолечением, а обратиться к специалисту.
Как скрыть от поисковиков устаревшие страницы сайта
Страницы необязательно безвозвратно удалять. Можно скрыть их от Гугла и Яндекса, оставив доступными для посетителей сайта. Полное удаление страниц с сайта и из поисковиков тоже легко осуществимо, если этого требуют ваши цели и задачи.
Тег noindex
Этот тег закрывает нужные страницы от поисковых роботов. Тег добавляется в HTML-код страницы и выглядит так: «<meta name=»robots» content=»noindex»>». Если вы захотите вернуть страницу в поисковый индекс, просто уберите этот тег. Будьте готовы, что страница может потерять свои позиции в поисковой выдаче после этой операции.
Удаление URL-адресов в Вебмастере
Процесс закрытия страниц от Яндекса ускоряется с помощью инструмента «Удалить URL» в Яндекс.Вебмастере. Перед этим нужно добавить тег noindex к нужной странице и прописать директиву disallow в файле robots.txt. Далее добавляем устаревшие страницы в строку Яндекс.Вебмастера, и Яндекс удалит их из своего архива. В день возможно удалить до 500 страниц.
Удаление страниц в Google Search Console
У Гугла есть свой инструмент — «Инструмент удаления URL». Работает по тому же принципу, вбейте URL-адрес, и он удалит страницу из своей системы.
Редирект
Альтернативный вариант удалить устаревшие страницы — поставить перенаправление на другие страницы сайта. Сделайте редиректы на актуальные публикации или отправьте клиента на главную страницу сайта.
Как удалить сайт из поисковых систем
Подобным вопросом задаются те пользователи, чьи веб-ресурсы потеряли свою актуальность или были заменены более функциональными версиями. Сразу оговоримся, что удалить сайт из поиска может только его владелец, у которого есть доступ к панели Яндекс Вебмастера и самой площадке. Если вы надеетесь, что сможете удалять сайты конкурентов из поисковых систем, то так не получится:)
В этой публикации мы расскажем вам, как полностью удалить свой ресурс или его отдельные страницы из Google и Яндекс.
Удаляем сайт через Яндекс Вебмастер
Перед тем, как перейти к непосредственному удалению вашего ресурса через панель Вебмастера, необходимо поставить запрет на индексирование сайта с помощью мета-тегов. Для этого просто скопируйте код ниже и вставьте в поле «Подтверждение владения сайтом» в разделе «Реклама/SEO» панели управления (если у вас сайт на конструкторе 1С-UMI).
Затем авторизуйтесь в своем аккаунте Вебмастера. Перейдите в раздел «Инструменты» и нажмите на пункт «Удалить URL». В поле справа укажите ссылку на ту страницу, которую желаете удалить, либо домен сайта, если необходимо удалить весь ресурс. После этого нажмите на кнопку «Удалить».
На удаление Яндексом вашего сайта или его отдельной страницы понадобится несколько дней, а в некоторых случаях будет достаточно пары часов.
Удаляем сайт через Google Search Console
Здесь никаких предварительных действий не требуется. Но и удалить навсегда свой ресурс при помощи этого сервиса у вас не получится. Зато можно заморозить доступ к нему на срок до 3 месяцев.
Для этого авторизуйтесь в панели вебмастера, выберите свой сайт, в разделе «Индекс Google» отыщите инструмент «Удалить URL-адреса». Нажмите на кнопку «Временно скрыть», введите адрес сайта или конкретной страницы и отправьте запрос. Он обрабатывается в течение 24 часов.
Если же вы захотите насовсем удалить сайт из поисковой системы, воспользуйтесь одним из методов, о которых пойдет речь ниже.
Удаляем сайт при помощи ошибки 404
Наверняка вы уже сталкивались с подобным, когда пытались перейти на какие-либо сайты. Вам показывалась данная ошибка, которая означает, что такой страницы больше нет. Для своего ресурса вы можете сделать то же самое.
Чтобы активировать эту ошибку на UMI, деактивируйте главную страницу сайта при помощи кнопки «Сделать неактивным» в разделе «Контент → Структура и меню».
Поисковые системы будут посылать запросы, которые покажут им, что данного ресурса больше нет. Как только это станет очевидно, Google и Яндекс удалят такую страницу из своей выдачи.
Помните, что само по себе выключение вами страницы на сайте не удалит его из поиска, это произойдет только после переиндексации. Она может занять от одного дня до месяца. Если на ваш веб-ресурс ссылаются другие источники, то будет правильнее его удалить с использованием 301 редиректа.
Удаляем сайт при помощи 301 редиректа
Применение этого способа не просто удалит сайт из индекса, но и сделает его контент недоступным для всех пользователей и даже самого владельца, администратора. Метод заключается в перенаправлении посетителя на другой раздел сайта, если он искал страницу, которая перестала существовать.
Преимущество 301 редиректа в том, что он позволяет сохранять текущие позиции в выдаче поисковых систем. Новый домен, на который устанавливается редирект, перенимает позиции. А это означает, что ваши усилия по SEO-продвижению своего ресурса не пойдут прахом, а результаты останутся в полной сохранности.
Для сайтов на 1С-UMI 301 редиректы легко подключаются через панель управления ― в разделе «Реклама/SEO» → «Перенаправления страниц (редиректы)».
Скрываем сайт при помощи robots.txt
Этот способ не удалит ваш веб-сайт из поиска, но позволит его скрыть от поисковых роботов. Чаще всего он используется, когда есть необходимость скрыть определенных разделов или документов. В таких случаях просто прописывается запрет на индексацию. Но при желании можно скрыть и весь сайт целиком. Например, на срок его редизайна или иной доработки.
Чтобы сделать это на конструкторе 1С-UMI, откройте файл Robots.txt в панели управления сайтом «Реклама/ SEO → Управление robots.txt», впишите в него значения: «User-agent: * и Disallow: ваш домен» и сохраните изменения. Для сокрытия одной страницы напротив этой директивы укажите ее адрес без http и www. Например, /adminzone/.
Там, где вы видите пункт User-agent, укажите звездочку, если хотите скрыть сайт от всех поисковых систем. Если желаете, чтобы сайт не индексировался конкретным поисковиком, вместо звездочки впишите, соответственно, Googlebot или Yandex.
Удаляем сайт при помощи мета-тега robots
Об этом методе мы уже говорили ранее, когда описывали способ удаления сайта через Яндекс Вебмастер. Но тут есть еще ряд важных нюансов и полезных фишек. Вы можете удалить сайт или отдельную его страницу не для всех поисковых систем, а для одной конкретной. Допустим, вы хотите, чтобы ваш ресурс не присутствовал в Google, но продолжал быть на виду в Яндексе. Сделать это вполне реально и без каких-либо проблем. Для этого вставьте следующий код в поле «Подтверждение владения сайтом»в разделе «Реклама/SEO» панели управления (если у вас сайт на конструкторе 1С-UMI).
Чтобы удалить сайт из Яндекса:
<meta name=»yandex» content=»noindex,nofollow»>
Чтобы удалить сайт из Google:
<meta name=»googlebot» content=»noindex,nofollow»>
Таким образом, вы скрываете сайт от поисковой системы, но при этом он продолжает работать для вас, ваших сотрудников и всех тех, кто приходит из других источников. Как видите, способов удалить или скрыть свой веб-ресурс от «глаз» поисковиков много. Выбирайте тот, что лучше всего вам подходит.
Как мне исключить страницы из поиска?
Иногда возникает необходимость исключить страницу сайта из результатов поиска, например, если она содержит конфиденциальную информацию, является дубликатом другой страницы или была удалена с сайта.
- Шаг 1. Запретить индексирование страницы или каталога
- Шаг 2. Ускорить удаление страницы
- Как вернуть страницу в результаты поиска?
- FAQ
Есть несколько способов сделать это:
- Если страница удалена с сайта
- Если страница не должна отображаться в поиске
Проверить, есть ли в инструкции роботы.txt верны, воспользуйтесь инструментом анализа Robots.txt.
Примечание. При сканировании сайта робот сначала обращается к файлу robots.txt, если он есть, а затем просматривает страницы сайта. Постраничное сканирование может занять некоторое время. Если вы хотите удалить много страниц из поиска, добавьте директиву Disallow для нужных страниц.
Метод исключения | Поведение робота |
---|---|
Запрет в robots.txt файл | Робот прекращает доступ к странице в течение 24 часов. |
Статус HTTP с кодом 404, 403 или 410 | Робот продолжает посещать страницу в течение некоторого времени, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, робот перестает ее сканировать. |
Мета-тег robots с директивой noindex |
Когда робот заходит на сайт и обнаруживает, что ему запрещено индексировать, страница исчезает из результатов поиска в течение недели.URL удаленной страницы отображается в списке исключенных страниц на странице в Яндекс.Вебмастере.
Исключение из поиска страниц, нарушающих авторские права, не является приоритетной задачей робота. Чтобы исключить страницу из поиска, воспользуйтесь методами, описанными в этом разделе.
Исключенные из результатов поиска страницы могут отображаться в Яндекс.Вебмастере до следующего сканирования сайта.
Чтобы ускорить удаление страницы из поиска, попросите Яндекс удалить ее, не дожидаясь запланированного сканирования робота.
Если ваш сайт не добавлен или не верифицирован в Яндекс.Вебмастере:
- Перейдите на страницу Удалить страницы из результатов поиска в Яндекс.Вебмастере.
Введите URL-адрес страницы, которую нужно исключить, в поле, например http://example.com/page.html.
Нажмите кнопку «Удалить».
Чтобы исключить несколько страниц из поиска, удаляйте их по одной.
Если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили свои права на управление сайтом:
Перейдите на страницу.
Установите переключатель в положение По URL.
Введите URL-адрес страницы в поле, например http://example.com/page.html.
Нажмите кнопку «Удалить».
Вы можете указать до 500 URL-адресов на сайт в день.
Вы можете удалить все страницы сайта, отдельные каталоги или страницы с указанными параметрами в URL, если ваш сайт добавлен в Яндекс.Веб-мастер и вы подтвердили свои права на управление сайтом.
В Яндекс.Вебмастере перейдите на страницу.
Установите переключатель в положение По префиксу.
- Укажите префикс:
Что удалить Пример Каталог сайта http://example.com/catalogue / Все страницы сайта http: // example.com / URL с параметрами http://example.com/page ? Вы можете отправлять до 20 префиксов на сайт в день.
Нажмите кнопку «Удалить».
Примечание. Робот удалит страницы, указанные в Яндекс.Вебмастере, только если эти страницы указаны в директиве Disallow в файле robots.txt.
После отправки URL в Яндекс.Вебмастер вы можете отслеживать изменения статусов на:
Статус | Описание |
---|---|
«В очереди на удаление» | Робот проверяет ответ сервера и запрет на индексацию страницы.Проверка может занять несколько минут. |
«В процессе» | Робот проверил страницу. Страница будет удалена из результатов поиска в течение 24 часов. |
«Удалено» | Страница была удалена из результатов поиска. |
«Отклонено» | Страница разрешена для индексации или когда робот обращается к URL-адресу страницы, ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone. |
Убрать запрет на индексацию: директива Disallow в файле robots.txt или метатег noindex. Страницы возвращаются к результатам поиска, когда робот просматривает сайт и узнает об изменениях. Это может занять до трех недель.
- Я настроил перенаправление на новые страницы, но старые по-прежнему отображаются в результатах поиска.
Если вы используете перенаправление, робот будет постепенно отслеживать перенаправления, и старые страницы будут исчезать из результатов поиска по мере сканирования сайта. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переиндексацию.
Если URL-адреса страниц изменились из-за изменения доменного имени сайта, обновление данных поиска может занять больше месяца. Проверьте правильность настройки зеркал.
Как удалить контент из индекса Яндекса
Владельцы сайтов обычно тратят много времени на создание и размещение нового контента на сайте или улучшение уже опубликованного контента для повышения эффективности в обычном поиске. Поэтому досадно удалять из поискового индекса страницы, на которые уходит много времени и усилий, но иногда это стоит сделать и необходимо из-за товарного ассортимента, юридических причин или изменений в направлении бизнеса или обмене сообщениями.
Удаление контента — это не всегда история безвозвратного удаления страницы. Есть несколько уровней: вы можете только удалить его из индекса, оставив на сайте, тогда пользователи не найдут его в результатах поиска, но смогут перейти на него, перейдя по ссылкам с других страниц или из закладок. Или вы можете удалить его с сайта — навсегда или временно, отправив в архив.
Вот некоторые из наиболее распространенных методов удаления устаревшего содержимого:
Тег Noindex
Нельзя удалить страницу с сайта, но дать роботу сигнал не индексировать ее с помощью тега noindex.Если он уже есть в индексе, следующие роботы сканирования должны увидеть этот тег и удалить его из индекса.
meta name = "robots" content = "noindex"
Тег noindex можно настроить с помощью плагинов SEO для CMS, в них эта функция часто встречается.
Пользователи по-прежнему смогут посещать страницу, если на ней есть внутренние ссылки на сайте или если они уже посещали ее раньше и добавляли адрес в закладки.
Удаление страницы из индекса с помощью noindex не будет необратимым.Если вы хотите вернуть страницу, удалите тег, и при следующем сканировании поисковый бот его увидит.
Обратите внимание, что если вы удалили из индекса страницу с хорошими позициями, не факт, что при удалении noindex она вернется к той же поисковой выдаче.
Инструмент для удаления URL в Яндекс.Вебмастере
Вы можете ускорить процесс удаления с Яндекс. Во-первых, вам нужно отключить их индексацию: регистрация запрещает в файле robots.txt и указывает метатег робота с директивой noindex на странице.Это необходимо. На следующем шаге робот увидит эти сигналы.
Инструмент удаления контента в Yandex Webmaster ToolsЧтобы ускорить процесс, у веб-мастера есть инструмент «Удалить URL». Чтобы удалить отдельные страницы, выберите По URL-адресу и введите адрес. Вы можете удалять до 500 адресов одного сайта в день.
Что такое инструмент удаления URL и как удалить URL из поиска Google?
Контент — это основа Интернета. Если нет контента, кроме того, что вы ищете или читаете в Интернете.Что ж, важно не только написание нового контента для аудитории.
Удаление устаревшего контента не менее важно для обновления и актуальности Интернета.
УдалитьИнтернет похож на библиотеку, где вы можете пойти и прочитать книгу (сообщение), но что произойдет, если вы прочитаете всю книгу, тогда вам придется заменить старую книгу новой версией книги либо полностью новой. один.
Итак, Google запустил инструмент под названием удаление URL, который помогает владельцу веб-сайта, который хочет удалить URL из поисковой системы Google.
В этой статье мы рассмотрим функцию инструмента удаления URL-адресов Google в веб-мастере Google для удаления URL-адреса из поисковой системы Google. Кроме того, мы также узнаем, когда и почему Google проиндексировал мою страницу и что я должен сделать, чтобы Google не проиндексировал мою страницу или веб-сайт.
Что такое средство удаления URL-адресов Google?
Это инструмент, который помогает владельцу веб-сайта удалить страницу или временно скрыть страницу из результатов поиска Google, а также помогает удалить контент, который все еще отображается в кэшированных результатах Google, когда действующие страницы больше не активны.
Вы можете удалить URL-адрес из поиска Google только в трех случаях.
Примечание: Если веб-страница является действующей страницей с любым другим статусом, Google не выполнит запрос на удаление URL.
Это важный элемент, который синхронно работает с инструментом удаления URL. Так что не торопитесь, прочтите статью и возвращайтесь.
Когда я использую инструмент удаления URL-адресов Google?
Есть много причин для удаления URL из поисковой системы Google, некоторые из них:
- Вы опубликовали контент по ошибке.
- Вы обнаружили огромное количество дублированного контента.
- Panda попал на ваш сайт из-за некачественных страниц
- Вы получили уведомление в Инструментах Google для веб-мастеров о страницах, нарушающих рекомендации Google.
- Страница, проиндексированная Google, удалена или ее адрес (URL) изменен.
- Некоторая информация просочилась в поисковую систему слишком рано — например, сведения о новой услуге или продукте;
- Информация на сайте обновлена, но поисковая система по-прежнему отображает старую версию;
Кроме того, существует множество других случаев, когда вам нужен этот инструмент, например, для оптимизации веб-сайта для Google.
Как использовать инструмент Google Remove URL для удаления Страница
Первоначальный инструмент немного сбивал с толку некоторых пользователей, но после множества отзывов сообщества Google сделал его более функциональным и простым в использовании для каждого владельца веб-мастера.
В настоящее время инструмент удаления URL-адресов прост в использовании и доступен в инструменте Google для веб-мастеров. Чтобы использовать этот инструмент, вам необходимо подтвердить свой веб-сайт с помощью инструмента Google для веб-мастеров.
- После подтверждения вашего веб-сайта нажмите Google Index >> Удалить URL-адрес .
Здесь вы увидите следующие варианты:
- URL-адрес: Список удаляемой страницы.
- Статус: Для проверки статуса удаленной страницы
- Временное скрытие: Поле для ввода URL-адреса
- Запрошено: Дата добавления URL-адреса в инструмент
Эти матрицы помогут вам отслеживать страницу, удалена она или нет.
Итак, найдите и скопируйте URL страницы, которую вы хотите удалить из поисковой системы.
- Вставьте этот URL в поле «Временно скрыть » в Google Webmaster Tool.
После добавления URL-адреса
- Когда вы нажмете кнопку продолжить , вы увидите три варианта.
Эти параметры:
- Временно скрыть страницу из результатов поиска и удалить из кеша.
- Удалить страницу только из кеша.
- Временно скрыть каталог
Давайте сначала обсудим этот вариант подробно.
Удалить страницу только из кеша
Google хранит статические HTML-версии страницы в кеше, чтобы избежать потенциально трудоемких запросов к вашей базе данных.Цель этого — обеспечить более быструю загрузку страницы в браузере пользователя.
Вы также можете проверить кешированную версию вашей страницы.
- Просто найдите что-нибудь, имеющее отношение к вашему веб-сайту, в результатах поиска Google.
Когда вы найдете страницу, которую хотите проверить, тогда
- щелкните маленькую зеленую стрелку вниз рядом с URL-адресом.
Вы можете видеть в адресной строке, URL не содержит название вашего сайта.Он обслуживается из машины веб-кеша.
Цель добавления « Удалить страницу только из кеша». Параметр в инструменте для веб-мастеров — , вы также можете управлять версией кеша страницы.
Предположим, вы просто изменили цену своей услуги или продукта. Пользователь ищет ваш продукт, и Google предоставляет ему кеш-версию страницы, на которой он / она видит старую цену.
Еще одно наилучшее использование опции «Удалить страницу только из кеша, » обновляет фрагменты в результатах поиска.
Изменение в фрагментеПримечание: Этот тип запроса удаления URL-адреса не удаляет страницу. Он просто заменяет старую кешированную версию страницы на новую.
Таким образом, также важно обновить или удалить кэшированную версию, потому что Google требуется время для обновления такой информации, но вы можете ускорить этот процесс с помощью инструмента удаления URL-адресов.
Примечание: вы можете использовать метатег «nosnippet» для роботов, чтобы предотвратить отображение фрагмента, или метатег «noarchive» для роботов, чтобы отключить кеширование страницы.
Временно скрыть каталог
Эта опция очень полезна, когда мы должны удалить всю страницу в каталоге.Например;
Предположим; вы должны очистить изображение или ваш клиент требует удалить все изображение из поисковой системы. Это очень долгий и трудоемкий процесс, так что же вы делаете?
Вы можете использовать опцию « Временно скрыть каталог » в инструменте удаления URL, чтобы деиндексировать все изображения из поисковой системы.
Для этого сначала необходимо заблокировать каталог файла robots.txt, а затем добавить этот каталог в инструмент удаления URL-адресов Google.
Вот специальная статья об удалении веб-сайта из результатов поиска Google.
Временно скрыть страницу из результатов поиска и удалить из кеша.
Это наиболее часто используемый параметр в инструменте удаления URL, поскольку он выполняет как функцию удаления кеша, так и удаление страницы из поисковой системы.
Вам не нужно сначала удалять версию кеша, а потом удалять страницу. Просто выберите этот вариант, и ваша страница исчезнет.
Это три функции, которые вы видите при отправке страницы в инструмент удаления URL-адресов Google.Надеюсь, теперь все три варианта сняты.
Итак, как только вы отправите запрос на удаление, он появится в вашем списке запросов.
СтатусПримечание. Google тратит 24 часа на отображение статуса и до недели на удаление страницы.
Советы: — Не забывайте, что помимо Google есть и другие поисковые системы, и удаление страницы из результатов поиска Google не удаляет проиндексированную информацию из других. Используйте другой инструмент для удаления URL из другой поисковой системы, такой как bing, Яндекс и т. Д.
Вместо того, чтобы удалять содержимое по одному, вы можете использовать инструмент массового удаления URL для автоматизации этого процесса.
Переиндексировать и отменить запрос на удаление URL
После запроса на удаление удаленный сайт или страница не будут отображаться в результатах поиска по крайней мере в течение 90 дней. Через 90 дней, если страница или веб-сайт все еще доступны, Google может снова проиндексировать их.
Но если вы хотите, чтобы ваша страница отображалась в поисковых системах до 90 дней, нажмите повторно включить в список удаления страниц.
Список удаленных страницКогда не использовать средство удаления URL-адресов
- Каноническое использование: Не использовать средство удаления URL-адресов для исправления ошибки канонизации. Например, если на странице вашего сайта больше, чем одно место, означает одно содержание на двух веб-сайтах, то для исправления этого использования используется канонический тег.
- Перенаправление 301: Если вы просто перемещаете свой сайт из одного домена в другой, используйте перенаправление 301 для решения этой проблемы. Нет необходимости удалять старый домен и индексировать новый; вы можете сохранить свой рейтинг страницы, используя 301 редирект.
- Начать с нуля: остановитесь здесь, если вы думаете о том, чтобы начать все с нуля. Вы можете удалить все из Google, но не с другого сайта, который связан с вами. Итак, вы снова сталкиваетесь с той же проблемой в инструменте для веб-мастеров.
Как убрать контент из результатов поиска Google
- Используйте метатег «no follow no index», чтобы не допустить попадания контента в поисковую систему.
- Используйте файл Robots.txt, чтобы заблокировать загрузку Google для проверки страницы.
- Не делать ссылки на страницу. Если вы сделаете ссылку на эту страницу, Google сможет сканировать эту страницу по этой ссылке.
Советы: — См. Видеоролики Мэтта Катта, где он подробно объясняет все методы предотвращения попадания контента в поисковую систему. Вот еще одна серия статей об удалении контента с помощью инструмента для веб-мастеров.
Итак, это правильный метод удаления URL-адреса из поисковой системы Google.
Если вы хотите удалить сразу много URL-адресов, вы можете использовать инструмент массового удаления URL-адресов.
Заключение
Используйте этот инструмент, чтобы обеспечить хорошее качество и использовать полную информацию для Google, а также для пользователя и удалить ненужные данные из поисковой системы Google. Я рекомендую использовать этот инструмент для улучшения общего SEO и качества сайта.
Не забудьте поделиться этим сообщением со всеми, кто может извлечь пользу из этой информации, включая ваших друзей в Facebook, подписчиков в Twitter и членов вашей группы Google+! А также поддержите нас, поставив лайки на нашу страницу в Facebook, Twitter и Google+.
Если у вас есть какие-либо предложения или проблемы по поводу удаления URL-адреса из поисковой системы Google, пожалуйста, оставьте комментарий ниже.
Навигация по сообщениям
Как удалить URL-адреса из поиска Google
Иногда вам может понадобиться способ удалить что-либо из результатов поиска Google.
Например, если вы только что удалили страницу и больше не хотите, чтобы она отображалась. Или если вы хотите удалить некачественные страницы из индекса по причинам SEO.
Вот три лучших способа удалить один или несколько URL-адресов из поиска Google.
Метод 1. Используйте Google Search Console
С помощью консоли поиска Google легко удалить URL-адреса, принадлежащие вашему веб-сайту.
Если вы еще этого не сделали, вам нужно начать с отправки и проверки вашего сайта.
Google Search Console — действительно незаменимый инструмент для управления внешним видом вашего сайта и его эффективностью в поиске.
Вот как удалить URL с помощью Google Search Console:
- Посетите инструмент удаления URL-адресов здесь: https: // www.google.com/webmasters/tools/url-removal
- Выберите свой веб-сайт в разделе «Пожалуйста, выберите недвижимость»
- Нажмите серую кнопку, введите свой URL и нажмите «Продолжить»
- Нажмите «Отправить запрос»
Это приведет к удалению URL-адреса из поиска Google примерно на 90 дней. Он также удалит URL-адрес из кеша Google.
Ваш URL-адрес должен отображаться как «Ожидает удаления», но вы можете легко отменить свой запрос, нажав «Отмена».
Имейте в виду, что этот метод временный! Если URL-адрес все еще доступен на вашем сайте через 90 дней, Google, вероятно, добавит его обратно в индекс и снова начнет показывать его в результатах поиска.
Чтобы навсегда удалить URL-адрес, используйте метод №2 или №3.
Метод 2. Используйте метатег noindex
Метатег noindex — это наиболее часто используемый способ удаления URL-адресов из результатов поиска или предотвращения их индексации в первую очередь.
Это небольшой фрагмент кода в заголовке HTML-кода вашего сайта. Он сообщает Google и другим поисковым системам не показывать страницу в поиске.
Вот как это выглядит:
Иногда он говорит «noindex, follow» вместо просто «noindex» — оба будут иметь одинаковый эффект.
Вы можете добавить этот код на свой сайт вручную, если у вас есть доступ к HTML-коду.
Но если вы используете систему управления контентом, такую как WordPress, то большинство хороших плагинов для SEO предоставляют возможность не индексировать отдельные сообщения и страницы.
Вот как эта опция выглядит в Yoast SEO, который является наиболее часто используемым плагином WordPress SEO.
В разделе «Разрешить поисковым системам показывать это сообщение в результатах поиска?» — измените с «По умолчанию» на «Нет» — это добавит метатег noindex в раздел заголовка.
Если вы добавите тег noindex к веб-страницам, они должны исчезнуть из поиска при следующем посещении их роботом поисковой системы.
Однако иногда неиндексированные URL-адреса выпадают из результатов поиска через некоторое время (дни или даже недели).
Если вы хотите ускорить процесс, то инструмент Google для удаления устаревшего содержания — лучший способ как можно быстрее удалить неиндексированный или удаленный URL.
Пока тег noindex присутствует на страницах, они не должны снова отображаться в результатах поиска, если только этот тег не будет удален.
Мета-тег noindex также удаляет страницы из других поисковых систем, включая Bing и Yahoo.
Вы также можете добавить noindex ко всему сайту, чтобы удалить все свои страницы из поисковых систем.
Это можно сделать, зайдя в панель управления WordPress -> Настройки -> Чтение. Затем установите флажок «Не рекомендовать поисковым системам индексировать этот сайт».
Это полезно, когда у вас есть новый сайт, и вы еще не хотите, чтобы его видели.Но не используйте его на действующем сайте, если вы не хотите потерять весь свой поисковый трафик.
Метод 3. Удалите URL-адрес
Если URL, который вы хотите удалить, не служит какой-либо цели, вы можете просто удалить его со своего сайта.
Это приведет к возврату ошибки 404 (не найдено) или 410 (нет).
Робот Googlebot вскоре снова попытается просканировать URL и удалит его из индекса, когда обнаружит ошибку 404 или 410.
Иногда страница, которую вы хотите удалить, может иметь устойчивый трафик или входящие ссылки, которые обеспечивают ценность для SEO.
В этом случае для пользовательского опыта и SEO может быть лучше использовать редирект 301 для перенаправления ваших пользователей и ботов поисковых систем на тесно связанные страницы.
Вы можете создать 301 редирект в WordPress с помощью бесплатного плагина Redirection.
Не рассчитывайте на robots.txt
Robots.txt — это файл, расположенный в вашем корневом домене (example.com/robots.txt), который сообщает роботам поисковых систем, к чему они не могут получить доступ.
Например, вы можете использовать его, чтобы указать роботу Googlebot полностью держаться подальше от вашего сайта, используя запретить все.
Однако не всегда рекомендуется полагаться на robots.txt, чтобы блокировать отображение URL-адресов в результатах поиска.
Если кто-то ссылается на URL, но он заблокирован файлом robots.txt, он все равно может отображаться в Google.
Вместо описания во фрагменте поиска будет сказано: «Описание для этого результата недоступно из-за файла robots.txt этого сайта». Но страница все равно будет проиндексирована.
Если это произойдет, лучше разрешить Google сканировать URL-адреса, но вместо этого использовать тег noindex (метод 2), чтобы они не попадали в результаты поиска.
Как удалить весь сайт из Google
Лучший способ удалить весь веб-сайт из Google — добавить тег noindex на каждую страницу сайта.
Вы также можете использовать бесплатный плагин для блокировки всего сайта паролем. Это должно предотвратить индексацию ваших страниц в поиске Google.
Кроме того, вы можете заблокировать сканирование своего сайта роботами поисковых систем, добавив в файл robots.txt следующую строку:
Агент пользователя: *
Disallow: /
Как удалить URL-адреса с сайтов, которые вам не принадлежат
Гораздо сложнее удалить URL-адреса из Google, если они не принадлежат сайту, который вы контролируете.
Однако, если кто-то скопировал ваш контент, вы можете заставить Google удалить его, подав запрос на удаление DMCA.
Лучше всего начать с отправки запроса DMCA в хостинговую компанию веб-сайта, на котором размещается ваш скопированный контент. Тогда они будут вынуждены его снести.
Но вы также можете отправить запрос DMCA напрямую в Google с помощью этого инструмента.
Кроме того, Google подготовил подробное руководство по удалению стороннего контента с этой страницы.
Но, если для этого нет законной причины, это обычно невозможно. Лучше всего обратиться к веб-мастеру напрямую с просьбой об удалении.
А как насчет Bing и Yahoo?
Если вы добавили и подтвердили свой сайт в Bing Webmaster Tools (инструкции здесь), вы можете использовать его для удаления URL-адресов как из Bing, так и из Yahoo.
Войдите в инструмент, перейдите в «Настроить личный сайт» -> «Блокировать URL-адреса». Затем введите свой URL-адрес и нажмите «Блокировать URL-адреса и кэш».”
Этот инструмент работает аналогично инструменту Google для удаления URL. Это также временно, удаление URL-адресов примерно на 90 дней.
Если вы хотите удалить URL-адреса навсегда, то тег noindex — лучший способ сделать это.
Как удалить URL-адреса из Google?
1. Посетите инструмент удаления URL-адресов здесь: https://www.google.com/webmasters/tools/url-removal
2. Выберите свой веб-сайт в разделе «Пожалуйста, выберите свойство»
3. Нажмите серую кнопку, введите свой URL и нажмите «Продолжить»
4.Нажмите «Отправить запрос»
Удалит ли удаление страницы URL из Google?
Если URL, который вы хотите удалить, не служит какой-либо цели, вы можете просто удалить его со своего сайта. Это приведет к тому, что он вернет ошибку 404 (не найден) или 410 (ушел), и Google в конечном итоге удалит его из своего индекса.
Как удалить весь сайт из Google?
Лучший способ удалить весь веб-сайт из Google — добавить тег noindex на каждую страницу сайта.
Как удалить URL-адреса с сайтов, которые вам не принадлежат?
Гораздо сложнее удалить URL-адреса из Google, если они не принадлежат сайту, который вы контролируете. Однако, если кто-то скопировал ваш контент, вы можете попросить Google удалить его, подав запрос на удаление DMCA.
Инструменты для веб-мастеров — Javatpoint
Что такое Инструменты для веб-мастеров?
Инструмент Google для веб-мастеров также называется Консолью поиска Google. Это группа бесплатных веб-утилит, помогающих владельцу веб-сайта в том, что его веб-сайт удобен для Google.В этом наборе веб-инструментов Google есть различные полезные приложения, такие как получение данных, связанных с поисковым трафиком, просмотр отчетов об ошибках сканирования, индексация веб-сайтов, запрос на сканирование в Google и т. Д.
Это бесплатная услуга, которая помогает нам оценивать и поддерживать эффективность нашего веб-сайта в результатах поиска. Инструмент Google для веб-мастеров предлагается как бесплатная услуга тем, кто хочет владеть веб-сайтом; Он представлен в виде набора информации от крупнейшей в мире поисковой системы, которая дает представление о том, как она просматривает наш веб-сайт, и помогает нам обнаруживать проблемы, требующие решения.
Нет необходимости использовать инструмент Google для веб-мастеров для нашего сайта, чтобы просматривать результаты поиска, но он может предоставить нам важную информацию, которая может помочь в наших маркетинговых усилиях.
Зачем нужны Инструменты для веб-мастеров?
Основное применение инструмента заключается в том, что он позволяет веб-мастерам гарантировать, что их веб-сайты и страницы обрабатываются и сканируются для индексирования Google. Отчеты об ошибках позволяют им обнаруживать проблемы, которые могут помешать их сайту попасть в поиск Google.Инструменты для веб-мастеров имеют набор инструментов поиска Google, которые предоставляют информацию о рейтинге ключевых слов в Google и о том, какие домены ссылаются на соответствующий сайт.
Как использовать Инструменты для веб-мастеров?
Инструмент для веб-мастеров — это бесплатный онлайн-инструмент. Мы можем получить к нему доступ онлайн.
Возможности Инструментов Google для веб-мастеров
Инструменты Google для веб-мастеров обладают различными функциями:
- Индекс Google
- Поисковый трафик
- Внешний вид поиска
- Ползать
1.Индекс Google
Вкладка индекса Google отвечает за мониторинг страниц веб-сайта, проиндексированных Google. Мы можем проверить, как номер страницы изменился за период, а также номер URL, заблокированный от индексации, с помощью файла robots.txt.
Используя раздел «Удалить URL-адреса», мы можем удалить определенные URL-адреса из результатов поиска Google, но на временной основе. Мы также можем проверить количество страниц, удаленных с нашего сайта, и эту задачу выполняют сканеры Google. Мы также можем снова добавить удаленный URL-адрес в индекс Google с помощью этого инструмента, который нам нужен.
2. Поиск трафика
Один из самых полезных инструментов для SEO, и цель исследования ключевых слов — поисковый трафик, и это бесплатно. Используя вкладку Search Analytics, мы можем проверить, какие запросы люди ищут в Google во время посещения нашего сайта. Мы также можем фильтровать показатели по кликам, CTR, показам и позиции. Мы также можем проверить те страницы, которые получают больше кликов или какой тип устройства или страна отправляет нам больше кликов.
Ссылки на вкладку веб-сайтов могут показать нам, какие сайты ссылаются на нас больше всего, каков наиболее связанный контент, а также якорный текст этих ссылок.
3. Внешний вид поиска
На вкладке внешнего вида поиска содержится набор инструментов, которые мы можем использовать для оптимизации внешнего вида нашего сайта в результатах поиска Google. Например, мы можем использовать Data Highlighter, чтобы помочь Google понять данные нашего сайта и показать их в виде записок на странице результатов поиска.
При возникновении проблем с контентом нашего веб-сайта вкладка «Улучшения HTML» будет предупреждать нас. Как инструменты Google Web Developer, мы можем думать об этом разделе, чтобы помочь программистам разработать и отформатировать наш веб-сайт в удобной для Google манере.
4. Ползать
Вкладка «Сканирование» предоставляет вам важную информацию о любых заблокированных страницах или ошибках сканирования, которые могут возникнуть на нашем веб-сайте. Различные функции сканирования включают тестирование и отправку наших файлов Sitemap в Google, тестирование нашего файла robots.txt и получение и рендеринг нашего сайта.
Использование карты сайта заключается в том, чтобы информировать Google, когда мы что-то меняем на нашем веб-сайте, например добавляем или удаляем страницы, чтобы они могли сканировать его в соответствии с потребностями. С помощью этих инструментов веб-мастер может гарантировать, что веб-сайт можно сканировать через Google без проблем.
Как использовать Инструменты для веб-мастеров для SEO
В Инструментах для веб-мастеров есть несколько вкладок, которые по сути являются устройствами Google SEO, которые предоставляют много информации, чтобы поддержать рекламодателей и убедиться, что их веб-сайты хорошо улучшены для поиска Google.
Вкладка поискового трафика — важная функция для поисковой оптимизации. Здесь мы можем узнать, какие ключевые слова люди ищут, чтобы перейти на наш веб-сайт. Вероятно, люди, которые ищут и нажимают на эти ключевые слова, чтобы посетить наш веб-сайт, превратятся в наших потенциальных клиентов или даже клиентов.
С помощью этих ключевых слов мы можем распознать новые шансы, чтобы получить больше сайта, например, путем создания страниц содержания для связанных ключевых слов или тем. В дополнение к этому, мы можем снова провести исследование ключевых слов в зависимости от этих самых эффективных ключевых слов, чтобы получить дополнительные идеи для таргетинга.
Вкладка «Ссылки на ваш сайт» — полезный инструмент для изучения возможностей использования обратных ссылок. Качественные обратные ссылки необходимы для повышения авторитета нашего домена, что, в свою очередь, приведет к хорошему SEO для нашего сайта.
Используя эту вкладку, мы можем проверять количество тотальных обратных ссылок, которые есть на нашем сайте, и отслеживать его развитие, выполняя еженедельные и ежемесячные проверки. Тогда мы сможем сосредоточить свои усилия на создании обратных ссылок, когда увидим, что наш профиль обратных ссылок ухудшается.
Изучив, кто ссылается на наш сайт, мы можем связаться с другими аналогичными организациями, которые также могут быть заинтересованы в подключении к нам.
На вкладке подключения с наибольшим количеством ссылок мы можем распознать наиболее известный и связанный контент и создать сравнительные типы страниц, чтобы получить значительно больше обратных ссылок на наш сайт.
Как инструмент Google для веб-мастеров может помочь контролировать производительность вашего веб-сайта
- Инструмент Google для веб-мастеров может проверить, может ли Google получить доступ к содержанию Веб-сайта.
- С помощью инструментов Google для веб-мастеров Google может отправлять новые страницы и сообщения, которые нам не нужно сканировать и удалять со стороны пользователей поисковой системы.
- Инструмент Google для веб-мастеров помогает нам доставлять и оценивать контент, который обеспечивает пользователям более визуальный опыт.
- Мы можем поддерживать наш сайт, не нарушая его сути в результатах поиска.
- Инструмент Google для веб-мастеров позволяет нам находить и устранять проблемы, связанные с вредоносным ПО или спамом, которые невозможно обнаружить с помощью различных методов.
Преимущества инструментов Google для веб-мастеров
Инструменты Google для веб-мастеров обладают различными преимуществами:
1. Подтвердите свой веб-сайт
В инструменте Google для веб-мастеров; проверка веб-сайта проста по сравнению с тем, что нам нужно было сделать раньше.Это просто сделать, используя альтернативную технику, взяв метатег Google и добавив его на главную страницу кода заголовка нашего веб-сайта. Второй простой метод — взять информацию отслеживания домена и добавить эту информацию к информации о домене нашего веб-сайта. Третий самый простой способ — загрузить страницу подтверждения Google и включить ее в файл на серверной части веб-сайта. Некоторые из этих процессов, например проверка информации о домене, занимают у Google день.
2.Добавьте файл Sitemap для поддержки страниц, связанных с индексом Google
Как индекс в книге, карта сайта работает. Карта сайта сообщает Google о структуре веб-сайта. Вручную создавать эту карту сайта не нужно; доступны различные инструменты, которые могут выполнить эту задачу. Например, существуют различные плагины WordPress, которые могут создавать карту сайта.
3. Очистите наш веб-сайт Ссылка
В тот момент, когда Google начинает любить ваш сайт, он показывает несколько разных ссылок внутри результатов поиска:
Эти ссылки на веб-сайты создаются Google автоматически, но мы контролируем их внутри инструментов веб-сайта.Мы можем понизить рейтинг до 100 ссылок, так что это дает нам хорошую возможность разместить лучшие ссылки. Если понизить рейтинг бесполезных ссылок, это поможет указать более качественные ссылки, и мы получим больше кликов.
4. Устранение любых ошибок HTML
Google сообщает о нескольких ошибках HTML, которые могут повлиять на индексацию веб-сайта, поэтому очень важно решить эти проблемы. Когда мы решим эту проблему, это повысит наши возможности для увеличения посещаемости нашего веб-сайта.
5. Помогает выявлять проблемы с повторяющимся содержимым
Google искренне серьезно относится к копированию контента. Фактически, веб-сайты, содержащие копии контента, обычно избегаются или удаляются Google. Используя этот инструмент, мы часто можем видеть ссылки на контент нашего веб-сайта, которые не выбраны. Эти ссылки представляют собой контент, который не воспринимается Google положительно.
Если число невелико, то нам, вероятно, не стоит об этом беспокоиться. Однако в любом случае, если он растет, это может указывать на то, что у нас есть проблема с копированием контента на нашем сайте.
6. Отслеживает эффективность вашего трафика и показатели рейтинга
Это также полезно для отслеживания трафика и показателей ранжирования. Используя данные, мы можем легко измерить рост и популярность нашего веб-сайта. Поэтому мы регулярно находим такую информацию, как количество показов (сколько раз наш веб-сайт появлялся по определенным ключевым словам и поисковым запросам), переходы по ссылкам (как часто люди переходили на наш сайт), нашу позицию в поисковых системах для конкретных ключевые слова, по которым ранжируется наш сайт.Мы также можем отслеживать обсуждения, задавая цели.
Инструменты Bing для веб-мастеров
Bing Webmaster Tools (ранее Bing Webmaster Center) — это бесплатная служба в качестве функции поисковой системы Microsoft, которая позволяет веб-мастеру добавлять администраторов веб-сайтов для добавления своих сайтов в индексный сканер Bing, а затем проверять производительность своего веб-сайта в Bing. такие как показы, клики и многое другое. В дополнение к этому, Bing предоставляет веб-мастерам инструменты для устранения неполадок при сканировании и индексировании своего сайта, создания карты сайта, статистики веб-сайта, объединения представления контента, отправки новых URL-адресов, инструментов отправки и проверки связи, а также свежего контента и ресурсов сообщества.
Функции Bing для веб-мастеров
Инструмент Bing для веб-мастеров предоставляет различные функции, к которым можно получить доступ через веб-мастера после того, как они подтвердят право собственности на веб-сайт с помощью различных методов, таких как проверка MetaTag и добавление записи CNAME в запись DNS, DomainConnect и проверка XML.
ИнструментыBing для веб-мастеров включают следующие функции и инструменты, которые помогают веб-мастерам получать доступ к данным и управлять своими веб-сайтами в Bing:
- Дом
- Проблемы со сканированием
- Загрузка данных
- URL для отправки
- Исходящие ссылки
- Валидатор разметки
- Инструмент поиска по ключевым словам
- валидатор txt
- Карты сайта
- Данные обратной ссылки
- Расширенная фильтрация
- SEO отчеты
1.Дом
Это сводка всех отчетов и инструментов, доступных веб-мастеру. Одна важная вещь, которую мы должны знать, — это то, что отчеты могут быть отправлены только через 48 часов после сбора и обработки необходимых данных.
2. Проблемы со сканированием
Проблемы со сканированием позволяют веб-мастерам обнаруживать потенциальные проблемы со своими сайтами, такие как ошибки «Файл не найден» (404), неподдерживаемые типы контента, длинные динамические URL-адреса и блокировка REP.
3. Загрузка данных
Функция загрузки данных инструмента Bing для веб-мастеров позволяет веб-мастерам получить доступ к начальным 1000 результатов в файле CSV для анализа результатов.
4. Отправить URL-адреса
Submit Urls позволяет веб-мастерам размещать на своих сайтах огромное количество URL-адресов для более быстрой индексации. Количество URL-адресов, которые они могут отправить, составляет до 10 000 URL-адресов в день.
5. Исходящие ссылки
С помощью этой функции веб-мастер может проверять исходящие ссылки, которые видит Bing.
6. Валидатор разметки
Валидатор разметкипозволяет веб-мастерам проверять, соответствует ли их веб-сайт рекомендациям W3C.
7. Инструмент поиска по ключевым словам
Используя ключевое слово, инструмент поиска, веб-мастера находят новые ключевые слова.
8. Валидатор txt
Валидатор robots.txt позволяет веб-мастерам проверять, соответствует ли их файл robots.txt стандарту.
9. Карта сайта
Sitemap позволяет веб-мастерам проверять, правильно ли Bing просматривает их карты сайта.
10. Данные обратных ссылок
Функция данных обратных ссылок инструмента Bing для веб-мастеров позволяет веб-мастерам получать доступ к данным, связанным с их ссылочными ссылками. Из Yahoo! Site Explorer, часть этой функции приобретена.
11. Расширенная фильтрация
Расширенная фильтрация позволяет веб-мастерам быстро увеличивать результаты отчета своего веб-сайта до требуемых данных.
12. Отчеты SEO
Функция отчета SEO инструмента Bing для веб-мастеров отображает некоторые из наиболее общих рекомендаций на уровне страницы, чтобы улучшить рейтинг веб-сайта.
Зачем нужны инструменты Bing для веб-мастеров?
Используя Bing Webmaster Tools, мы можем отслеживать всю производительность нашего сайта, а также это помогает нам проверять, как наши клиенты находят наш сайт.Мы можем использовать устройства и отчеты, чтобы находить ключевые слова, привлекающие трафик, а также количество кликов и впечатлений от этих терминов, а также находить сайты, ссылающиеся на вас. Также:
- Мы можем отслеживать эффективность нашего веб-сайта и проверять, какие ключевые слова ранжируются.
- Проверьте, как Bing сканирует и индексирует наш веб-сайт.
- Удалите все содержимое, которое мы не хотели бы индексировать.
- Отклонить ссылки.
- Инструмент для веб-мастеров Bing отправляет наш сайт / новые страницы на сканирование.
- Решение проблем со спамом или вредоносным ПО.
Все вышеперечисленное помогает нам узнать, как Bing рассматривает наш сайт и наш контент, чтобы мы могли вносить любые изменения, улучшая рейтинг, тем самым направляя трафик на наш сайт.
Как запустить инструмент Bing для веб-мастеров
Чтобы запустить инструмент Bing для веб-мастеров, выполните следующие действия:
- Сначала мы должны открыть учетную запись инструмента Bing для веб-мастеров
- Добавьте и проверьте наш сайт
- Затем мы должны создать и загрузить наши карты сайта
- Затем нам нужно создать план поисковой оптимизации.
Яндекс Инструменты для веб-мастеров
Яндекс.Инструмент для веб-мастеров — это бесплатная услуга, которую Яндекс предлагает веб-мастерам для отслеживания эффективности их веб-сайтов в поисковой системе Яндекса.
Мы можем использовать Яндекс для загрузки карты сайта, проблем со скоростью сайта, проверки посещаемости сайта, получения списка проиндексированных страниц, просмотра ошибок сканирования или индексации и т. Д.
Базовые функции Яндекса для веб-мастеров
Русская версия инструментов Яндекс для веб-мастеров предоставляет больше возможностей по сравнению с английской версией.Но английская версия поможет владельцам международного веб-сайта разместить свой веб-сайт в системе Яндекс. Как и другие поисковые системы, Яндекс предоставляет следующие основные функции.
- Отправьте свой веб-сайт
Отправьте веб-сайт с правильным URL-адресом и подтвердите права собственности для доступа к другим функциям. - Отправка карты сайта
Используя карту сайта, инструмент валидатора, мы можем проверить карту сайта в формате XML и отправить ее в Яндекс в меню «Индексирование»> «Файлы карты сайта». - Поисковые запросы
В разделе «Поисковый запрос> История запросов» проверьте, какие поисковые запросы принесли трафик на наш веб-сайт. - Статус индексирования
В разделе «Индексирование> Доступные для поиска страницы» проверьте статус проиндексированной страницы. Кроме того, мы также можем найти страницы, не случайно исключенные из поисковой системы Яндекса. - Переиндексировать страницы
В разделе «Индексирование> Переиндексировать страницы» повторно отправьте URL-адрес страницы во время изменения содержимого, чтобы запросить у Яндекса сканирование и индексирование. - В разделе «Информация о сайте> Регион» укажите региональную принадлежность нашего сайта. Он поможет Яндексу правильно отображать его при локальном поиске.
- Мы можем использовать бесплатный инструмент для проверки XML-карты сайта перед отправкой и проверки мобильности нашего веб-сайта для принятия корректирующих мер.
Возможности Яндекса для веб-мастеров
Инструменты Яндекс для веб-мастеров обладают различными возможностями:
- Инструменты Яндекс для веб-мастеров обрабатывают структуру нашего сайта.
- Мобильность нашего сайта.
- Проверьте безопасность веб-сайта и выполните диагностику веб-сайта на предмет других возможных проблем.
- Проверка статуса сайта в поисковой системе Яндекса по количеству проиндексированных и исключенных страниц.
Инструменты Яндекса для веб-мастеров: дополнительные инструменты
- анализатор txt
С помощью анализатора Robots.txt мы можем проверять, а также проверять наш файл robots.txt.file.как инструмент Robots.txt Tester от Google. - Валидатор карты сайта
Используя валидатор карты сайта, мы можем проверить наш sitemap.xml. - Проверка ответов сервера
С помощью средства проверки ответов сервера мы можем проверять коды ответов HTTP URL-адресов для различных ботов Яндекс. - Удалить страницу из поиска
С помощью этого инструмента мы можем удалить страницы или кластеры URL из результатов поиска. Это похоже на инструмент удаления URL-адресов в Google Search Console. - Страница аудита для мобильной совместимости
С помощью этого инструмента мы можем проверить, правильно ли отображается страница на мобильном устройстве. - Валидатор структурных данных
С помощью инструмента проверки структурных данных мы можем проверять различные виды структурированной разметки, и проверка доступна для следующих структурированных разметок, таких как RDF, микроформаты, микроданные, OpenGraph и schema.org.
Как использовать Яндекс Инструменты для веб-мастеров
Как и другие инструменты для веб-мастеров, Яндекс обладает необходимыми функциями, которые помогают нам изучать и увеличивать наш органический трафик в поисковых системах.Для запуска инструментов Яндекс для веб-мастеров используются следующие шаги:
- Сначала заходим на сайт Yandex Webmaster Tools.
- Затем мы должны зарегистрировать бесплатный аккаунт
- Далее добавляем сайт
- Теперь нам нужно завершить верификацию сайта Яндекса
- После этого мы получаем доступ к панели управления и можем приступить к работе с инструментами Яндекс для веб-мастеров.
4 причины, по которым Яндекс.Вебмастер необходим на вашем сайте
Яндекс.Веб-мастер — это набор инструментов, аналогичных инструментам Google для веб-мастеров, с множеством функций, которые позволяют веб-мастерам и владельцам сайтов проверять статус индексации и оптимизировать видимость своих веб-сайтов в Яндексе. Некоторые функции, такие как отправка и проверка карты сайта или создание и проверка файла robots.txt, также доступны в GWT, а некоторые другие доступны только для Яндекса, что делает Яндекс.Вебмастер неотъемлемой частью инструментария любого SEO-менеджера. Давайте посмотрим!
1. Связь с Яндексом
Яндекс — ведущая поисковая система в России, и, следовательно, если вы хотите добиться успеха в привлечении органического трафика на свой российский сайт, вам лучше прислушаться к тому, что он вам скажет.Через Яндекс.Вебмастер владельцы сайта получают:
Общие сообщения
Яндекс часто дает советы по оптимизации сайта, изменения алгоритма и другую полезную информацию. Вы также получаете уведомления о новых пользователях, присоединяющихся к вашей учетной записи, о новых сайтах, связанных с вашей учетной записью, и т. Д.
Предупреждения системы безопасности
Если сайт был взломан или на нем было обнаружено другое вредоносное ПО, Яндекс уведомляет владельца через Яндекс.Веб-мастер. Эта функция может оказаться очень полезной и помочь выявить проблемы на ранней стадии, поскольку обнаружение вредоносных программ Яндексом лучше, чем у Google или Norton.
Количество страниц в поисковом индексе
В отличие от Google, который почти постоянно обновляет результаты поиска и повторно сканирует сайты, Яндекс обновляет поисковый индекс еженедельно или раз в две недели. За обновлениями можно следить с помощью различных инструментов, и когда происходит большое обновление, обычно полезно проверить, что произошло с позициями сайта, а также количеством проиндексированных страниц.
Если к сайту применен фильтр или штраф, эффект обычно виден после обновления индекса поиска.
Изменение ТИЦ
TIC (тематический индекс цитирования) — это оценка, которую Яндекс присваивает всем веб-сайтам аналогично Page Rank в Google. Яндекс регулярно обновляет ТИЦ, и за обновлениями легко следить через Яндекс.Вебмастер.
2. Управление появлением в поиске
Яндекс предоставляет множество возможностей для создания привлекательных сниппетов поисковой выдачи.Некоторые элементы должны быть добавлены разработчиками (например, микроформаты), а другие можно настроить через Яндекс.Вебмастер:
URL-адрес
Для длинных доменов Яндекс дает возможность использовать некоторые буквы с большой буквы, чтобы доменное имя было более читабельным. Например, russiansearchmarketing.com может отображаться в поисковой выдаче как RussianSearchMarketing.com.
Дополнительные ссылки
В отличие от Google, Яндекс дает довольно много контроля над органическими дополнительными ссылками.Через Яндекс.Вебмастер можно изменить текст дополнительных ссылок или удалить дополнительные ссылки, которые не актуальны.
Интерактивные фрагменты — «Острова»
Около 1,5 года назад Яндекс представил новый макет поисковой выдачи с интерактивными сниппетами под названием Яндекс.Острова. Идея «островов» состоит в том, чтобы приблизить к пользователю наиболее важную информацию и упростить поиск решений проблем пользователей, отвечая на их вопросы быстрее, прямо в результатах поиска. Дизайн «острова» может варьироваться от очень простого — например, кнопка или поле поиска — до довольно сложного, например, формы подачи заявки или даже системы бронирования.
«Острова» необходимо отправить через Яндекс.Вебмастер.
3. Настройка региональной принадлежности
Яндекс, как и Google, показывает результаты локального поиска в разных регионах России. Чтобы Яндекс определил правильный регион для вашего сайта, вы можете воспользоваться настройками «География сайта» в Яндекс.Вебмастере.
Региональные настройки важны, если вы работаете с так называемыми «геозависимыми» поисковыми запросами, такими как «французский ресторан», «доставка пиццы», другими словами, с продуктами и услугами, которые можно приобрести на месте.
4. Утверждение авторства текста
Как я писал в одном из своих предыдущих постов, Яндекс предоставляет функцию «оригинальные тексты» в Яндекс.Вебмастере, которая позволяет владельцам контента сообщать Яндексу о своем авторстве. Заявление об авторстве чрезвычайно важно для всех, но особенно для недавно запущенных сайтов, поскольку это сводит к минимуму вероятность того, что пираты контента будут ранжироваться выше оригиналов.
Яндекс.Вебмастер — один из важнейших инструментов поисковой оптимизации Яндекса.Если у вас еще нет учетной записи, обязательно включите ее в свой набор инструментов SEO в 2015 году.
README — Документация для яндекс-вебмастера (0.2.0)
Обертка для API Яндекс.Вебмастера.
О Яндекс.Вебмастере
Документация API
Установка
[sudo] gem установить яндекс-вебмастер
Использование
Аутентификация
API Яндекса использует OAuth для аутентификации.К счастью, жемчужина Яндекс :: Вебмастера скрывает от вас большую часть деталей.
Если вы никогда не использовали API для веб-мастеров или хотите изменить свои учетные данные для аутентификации или срок действия вашего токена авторизации истек, вам следует создать новый:
требуют 'rubygems'
требуется 'яндекс-вебмастер'
# Получите свои учетные данные API на https://oauth.yandex.ru/
webmaster = Яндекс :: Webmaster.new (: app_id => 'your_app_id',: app_password => 'your_app_password')
=> # <Яндекс :: Вебмастер :: Клиент>
# Следуйте URL-адресу авторизации, вы будете перенаправлены на URL-адрес обратного вызова, указанный в настройках вашего приложения.webmaster.authorize_url
=> "https://oauth.yandex.ru/authorize?response_type=code&client_id=your_app_id"
# Используйте код авторизации из params, чтобы получить токен авторизации
webmaster.authenticate (параметры [: код])
=> # <Яндекс :: Вебмастер :: Клиент>
# Если ошибки не возникает, вы можете использовать любой метод API
# Чтобы посмотреть, какой токен сейчас используется, вызовите конфигурацию клиента
токен = webmaster.configuration.oauth_token
=> "82af4af2a42e4019bd59a325da0f31d8"
Если вы хотите восстановить ранее использованный токен, это тоже легко сделать:
требуют 'rubygems'
требуется 'яндекс-вебмастер'
# получите учетные данные API на https: // oauth.yandex.ru/
webmaster = Яндекс :: Webmaster.new (: oauth_token => 'token')
=> # <Яндекс :: Вебмастер :: Клиент>
Чтобы проверить, аутентифицирован ли ваш клиент или нет, используйте аутентифицированный?
метод.
# Мы уже инициализировали клиент раньше.
webmaster.authenticated?
=> правда
Операции со списком сайтов
Получить список сайтов
Большинство методов загрузки Яндекс :: Вебмастера ленивы, данные будут загружены только тогда, когда они вам действительно понадобятся.
webmaster.hosts
=> # <Яндекс :: Вебмастер :: ApiFactory>
webmaster.hosts.all
=> # <Массив [Яндекс :: Вебмастер :: Хост]>
# на самом деле это не делает запрос к API, перечисляет, кэшируются ли хосты.
webmaster.hosts.first
=> # <Яндекс :: Вебмастер :: Хост>
Чтобы перезагрузить список хостов, вызовите метод #host
с явно переданным параметром reload
.
# вызывает API и кеширует список хостов
веб-мастер.хосты (правда) .all
=> # <Массив [Яндекс :: Вебмастер :: Хост]>
# очищает кеш и снова вызывает API.
webmaster.hosts (правда) .first
=> # <Яндекс :: Вебмастер :: Хост>
Создать сайт
webmaster.hosts.create ('имя хоста')
=> # <Яндекс :: Вебмастер :: Хост>
Операции с сайтом
Получение ресурсов сайта
Вы можете легко узнать, какие методы API доступны для выбранного хоста.
h = webmaster.hosts.last
=> # <Яндекс :: Вебмастер :: Хост>
h.resources
=> {: host_information => "https://webmaster.yandex.ru/api/v2/hosts/ / stats",: verify_host => "https://webmaster.yandex.ru/api/v2/ hosts / / verify "...: excluded_urls_history =>" https://webmaster.yandex.ru/api/v2/hosts/ / history / excluded-urls "}
Удаление сайта
h = webmaster.hosts.last
=> # <Яндекс :: Вебмастер :: Хост>
часУдалить
=> # <Яндекс :: Вебмастер :: Хост>
ч.удалено?
=> правда
Операции со статистикой сайта
Запрос обновляет следующие поля в узле:
-
# имя
-
# проверка
-
# crawling
-
#virused
-
#last_access
-
#tic
-
#url_count
-
#index_count
Также запрос заполняет следующие поля:
-
#url_errors
-
#internal_links_count
-
#links_count
h = веб-мастер.хосты.последний
=> # <Яндекс :: Вебмастер :: Хост>
# Заполняет экземпляр хоста статистической информацией
h.load_stats
=> # <Яндекс :: Вебмастер :: Хост>
h.url_errors
=> 379843
h.internal_links_count
=> 52367
h.links_count
=> 943
Операции с файлами Sitemap
Получение списка файлов Sitemap
# вызывает API и кэширует список карт сайта для хоста
webmaster.hosts.first.sitemaps
=> # <Массив [Яндекс :: Вебмастер :: Хосты :: Карта сайта]>
Чтобы перезагрузить список карт сайта для хоста, вызовите метод #host
с явно переданным параметром reload
.
webmaster.hosts.first.sitemaps (true)
=> # <Массив [Яндекс :: Вебмастер :: Хосты :: Карта сайта]>
Получение информации о файле Sitemap сайта
Для загрузки подробной информации о файле Sitemap используйте метод #load_details
.
sitemap = webmaster.hosts.first.sitemaps.first
=> # <Яндекс :: Вебмастер :: Хосты :: Карта сайта>
sitemap.load_details
=> # <Яндекс :: Вебмастер :: Хосты :: Карта сайта>
Когда детали загружены, вы можете увидеть информацию Sitemap.
карта сайта.latest_info
=> # <Яндекс :: Вебмастер :: Хосты :: SitemapInfo>
sitemap.in_search_info
=> # <Яндекс :: Вебмастер :: Хосты :: SitemapInfo>
Удаление файла Sitemap
sitemap = webmaster.hosts.first.sitemaps.first
=> # <Яндекс :: Вебмастер :: Хосты :: Карта сайта>
sitemap.delete
=> # <Яндекс :: Вебмастер :: Хост>
sitemap.deleted?
=> правда
Операции с верификацией сайта
Основная проверочная информация загружается с загрузкой хоста.
Для проверенных сайтов:
h = webmaster.hosts.last
=> # <Яндекс :: Вебмастер :: Хост>
ч. проверка
# <Яндекс :: Вебмастер :: Хосты :: Состояние проверки: "проверено">
А для непроверенных сайтов:
h = webmaster.hosts.create ('http://www.tver.ru')
ч. проверка
=> # <Яндекс :: Вебмастер :: Хосты :: Состояние проверки: "never_verified">
Примечание к исправлениям / запросам на извлечение
- Вилка проекта.
- Сделайте добавление функции или исправление ошибки.
- Добавьте тесты для этого. Это важно, поэтому я не разбиваю его будущая версия непреднамеренно.
- Зафиксируйте, не связывайтесь с rakefile, версией или историей. (если вы хотите иметь свою версию, это нормально, но bump версию в коммите, я могу игнорировать, когда вытаскиваю)
- Отправьте мне запрос на перенос. Бонусные баллы за тематические ветки.
Кредиты
Webmaster поддерживается JetRockets.
Авторы:
Лицензия
Это бесплатное программное обеспечение, которое может распространяться на условиях, указанных в файле ЛИЦЕНЗИИ.
.