Не удаляются страницы из поиска Яндекса. Что делать? |

Довольно часто вебмастера сталкиваются с необходимостью удалить какие-то страницы сайта или целиком весь сайт из поиска Яндекса. Дело, по идее, простое, но иногда оно оборачивается так, что на команду «Удалить» Яндекс отвечает – «Нет оснований для удаления…» Однако, вебмастеру виднее, что ему необходимо на сайте, а что — нет. В этой статье мы разберем, что надо делать, чтобы все-таки удалить страницу из поиска.

Но сначала немного о стандартной процедуре ликвидации страниц в поиске. (Этот параграф специально для новичков).

Как удалить страницы из поиска Яндекса: стандартная процедура.

Для успешного удаления ненужных страниц из поиска Яндекса, необходимо соблюсти два непременных условия:

— Вы и Ваш сайт должны быть зарегистрированы в сервисе «Яндекс. Вебмастер»,

— У Вас на сайте должен быть файл robots.txt.

Заходите на Яндекс. Вебмастер во вкладку «Мои сайты» и в правом сайдбаре видите строчку «Удалить URL»:

Кликаете по этой ссылке и оказываетесь на странице «Удалить URL»:

Вообще-то, Яндекс предполагает, что Вы занесете адрес ненужной страницы в этой форме, нажмете кнопку «Удалить» и страница будет удалена, однако не все так просто. Иначе я не писал бы эту статью. Проблема в том, что иногда такой путь срабатывает, но чаще – нет. Соотношение примерно 1:5 (по крайней мере, у меня), а это не очень устраивает.

Как узнать точный URL ненужной страницы? А если их несколько? Для этого надо в поиске Яндекса написать «host:www.novichkoff.ru» (ясно, что писать надо без кавычек и указывать адрес своего сайта). У вас откроется вкладка со всеми проиндексированными страницами.

Что надо делать, если количество таких страниц явно больше, чем имеется на сайте? Можно ничего не делать: если они запрещены к индексации в файле robots.txt, Яндекс их и сам удалит. Но удаляет их он крайне медленно, может уйти несколько месяцев (у меня уже 10 месяцев удаляет и то, удалены не все). Если у Вас есть причины – опасение попасть под пессимизацию Яндекса (или даже под бан), случайно попала в поиск страница с закрытыми данными, да хоть из любви к искусству – надо удалять вручную.

Для этого надо щелкнуть по названию страницы в выдаче Яндекса (вот в этом самом открывшемся перечне страниц Вашего сайта), страница откроется в новой вкладке Вашего браузера и адресном окне надо скопировать URL страницы. Для этого поставьте курсор в окошко браузера, кликните ПРАВОЙ кнопкой мыши и выберите «Копировать».

Потом открываете вкладку с Яндекс. Вебмастером, наводите курсор на окошко формы «Удалить URL», опять кликаете ПРАВОЙ мышью и выбираете «Вставить». В конце Ваших манипуляций нажимаете кнопку «Удалить». НО! Вполне вероятно, что Вы увидите такое сообщение:

Сообщение написано маленьким шрифтом, поэтому я его продублирую: «Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатэгом noindex».

Появились затруднения

Получив несколько таких сообщений, я глубоко задумался. Как же так:

1. одна страница убрана вообще, сервер явно должен выдавать ошибку 404 («Страница не найдена»), бот Google это сообщение видит, а — Яндекс нет?
2. индексирование рубрик запрещено и плагином, и файлом robots.txt, этот файл бот Google видит, а Яндекс – нет?
3. запрещение индексации страниц касается всех ботов, какие только есть на свете, в том числе и Яндекса.  Об этом прямо говорит самая первая строчка в файле — User-agent: * Сам Яндекс совершенно недвусмысленно говорит об этом свой справке.
4. Скажите мне на милость, чем отличаются эти две строчки:

Disallow: /category/*/*

Disallow: /tag/*

Первая строчка касается запрета на индексацию рубрик (category), вторая – меток (tag). Первую почему-то Яндекс учитывает при выполнении команды «Удалить», а вторую – полностью игнорирует. Количество слэшей и звездочек пусть Вас не смущает, я перепробовал самые разные варианты. Но нашел-таки нужное решение. Все-таки метод «научного тыка» — великая вещь!

Рекомендую  сделать, чтобы удалить ненужные страницы

Не буду Вас мучить, а сразу дам четкие и ясные (красиво сказал!) инструкции – что надо сделать. В файле robots.txt надо дописать:

User-agent: Yandex

Disallow: /tag/

 

И вот она, любезная нашему сердцу, строчка – «URL  добавлен в очередь на удаление»:

 

Сколько Яндекс будет удалять ненужную страницу? Об этом только Господь Бог и Яндекс знают. У Google на удаление уходит 4-6 часов, у Яндекса – неизвестно. По крайней мере, так у них написано – «по мере обхода роботом». Т.е.когда робот Яндекса соберется к Вам на сайт, тогда и удалит.

И в конце несколько кратеньких советов:

1. строчек с запрещением (Disallow:) писать можно столько, сколько нужно. Главное — соблюсти синтаксис. Особое внимание на пустячок: после двоеточия должен быть пробел.

2. Местоположение этого блока из двух (или более) строчек в файле robots.txt роли не играет.

3. Если у Вас есть первая строчка — User-agent: Yandex – и ниже написаны еще какие-строчки (до пустой строки), то лучше написать запрет (Disallow:) сразу после этой строки. Робот Яндекса выполняет команды файла robots.txt по очереди, сверху вниз.

4. Учтите, что строчка User-agent: Yandex может встречаться в тексте файла только один раз, вторая такая строчка (и все что к ней относится) будет проигнорирована.

5. Примеры строчек:

— Disallow: /page/* (запрет на индексацию страниц архива), точно так же можно писать и другие запреты

— для запрета одной страницы, URL которой вот такой (для примера) http://www.novichkoff.ru/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it,

надо писать все после слэша включительно(слэша, закрывающего название сайта):

/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it.

В результате должно получиться так:

Disallow:  /normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it

6. Внеся изменения в файл robots.txt, не поленитесь сходить по ссылке «Анализ robots.txt» (расположена там же, где и ссылка «Удалить URL»,т.е. на странице справа). Там надо написать адрес Вашего сайта в графе «Имя хоста» и нажать кнопку «Загрузить robots.txt с сайта». В нижнем окне появится Ваш измененный файл, надо нажать кнопку «Проверить». Если что-то будет неправильно, Яндекс это напишет. Исправляете и повторяете процедуру.

7. Почитайте справку Яндекса о файле robots.txt. Не сразу, но поймете.

…Сообщите об этой статье своим друзьям: Благодарю Вас! А еще Вы можете подписаться на рассылку и первым получать самые свежие статьи.

Удачи!

Автор: Сергей Ваулин

www.novichkoff.ru

Как удалить страницу из поиска Яндекса

Есть проблемы с ранжированием, проект не растет, хотите проверить работу своих специалистов по продвижению? Закажите профессиональный аудит в Семантике

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подпишись на рассылку и получи книгу в подарок!

Любому вебмастеру рано или поздно может понадобится удалить сайт из поисковика, или удалить одну страницу. Несмотря на то что дело может показаться простым, возникают некоторые сложности. К примеру, при нажатии на кнопку «удалить» в панели вебмастера, Яндекс может ответить «Нет оснований для удаления». Но только вебмастеру подвластна судьба страниц.

Давайте разбираться.

 

Как удалить из поиска ненужные страницы?

Для начала разберем как сайт попадает в поиск.

Допустим, вы создали свой сайт, заполнили его контентом и сделали некоторую оптимизацию. Вы ждете, когда придет робот поисковика и просканирует ваш сайт.  Сканирование сайта подразумевает, что робот посмотрит ваш сайт и запомнит про что он, грубо говоря. После того как сайт просканирован, он попадает в индекс. Иными словами, просканированный сайт попадает в выдачу поисковиков.

Для управления индексацей страниц вашего сайта, вам необходимо соблюсти обязательные условия:

1.  Вы зарегистрировали сайт в Яндекс.Вебмастер и имеете доступ к панели вебмастера;
2.  На сайте есть файл robot.txt.

Заходим в Яндекс.Вебмастер. Для этого нужно ввести в поиске Яндекс Вебмастер или перейти по прямой ссылке.

 

Выбираем вкладку «Мои сайты». Если у вас он не один, отобразиться список ваших сайтов, тут выбираем сайт, который хотите удалить из поиска

 

В слайдбаре, который находится справа, находим ссылку «Удалить URL».

 

 

Переходим по этой ссылке и оказываемся на странице «Удалить URL».

 

 

Вводим в форме ссылку на страницу и нажимаем «удалить». Яндекс думает, что вы знаете точный адрес страницы, которую хотите удалить.  Предполагается, что произойдет удаление введенной вами страницы и все. Но это срабатывает далеко не всегда. Чаще всего это происходит из-за того, что url введенный в форме не соответствует адресу страницы, которую вы хотите удалить из поиска Яндекса.

 

Как узнать точный URL страницы?

Для того чтобы узнать адреса всех проиндексированных страниц сайта в Яндексе есть специальная команда «host». В строке поиска нужно написать «host:site.ru». Site – здесь пишем адрес вашего сайта. После выполнения данной команды выводится список всех проиндексированных страниц введенного сайта.

 

А что если страниц в выдаче больше, чем есть на сайте?

Если в выдаче страниц больше, чем у вас на сайте, значит, некоторые страницы имеют дубли – это одна из самых распространенных причин. Для удаления таких страниц есть два решения:

• Закрыть в robots.txt и Яндекс со временем сам удалит ненужные страницы из поиска. Но это может затянуться надолго.
• Удалить дубли вручную.

Для того чтобы удалить страницу из поиска Яндекса вручную:

1. Заходим на страницу (дубль).
2. Копируем ее адрес.
3. Заходим в Яндекс Вебмастер.
4. Нажимаем на «Мои сайты».
5. Выбираем нужный сайт.

Нажимаем в слайдбаре «Удалить URL » и вставляем в форму адрес дубля страницы.

 

Возможно, вы увидите такое сообщение:

 

 

Как быть в таком случае?  Данное сообщение сигнализирует о том, что страница не закрыта от индексации в robots.txt или нет параметра noindex. Закрываем ее и пробуем еще раз. Если все сделано правильно вы увидите такое сообщение.

 

 

«URL добавлен в очередь на удаление». Сколько времени займет удаление трудно сказать, зависеть это может как от количества страниц на сайте, так и от самого Яндекса.

semantica.in

Ссылки в Яндекс Вебмастер

Автор Алексей На чтение 3 мин. Опубликовано 02.06.2018

Внутренние ссылки в Яндекс Вебмастер

Чтобы найти битые ссылки в Яндекс Вебмастере зайдите в раздел «Ссылки» дальше в зависимости от вида — внутренняя или внешняя.

Внутренняя ссылка — это ссылка, которая расположена на странице вашего сайта и ведет на другую страницу этого же сайта.

На скрине отображено количество битых ссылок и дата их нахождения поисковиком.

Причины проблем:

• ошибки на стороне сервера;
• запрещены к индексированию или не существуют.

Список составляется при помощи поисковой системы Яндекса. Неработающая ссылка — это та, которая ведет на несуществующую страницу, но на нее ссылаются другие страницы.

Неработающие ссылки могут быть исключены из индекса.

Причины:

• была допущена ошибка в адресе (URL) страницы;
• URL изменился;
• страница не существует;
• URL запрещён к индексированию тегом noindex.

Такие ошибки следует исправить, так как они негативно влияют на удобство интернет-ресурса. 

Как исправить битые ссылки:

• удалить;
• исправить;
• восстановить страницы на которые ссылаются.

Сведения обновляются в сервисе Вебмастера после переиндексации роботом.

Внешние ссылки в Яндекс Вебмастер

Внешняя ссылка — это ссылка, которая расположена на другом сайте и ведет на страницы вашего сайта.

Раздел содержит примеры страниц, которые ссылаются на ваш сайт. Поисковая система показывает те ссылки, которые она нашла на других сайтах. Но, все же, Яндекс может их и не отображать в сервисе.

Ссылка считается удаленной, если робот не обнаружил ее при очередном обходе сайта-источника или страница с ней была временно недоступна.

В сервисе Яндекс Вебмастер отображены ссылки:

• текущие;
• удаленные.

Опция «Группировать по сайтам» помогает увидеть ссылочную массу, ведущую на ваш сайт, и определить ресурс с наибольшим их числом.

Опция «Только неработающие» позволяет отобразить ссылочную массу, ведущую на ваш сайт, на запрос по которым робот получил HTTP-статус отличный от 2XX или 3XX.

Вебмастер показывает графики:

• Ссылки и сайты;
• Новые и удаленные;
• ТИЦ — тематический индекс цитирования, которые присваивает Яндекс, в зависимости от количества и качества ссылаемых интернет-ресурсов;
• TLD — домен верхнего (первого) уровня.

Сайты и ссылки Новые и удаленные ТИЦ TLD

Робот регулярно проверяет наличие и работоспособность внешней ссылочной массы.

Если администратор сайта установил или снял ссылку, изменения отразятся в сервисе после переиндексации роботом.

Вся эта информация позволяет отслеживать появление новой и выявлять неработающую ссылочную массу. Кроме этого, мы можем сформировать отчет по удаленным ссылкам и получить сведения о дате удаления каждой из них.

Удаление внешних ссылок в Яндекс Вебмастер

Ссылочную массу никак нельзя удалить с помощью Вебмастера. Чтобы удалить ссылочную массу на ваш сайт с ресурса, вы можете обратиться к владельцу этого ресурса или к его хостинг-провайдеру.

Если страницы, на которых размещены ссылки, перестали участвовать в поиске и не доступны для робота Яндекса, то через некоторое время информация о них пропадет из Яндекс.Вебмастера. Это произойдет по мере обновления информации о них в базе робота.

webmaster-seo.ru