Как удалить страницы из поиска
Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена с сайта.
- Шаг 1. Запретите индексирование страницы или каталога
- Шаг 2. Ускорьте удаление страницы
- Как вернуть страницу в результаты поиска
- Вопросы и ответы
Сделать это можно несколькими способами:
- Если страница удалена с сайта
- Если страница не должна отображаться в поиске
Для проверки корректности указаний в файле robots.txt используйте инструмент Анализ robots.txt.
Примечание. При обходе сайта робот сначала обращается к файлу robots.txt, если он есть, а затем к самим страницам сайта. Последовательный обход страниц может занять некоторое время. Если вы хотите удалить из поиска множество страниц, укажите директиву Disallow для нужных страниц.
Способ удаления | Поведение робота |
---|---|
Запрет в файле robots. txt | Робот прекращает обращаться к странице в течение суток. |
HTTP-статус с кодом 404, 403 или 410 | Робот продолжает посещать страницу в течение некоторого времени, чтобы убедиться, что ее статус не изменился. Если страница останется недоступной, робот прекратит ее обходить. |
Метатег robots с директивой noindex |
Когда робот посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных на странице Яндекс.Вебмастера.
Удаление из результатов поиска страниц, удаленных с сайта из-за нарушения авторских прав, не является приоритетным для робота. Чтобы убрать страницу из поиска, используйте описанные в данном разделе способы.
Удаленные из поисковой выдачи страницы могут отображаться в Яндекс.Вебмастере до следующего обхода сайта.
Рекомендуем просмотреть урок Как удалить страницу из поиска.
Чтобы ускорить удаление страницы из поиска, сообщите Яндексу о необходимости ее убрать, не дожидаясь планового обхода робота.
Если ваш сайт не добавлен или не подтвержден в Яндекс.Вебмастере:
- Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
В поле введите адрес страницы, которую надо удалить, например http://example.com/page.html.
Нажмите кнопку Удалить.
Чтобы убрать из поиска несколько страниц, последовательно удалите данным образом каждую страницу.
Если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом:
Перейдите на страницу .
Установите переключатель в положение По URL.
В поле введите адрес страницы, например http://example. com/page.html.
Нажмите кнопку Удалить.
Вы можете указать до 500 адресов одного сайта в сутки.
Вы можете удалить все страницы сайта, отдельные каталоги или страницы с заданными параметрами в URL, если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом.
В Яндекс.Вебмастере перейдите на страницу .
Установите переключатель в положение По префиксу.
- Укажите префикс:
Что удалить Пример Каталог сайта http://example.com/catalogue/ Все страницы сайта http://example.com/ URL с параметрами http://example. com/page? Можно отправить до 20 префиксов для одного сайта в сутки.
Нажмите кнопку Удалить.
Примечание. Робот удалит страницы, указанные в Яндекс.Вебмастере, только если для этих страниц прописала директива Disallow в файле robots.txt.
После того, как URL отправлен в Яндекс.Вебмастер, вы можете отслеживать изменение статуса на странице :
Статус | Описание |
---|---|
«В очереди на удаление» | Робот проверяет ответ сервера и наличие запрета на индексирование страницы. Проверка может занимать несколько минут. |
«В процессе» | Робот проверил страницу. В течение суток страница будет удалена из результатов поиска. |
«Удалена» | Страница удалена из результатов поиска. |
«Отклонено» | Отсутствует запрет на индексирование или при обращении робота к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone. |
Уберите запрет на индексирование: директиву Disallow в файле robots.txt или метатег noindex. Страницы вернутся в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.
- Редирект настроен на новые страницы, но в поиске присутствуют старые страницы
Если вы использовали редирект, робот постепенно отследит перенаправление, и по мере обхода сайта старые страницы будут пропадать из результатов поиска. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переобход.
Если адреса страниц меняются со сменой доменного имени сайта, то на обновление данных в поиске может потребоваться более месяца. Проверьте, правильно ли настроены зеркала.
7 способов удаления страницы из индекса поисковых систем
В этой статье я помогу вам разобраться в том, какие страницы не стоит индексировать, как удалить страницы из индекса поисковиков и зачем это нужно делать.
Содержание:
-
Зачем нужно удалять страницы из индекса и что это за страницы
-
Как удалить страницы из поисковой выдачи
Зачем нужно удалять страницы из индекса и что это за страницы?
«Ненужные страницы» – это страницы, которые не предназначены для притягивания трафика из поиска и их дальнейшего продвижения.
Устранение подобных страниц из индекса позволяет удалить лишние копии страниц, скрыть персональную информацию и, самое главное, улучшить хостовые поведенческие факторы, которые включают в себя такие основные показатели, как:
-
Показатель отказов.
-
Глубина просмотра (среднее количество просмотренных страниц в рамках одной сессии).
-
Время, проведенное пользователем на странице.
-
Среднее время, проведенное пользователем на сайте.
-
Поведение пользователей на выдаче.
Логика простая: чем больше мусорных страниц в поиске, по которым не кликают, тем хуже значения хостовых поведенческих факторов сайта, что влечет за собой ухудшение ранжирования.
К таким страницам относятся:
-
Страницы с GET-параметрами, которые выступают дублями посадочных страниц (страницы сортировок или с различными вариантами отображения карточек товаров и т. д.). Примеры таких страниц: https://site.ru/catalog/page1/?sort=sort&order=asc; https://site.
ru/catalog/page2/?display=list. -
Страницы с результатами поиска по сайту, страницы сравнения (https://site.ru/search/?q=&s=Найти; https://site.ru/catalog/page1/compare.php).
-
Страницы с неуникальным контентом.
-
Страницы, не несущие в себе смысловой нагрузки (административные и технические страницы с персональной информацией).
-
Системные каталоги и файлы.
-
Страницы, удаленные на сайте, но все еще отображающиеся в поиске.
Как удалить страницы из поисковой выдачи?
Рассмотрим ключевые методы удаления страниц из индекса.
1 способ. Директива Disallow в файле Robots.txt
Используя данную директиву, можно дать указания роботу не посещать список заданных страниц.
Имеется существенное дополнение.
Страница, запрещенная к индексированию с помощью директивы Disallow, все равно может быть просканирована и проиндексирована. Что может происходить из-за того, что на настоящую страницу ссылаются иные страницы на сайте.
Стоит отметить и то, что Yandex чаще всего воспринимает директивы robots.txt как четкие инструкции по внесению в индекс. Совсем другая ситуация с «Гуглом», для него robots.txt – это всего лишь рекомендации. Поэтому, если вы закрыли страницу от индексации в robots.txt, поисковые роботы Google все равно могут ее проиндексировать. Чтобы этого избежать, можно воспользоваться другими способами, описанными ниже.
2 способ. Настройка 404, 403 и 410 HTTP-кодов ответа от сервера
При получении одного из этих кодов ответа при посещении страницы, робот воспринимает ее более недоступной и исключает ее из индекса.Работающая страница, которая подлежит индексации, должна отдавать код 200.
Проверить HTTP-коды ответа сервера можно с помощью сервиса bertal.ru
3 способ. Директива noindex в HTTP-ответе сервера
Мы уже выяснили, что робот при обходе страницы получает какой-либо ответ с сервера в котором содержатся специальные коды. Они показывают роботу, что сканируемая страница работает, либо недоступна. Но может возникнуть ситуация, когда страница должна работать на сайте, т. е. отдавать код 200, но ее нельзя индексировать. При таких условиях в HTTP-ответ сервера можно добавить HTTP-заголовок, который будет запрещать индексирование данной страницы.
HTTP-заголовок для запрета к индексации выглядит так:
X-Robots-Tag: noindex
Образец кода ответа сервера с применением noindex:
4 способ. Директива noindex, прописанная в метатеге
Задается в коде страницы при помощи тега <meta name=”robots” content=”noindex”>
5 способ. Устранение страниц из поиска в сервисе «Яндекс Вебмастер»
«Яндекс Вебмастер» предлагает 2 способа исключения страниц: по URL и по префиксу.
Используя вариант удаление «по URL», в окне сервиса необходимо просто указать список страниц, которые вам необходимо удалить.
Удаление «по префиксу» позволяет устранить все страницы, вложенные в каком-либо разделе или страницы, содержащие определенный параметр.
Например на сайте https://site.ru необходимо удалить все страницы из раздела catalogue, для этого в «Яндекс Вебмастере» откроем вкладку по префиксу и укажем УРЛ https://site.ru/catalogue/. В итоге все страницы из раздела catalogue будут удалены из индекса.
Если нужно удалить все страницы, которые содержат параметр после символа «?» в адресе, воспользуемся такой записью:
Перед тем, как отправить страницы на удаление в «Яндекс Вебмастере», необходимо запретить соответствующие страницы к индексации в robots. txt, иначе ваша заявка на удаление страниц будет отклонена.
6 способ. Удаление страниц из поиска в сервисе Google Search Console
Инструмент Google URL Removal работает также, как и аналогичный инструмент в «Яндекс Вебмастер» и имеет возможность удалять страницы как по URL-адресу, так и по префиксу.
Основное отличие состоит в том, что с помощью данного инструмента Google исключает страницу из поиска временно (на срок до 90 дней). Иными словами через некоторое время отправленная на удаление страница, снова рискует попасть в индекс, если ее HTTP-код отличен от 404, 403, 410, и она не имеет установленной директивы noindex в коде страницы, либо в HTTP-заголовке.
7 способ. Защита страницы паролем
Разделы, защищенные паролем, запрещают поисковикам получить доступ к контенту, вследствие чего подобные страницы чаще всего не попадают в индекс.
Выводы
-
Необходимо удалять из индекса страницы, по которым не притягивается трафик из поиска.
-
Удаление ненужных страниц дает улучшение релевантности сайта и поведенческих факторов на выдаче.
-
Ключевые методы удаления страниц из индекса:
-
Директива Disallow в Robots.txt.
-
Настройка HTTP-кодов ответа от сервера 404, 403 и 410.
-
Директива noindex, используемая в HTTP-ответе страницы и метатеге.
Самые результативные способы удаления страниц из индекса – это настройка 404, 403 и 410 HTTP-кодов ответа сервера и директива noindex, используемая в HTTP-заголовке, либо коде страницы.
Директива Disallow не дает 100%-ой гарантии, что страница не будет снова занесена в индекс. А страница, защищенная паролем, в свою очередь создаст неудобства для пользователей.
Как удалить страницы из поиска Google
Инструменты для веб мастера от Гугла помогают решать самые разнообразные проблемы по оптимизации сайта. Добавляя свой сайт в панель веб мастеров мы не всегда рассматриваем и изучаем инструменты, которые там находятся. А очень жаль … они решают такие вопросы, как удаление дублей страницы, сео оптимизацию мета тегов и другое.
Мы уже знаем как добавлять страницы в аддурилку гугла, чтобы она быстрее проиндексировалась. Иногда необходимо быстро удалить страницу из поиска. Сегодня мы рассмотрим такой инструмент, как «Удалить URL-адрес». Данный инструмент предназначен для удаления страниц из поиска.
Часто на сайте или блоге мы меняем, либо вовсе удаляем url адреса страниц. Очень важно, чтобы эти старые адреса как можно скорей выпали из поиска.
Также в поиске может находится целая куча дублей страниц и ненужных мусорных. Бороться с такими проблемами чисто ручным способом удаления url из поиска работа не благородная.
Для этого существуют другие методы. Но все же, как вариант, можно применять.Чтобы найти ненужные страницы воспользуемся оператором site:домен сайта. По очереди пересматриваем адреса страниц.
Эту проблему решают по-разному. Можно склеить старые адреса страниц через 301 редирект с новыми страницами. Тогда поисковая система будет считать главным адресом именно ту страницу к которой приклеили не существующую страницу. Также настраивают страницу, которая отдает 404 отзыв сервера. Получается, что когда пользователь попадает на несуществующий url, то его перекидает на страницу 404. Собственно, она дает понять поисковой системе, что такого адреса и страницы не существует и их нужно выбросить из поиска.
Все эти способы реально действуют и их нужно использовать. Но самый быстрый способ удалить страницу из поиска — это обратиться к инструменту для вебмастеров от Google «Удалить URL-адреса». Благодаря этому инструменту страница пропадает из поиска в течение нескольких дней.
Недостаток инструмента в том, что все действия по удалению нужно осуществлять в ручном режиме отдельно с каждой страницей.
Самый позитивный момент в том, что от вас не требуется каких то особенных знаний. Открываем панель инструментов для вебмастеров от Гугла и выбираем раздел «Индекс Google». Потом переходим к пункту «Удалить URL-адреса». Появляется форма добавления url адреса. В эту форму добавляем по очереди все страницы, которые необходимо удалить из поиска.
ВАЖНО! Если какие либо страницы повторно появляются в выдаче Гугла обязательно закройте их от индексации в robots.txt.
На сегодня все. Буду благодарен за комментарии и вопросы)
Автор статьи: Василий Лотыш
Seo специалист, интернет-маркетолог, эксперт по технической оптимизации сайта.Как я могу Удалить URL-адреса из строки в MySQL?
+1 Якубу (+10 за функциональность, -9 за приятность) за его ответ. Я публикую эту производную мерзость его ответа, чтобы не потерять его и, возможно, сэкономить часы чьего-то времени.
Возьмите поле номера детали varchar(255) и объедините его с полем описания varchar(255), обрезайте, разделите ссылки, разделите новые строки, предотвратите дублирование номера детали в описании и отформатируйте его для вставки в 2 поля char(30), которые являются объединенными…
SELECT SUBSTRING(
TRIM(CONCAT(
CONCAT(
TRIM(REPLACE(REPLACE(REPLACE(REPLACE(
pi.part_number, CONCAT('https://', SUBSTRING_INDEX(SUBSTRING_INDEX(pi.part_number, 'https://', -1), ' ', 1)), ''
), CONCAT('http://', SUBSTRING_INDEX(SUBSTRING_INDEX(pi.part_number, 'http://', -1), ' ', 1)), ''), '\n', ''), '\r', ''))
, ' '
),
TRIM(REPLACE(
REPLACE(REPLACE(REPLACE(REPLACE(
pi. description, CONCAT('https://', SUBSTRING_INDEX(SUBSTRING_INDEX(pi.description, 'https://', -1), ' ', 1)), ''
), CONCAT('http://', SUBSTRING_INDEX(SUBSTRING_INDEX(pi.description, 'http://', -1), ' ', 1)), ''), '\n', ''), '\r', ''),
TRIM(pi.part_number), ''
))
))
, 1, 30
) AS PDDSC1,
SUBSTRING(
TRIM(CONCAT(
CONCAT(
TRIM(REPLACE(REPLACE(REPLACE(REPLACE(
pi.part_number, CONCAT('https://', SUBSTRING_INDEX(SUBSTRING_INDEX(pi.part_number, 'https://', -1), ' ', 1)), ''
), CONCAT('http://', SUBSTRING_INDEX(SUBSTRING_INDEX(pi.part_number, 'http://', -1), ' ', 1)), ''), '\n', ''), '\r', ''))
, ' '
),
TRIM(REPLACE(
REPLACE(REPLACE(REPLACE(REPLACE(
pi.description, CONCAT('https://', SUBSTRING_INDEX(SUBSTRING_INDEX(pi.description, 'https://', -1), ' ', 1)), ''
), CONCAT('http://', SUBSTRING_INDEX(SUBSTRING_INDEX(pi.description, 'http://', -1), ' ', 1)), ''), '\n', ''), '\r', ''),
TRIM(pi. part_number), ''
))
))
, 31, 30
) AS PDDSC2
FROM purchase_request_items pi
Как удалить URL из поисковой системы Google
Если на вашем сайте есть страницы, проиндексированные в Gooogle, которые вы хотите удалить, первым делом нужно изменить свой сайт. Вы можете удалить страницы, заблокировать их просмотр роботом Googlebot или включить в них тег, который говорит Google не индексировать их.
- 410 Gone — удаление страниц со статусом 410 позволяет роботу Google удалять их из индекса, как только он сканирует их в следующий раз.
- 404 Not Found — робот Googlebot удалит 404 URL-адреса по истечении 24 льготных периодов при следующем сканировании.
- Тег noindex — если страница все еще доступна на сайте, но не должна быть проиндексирована, включите ее
<meta name="robots" content="noindex">
в<head>
раздел. Google удалит его из индекса при следующем сканировании. - Защита паролем — Защитите информацию, запрашивая логин или пароль для доступа к ней. В этом случае Google может проиндексировать URL, но не сможет проиндексировать контент.
Запретить в robots.txt — вы можете запретить роботу Googlebot сканировать страницы, добавив
Disallow: /mypage
в robots.txt. Google обычно не индексирует страницы, которые он не может сканировать, и никогда не индексирует их содержание. Однако Google иногда может показывать URL в результатах поиска без какого-либо фрагмента :Если вы удалили страницу или добавили
noindex
тег, важно разрешить роботу Googlebot сканировать страницу. Если вы также запретите сканирование в файле robots.txt , робот Googlebot не сможет увидеть, что ваша страница должна быть удалена. Не запрещайте страницы в robots.txt, если вы также реализовали другой метод из этого списка.
При всех этих методах робот Googlebot должен возвращать и сканировать страницы, прежде чем они будут удалены. Этот процесс может занять пару месяцев , особенно для многих страниц, которые не очень популярны. Если вы хотите ускорить процесс, войдите в консоль поиска Google и используйте функцию Fetch as Google для каждого URL. Обратите внимание, что это ручной процесс с квотой в десять запросов в день, поэтому он не будет работать для большого количества URL-адресов.
У Google также есть инструмент Удалить URL-адреса в консоли поиска, который может временно удалять URL-адреса или каталоги из Google на 90 дней. Вы можете использовать этот инструмент для быстрого удаления URL-адресов из результатов поиска, прежде чем робот Googlebot сможет их сканировать.
Даже после удаления URL-адресов из результатов поиска Google, Google все равно может отображать URL-адреса как ошибки в консоли поиска Google. Пока Google находит ссылки на URL-адреса, они могут отображаться как ошибки сканирования после того, как они имеют статус 404 или 410. Это совершенно нормально и не повредит другим страницам на вашем сайте. Посмотрите, что говорит Джон Мюллер из Google об ошибках сканирования для получения дополнительной информации.
5 способов удаления страницы из индекса поисковой системы Google
Есть проблемы с ранжированием, проект не растет, хотите проверить работу своих специалистов по продвижению? Закажите профессиональный аудит в Семантике
Получи нашу книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Подпишись на рассылку и получи книгу в подарок!
Способов убрать URL из Google несколько. Какой использовать — зависит от обстоятельств.
И цель не убрать сам адрес, а понять, какой способ выбрать. Неправильный выбор приведет к проблемам с поисковым продвижением. Вот простая блок-схема, которая поможет определиться:
В этой статье вы узнаете:
Как проверить индексацию URL
Чтобы понять, есть ли адрес в индексе системы, специалист обычно просто вводит в строке нужный адрес. Проблема оператора поиска «site:» в том, что это специфический запрос. Он не даст точной информации об индексации урла. Он может показать адреса страниц, которые известны Google, но не отображаются в результатах поиска по обычному запросу.
Например, этот оператор все равно покажет в выдаче страницы с редиректом или являющиеся каноническими для других. Когда вы ищете конкретный сайт, Google может показать страницу искомого домена с контентом, заголовком и описанием другого ресурса.
Например, привычный moz.com раньше располался на seomoz.com. Обычные пользователи увидят в выдаче адрес moz.com. Если искать seomoz.com, несмотря на адрес сайта в выдаче, человек все равно попадет на moz.com:
Причина, по которой это важно. Специалисты могу удалить из индекса URL для старого сайта, а это приведет к уменьшению сигналов для поисковика. Есть много примеров, когда при переносе сайта на новый домен в выдаче присутствуют адреса старого сайта. Оптимизатор начинает вычищать якобы ненужное и вредит новому сайту.
Лучший способ проверить индексацию — Отчет об индексировании в GSC или инструмент для проверки отдельного адреса. Вы узнаете, проидексирована ли страницы, и как Google ее обрабатывает.
Если в инструменте Ahrefs вы найдете страницу в «Top Pages» или сводке о ранжировании ключевых слов, это означает, что наши роботы видели ее в выдаче по обычным запросам, следовательно, страница в индексе. Уточните дату, к которой относятся данные — могли произойти изменения, о которых в сервисе пока нет информации.
Если есть проблема с определенным адресом, и его нужно удалить из индекса, изучите блок-схему, а потом выберите нужный вариант удаления ниже.
Вариант 1. Удаление контента
Если вы удалите страницу, появится код ответа 404, либо 410. При следующем обходе сайта роботом, удаленная страница пропадет из индекса. До этого момента она останется в результатах поиска. Возможно, человек попадет на ее кэшированную версию.
Когда нужно выбрать другой метод:
- Необходимо мгновенное удаление: воспользоваться специальными инструментами.
- Нужно сохранить сигналы, например, ссылки: воспользоваться канонизацией.
- Хочется оставить доступ пользователей к странице: закрыть страницу от индексации.
Вариант 2. Noindex
Метатег сообщает роботам, что страницу не нужно индексировать. Работает для обычных страниц и дополнительных типов, например, для pdf-файлов. Чтобы теги были видны, у поисковика должен быть доступ к сканированию. Убедитесь, что они не заблокированы в robots.txt. Обратите внимание: удаление страницы из индекса может помешать передаче сигналов.
Как выглядит тег:
Для x-robots:
Когда нужно выбрать другой метод:
- Не нужен доступ к странице: см. следующий раздел про ограничение доступа.
- Нужно оставить все сигналы страницы: см. раздел про канонизацию.
Вариант 3. Ограничение доступа
Если хотите, чтобы страница осталось доступной для некоторых пользователей, но не для поисковиков, нужен один из трех вариантов:
- какой-то механизм входа в систему;
- HTTP-аутентификация, когда требуется пароль для входа;
- белый список IP-адресов — доступ будет только у пользователей с IP из списка.
Такой вариант подойдет для внутренних сетей, для тестирования и разработки сайтов, когда контент предназначен только для определенных людей (например, участников рабочей группы).
Группа пользователей сможет заходить на страницу, но поисковые системы к ней доступ не получат.
Когда нужно выбрать другой метод:
- Нужно немедленно удалить страницу: см. следующий раздел про инструмент удаление URL. Подойдет, когда нужно удалить контент, который уже есть в кэше, но вы не хотите, чтобы пользователи его увидели.
Вариант 4. Инструмент удаления URL
Речь про инструмент Google.
Следует сказать, что его применять стоит в экстренных ситуациях — когда произошла утечка личных данных, или информации, которая угрожает чьей-либо безопасности. При использовании инструмента Google продолжает видеть страницу и распознавать на ней контент. Просто сама страница не отображается в выдаче у пользователей.
Вариант 5. Тег canonical
У нас есть большое руководство по использованию этого тега.
Если есть несколько версий страницы, вам нужно объединить сигналы — например, ссылки на одну версию, нужна форма, по которой страницу можно канонизировать. Это предотвращает дублирование контента при объединении версий в один проиндексированный URL.
Несколько вариантов канонизации:
- Canonical. Указывает адрес как канонический, который вы хотите показывать. Если другие страницы являются полными дублями или похожи, все сработает. Если страницы разные, тег может не сработать. Это подсказка, а не директива.
- Редиректы. Самый популярный — 301. Гугл считает страницу, на которую он указывает, желательной для отображения в результатах. Для нее он учитывает все сигналы. 302 или временный редирект показывает поисковику, что вы хотите оставить в индексе первоначальный адрес страницы, и учитывать сигналы для нее.
- Обработка параметров URL. Параметр в адресе может указывать на разные версии страницы. Инструмент от Google позволяет указывать, как именно обрабатывать конкретные параметры, например, изменяют ли они контент на странице или просто нужны для отслеживания событий.
Как расставить приоритетность
Если у вас есть несколько страниц, которые нужно удалить из индекса, нужно расставить приоритеты.
Высокий приоритет: страницы, связанные с безопасностью или приватными данными — информации с личными данными человека, клиентские сводки и т. д.
Средний приоритет: контент, предназначенный для определенной группы пользователей — внутренние корпоративные порталы, регламенты, инструкции.
Низкий приоритет: страницы с дублирующимся контентом, доступные по нескольким адресам, по параметрическим URL, тестовые или необходимые для разработки.
Как избежать распространенных ошибок
Здесь поговорим о нескольких способах удаления страницы, которые приводят к грустным последствиям и покажем сценарий того, что происходит. Так вы поймете, что именно неверно.
Noindex в robots.txt
Хотя раньше Google поддерживает такое сочетание, оно никогда не было официальным стандартом. Многие сайты, которые запрещали индексирование в robots постоянно, сейчас находятся на 4 странице выдачи.
Блокировка обхода в robots.txt
Сканирование и индексирование — разные процессы. Даже если заблокировать сканирование страницы, при наличии внутренних или внешних ссылок поисковик все равно сможет ее проиндексировать.
Google не будет знать, что находится на странице, потому что он ее не просканирует. Но он в курсе, что страница существует, даже укажет ее заголовок в выдаче на основе анкорного текста в ссылке.
Nofollow
Его часто путают с noindex. На самом деле это подсказка, которую раньше успешно применяли для запрета индексирования. Сейчас это не работает, и Гугл все равно может индексировать страницы. Чтобы найти все ссылки nofollow, используйте фильтр в отчете Ahrefs:
Смысла указывать все ссылки на странице почти нет, поэтому число должно быть близким к нулю.
Отдельные ссылки можно найти в этом фильтре для Link Explorer:
Noindex и канонизация для другого URL одновременно
Сигналы противоречат друг другу. Первый говорит об удалении страницы из индекса, второй — что это версия, которую нужно проиндексировать. Это может работать для консолидации, потому что Google предпочитает игнорировать noindex и вместо него использует канонизацию в качестве основной директивы. Однако это не всегда именно так. Есть риск, что страницы неправильно объединятся друг с другом.
Вы можете найти неиндексированные страницы с каноническими ссылками, используя такой набор фильтров:
Запрет индексирования и ограничение сканирования
Два варианта, почему такое происходит:
- Страницы уже заблокированы, но проиндексированы. Оптимизатор может запретить индексирование и разблокировать поисковику возможность обхода, чтобы он считает запрет индексирования. Затем повторно блокируют обход.
- Оптимизаторы добавляют noindex для страниц, которые хотят удалить после того, как Гугл сканирует и обрабатывает тег, блокируют обход страниц.
В любом случае, итоговое состояние — блокировка обхода страницы. Если вы помните, ранее мы говорили, что сканирование и индексирование — разные процессы. И заблокированная от обхода страница все равно может оказаться в индексе.
Что делать, если ваш контент на чужом сайте?
Если вы — автор текста, который используется на чужом сайте, можно попытаться защитить свои авторские права. Можно использовать инструмент от Google, который запрашивает удаление любого материала, который защищен авторским правом.
Что делать, если информация о вас есть на чужом сайте?
Если вы в зоне ЕС, вы можете удалить контент, в котором есть информация о вас, согласно «праву быть забытым». Вы можете запросить удаление личной информации через эту форму.
Как удалить изображение
Для удаления изображений из Google проще использовать robots.txt. Хотя неофициальная возможность удалить картинку более в нем не присутствует, можно запретить сканирование изображения.
Для одного изображения:
Для всех:
Заключение
Удаление URL ситуативно. Для каждой причины — свой метод. Мы говорили о нескольких вариантах, если что-то непонятно — вернитесь к блок-схеме из начала статьи.
Источник.
- Чтение занимает 4 мин
В этой статье
Когда вы, как глобальный администратор или администратор SharePoint в Microsoft 365, удаляете сайт (ранее называемый «коллекцией веб-сайтов»), он сохраняется как удаленный сайт в течение 93 дней. When you, as a global or SharePoint admin in Microsoft 365, delete a site (previously called a «site collection»), it’s retained as a deleted site for 93 days. При удалении сайта удаляется все его объекты, в том числе:Deleting a site deletes everything within it, including:
Библиотеки и файлы документов.Document libraries and files.
Списки и данные списков.Lists and list data.
Параметры и история сайта.Site settings and history.
Все подсайты и их содержимое.Any subsites and their contents.
Администраторам сайта и владельцам подсайтов следует уведомить их перед удалением сайта, чтобы они могли переместить свои данные в другое место, а также сообщить пользователям, когда сайты будут удалены.You should notify the site admins and any subsite owners before you delete a site so they can move their data to another location, and also tell users when the sites will be deleted.
Предупреждение
Не рекомендуется удалять корневой сайт для вашей организации. We do not recommend deleting the root site for your organization. В этом случае все сайты SharePoint будут недоступны, пока вы не восстановите сайт или не создайте новый корневой сайт.If you do, all your SharePoint sites will be inaccessible until you restore the site or create a new root site. Вместо удаления корневого сайта рекомендуется заменить его.Instead of deleting the root site, we recommend replacing it. Узнайте больше о корневом сайте и его заменеLearn more about the root site and how to replace it
Используя новый Центр администрирования SharePoint, вы можете удалить как классические, так и современные сайты.By using the new SharePoint admin center, you can delete both classic and modern sites. Глобальные администраторы и администраторы SharePoint теперь могут удалять сайты, принадлежащие группам Microsoft 365.Both global and SharePoint admins can now delete sites that belong to Microsoft 365 groups. Удаление этих сайтов удалит группу и все ее ресурсы, включая почтовый ящик и календарь Outlook, а также все каналы Teams.Deleting these sites will delete the group and all its resources, including the Outlook mailbox and calendar, and any Teams channels.
- Перейдите на страницу «Активные сайты» в новом Центре администрирования SharePoint и войдите, используя учетную запись с правами администратора в вашей организации.Go to the Active sites page of the new SharePoint admin center, and sign in with an account that has admin permissions for your organization.
В левом столбце выберите сайт.In the left column, select a site.
Выберите «Удалить» и «Подтвердить» выберите «Удалить».Select Delete, and to confirm, select Delete.
Примечание
Чтобы удалить концентратор, сначала необходимо отопустить его в качестве центрального сайта.To delete a hub site, you first need to unregister it as a hub site.
Удаленные группы Microsoft 365 сохраняются только в течение 30 дней.Deleted Microsoft 365 groups are retained for only 30 days.
Сведения об удалении сайта с помощью PowerShell см. в remove-SPOSite.For info about deleting a site by using PowerShell, see Remove-SPOSite.
Окончательное удаление сайтаPermanently delete a site
Чтобы повторно использовать URL-адрес удаленного сайта (повторно создать сайт), необходимо окончательно удалить сайт.To reuse a URL from a deleted site (recreate a site), you need to permanently delete the site. После удаления сайта может потребоваться до 24 часов, чтобы URL-адрес стал доступным.After the site is permanently deleted, it might take up to 24 hours for the URL to become available. На странице «Удаленные сайты» в новом Центре администрирования SharePoint можно окончательно удалить все сайты, кроме сайтов, принадлежащих группам Microsoft 365.On the Deleted sites page of the new SharePoint admin center, you can permanently delete all sites except those that belong to Microsoft 365 groups.
- Перейдите на страницу «Удаленные сайты» в новом Центре администрирования SharePointи войдите с помощью учетной записи с разрешениями администратора для вашей организации.Go to the Deleted sites page of the new SharePoint admin center, and sign in with an account that has admin permissions for your organization.
Примечание
Если у вас есть Office 365 Germany, войдите в Центр администрирования Microsoft 365,а затем перейдите в Центр администрирования SharePoint и откройте страницу «Удаленные сайты».If you have Office 365 Germany, sign in to the Microsoft 365 admin center, then browse to the SharePoint admin center and open the Deleted sites page.
Если у вас есть служба Office 365 под управлением 21Vianet (Китай), войдите в Центр администрирования Microsoft 365,а затем перейдите в Центр администрирования SharePoint и откройте страницу «Удаленные сайты».If you have Office 365 operated by 21Vianet (China), sign in to the Microsoft 365 admin center, then browse to the SharePoint admin center and open the Deleted sites page.
В левом столбце выберите сайт.In the left column, select a site.
Выберите «Удалить» и «Подтвердить» выберите «Удалить».Select Delete, and to confirm, select Delete.
Чтобы окончательно удалить сайты (включая сайты групп, подключенные к группе Microsoft 365) с помощью PowerShell, выполните следующие действия:To permanently delete sites (including Microsoft 365 group-connected team sites) by using PowerShell, follow these steps:
Скачайте последнюю версию командной консоли SharePoint Online.Download the latest SharePoint Online Management Shell.
Примечание
Если вы установили предыдущую версию командной консоли SharePoint Online, перейдите к разделу «Установка и удаление программ» и удалите компонент «Командная консоль SharePoint Online».If you installed a previous version of the SharePoint Online Management Shell, go to Add or remove programs and uninstall «SharePoint Online Management Shell. »
На странице Центра загрузки выберите нужный язык и нажмите кнопку «Скачать».On the Download Center page, select your language and then click the Download button. Вам будет предложено скачать версию x64 или x86 файла MSI.You’ll be asked to choose between downloading a x64 and x86 .msi file. Для 64-разрядной версии Windows скачайте файл x64, а для 32-разрядной — файл x86.Download the x64 file if you’re running the 64-bit version of Windows or the x86 file if you’re running the 32-bit version. Если вы не знаете свою разрядность, см. статью Какая у меня версия операционной системы Windows?If you don’t know, see Which version of Windows operating system am I running?. После скачивания файла запустите его и следуйте инструкциям мастера настройки.After the file downloads, run it and follow the steps in the Setup Wizard.Подключите SharePoint, используя права глобального администратора или администратора SharePoint в Microsoft 365.Connect to SharePoint as a global admin or SharePoint admin in Microsoft 365. Сведения о том, как это сделать, см. в статье Начало работы с командной консолью SharePoint Online.To learn how, see Getting started with SharePoint Online Management Shell.
Выполните следующую команду:Run the following command:
Remove-SPODeletedSite -Identity https://contoso.sharepoint.com/sites/sitetoremove
(Где https://contoso.sharepoint.com/sites/sitetoremove находится URL-адрес сайта, который необходимо окончательно удалить).(Where https://contoso.sharepoint.com/sites/sitetoremove is the URL of the site you want to permanently delete). Дополнительные сведения об использовании этой команды см. в командлете Remove-SPODeletedSite.For more info about using this command, see Remove-SPODeletedSite.
Сводка параметровSummary of options
Тип сайтаSite type | УдалениеHow to delete | Окончательное удалениеHow to permanently delete |
---|---|---|
Корневой сайтRoot site | Это делать не рекомендуется. Not recommended. Замените корневой сайт другим сайтом.Replace the root site with a different site. Если сайт больше не является корневым сайтом, егоURL-адрес будет /sites/archive-datetime, и вы можете удалить его со страницы «Активные сайты» в новом Центре администрирования SharePoint или с помощью PowerShellWhen the site is no longer a root site, its URL will be /sites/archive-datetime, and you can delete it from the Active sites page of the new SharePoint admin center or by using PowerShell | На странице «Удаленные сайты» в новом Центре администрирования SharePoint или с помощью PowerShellFrom the Deleted sites page of the new SharePoint admin center or by using PowerShell |
Сайты для общенияCommunication sites | Удалите их со страницы «Активные сайты» в новом Центре администрирования SharePoint или с помощью PowerShellDelete them from the Active sites page of the new SharePoint admin center or by using PowerShell | На странице «Удаленные сайты» в новом Центре администрирования SharePoint или с помощью PowerShellFrom the Deleted sites page of the new SharePoint admin center or by using PowerShell |
Сайты групп Microsoft 365, подключенные к группеMicrosoft 365 group-connected team sites | Удаление групп Microsoft 365 и всех их ресурсов из Центра администрирования Microsoft 365, страницы «Активные сайты» в новом Центре администрирования SharePoint или с помощью PowerShellDelete Microsoft 365 groups and all their resources from the Microsoft 365 admin center, the Active sites page of the new SharePoint admin center, or by using PowerShell | Только из PowerShellFrom PowerShell only |
Узловые сайты (сайты, назначенные с помощью «(сайт-концентратор)» в столбце «Концентратор»)Hub sites (those designated with «(Hub site)» in the Hub column) | Удалите их в качестве узловых сайтов на странице «Активные сайты» в новом Центре администрирования SharePoint или с помощью PowerShell, а затем удалите их в зависимости от типа сайта. Unregister them as hub sites from the Active sites page of the new SharePoint admin center, or by using PowerShell, and then delete them based on their site type | В зависимости от типа сайтаBased on their site type |
Классические сайтыClassic sites | Удалите их со страницы «Активные сайты» в новом Центре администрирования SharePoint или с помощью PowerShellDelete them from the Active sites page of the new SharePoint admin center or by using PowerShell | На странице «Удаленные сайты» в новом Центре администрирования SharePoint или с помощью PowerShellFrom the Deleted sites page of the new SharePoint admin center or by using PowerShell |
Примечание
Сайты, связанные с концентратором, можно удалить, как и любой другой сайт на основе их шаблона.Sites associated with a hub can be deleted like any other site based on their template.
См. такжеSee also
Инструкции пользователя по удалению сайтов и подсайтовUser instructions for deleting sites and subsites
Как удалить страницы из поиска Google
Инструменты для веб-сайта Гугла помогают решать самые разнообразные проблемы по оптимизации сайта. Добавляя свой сайт в панель веб мастеров, мы не всегда рассматриваем и изучаем инструменты, которые там находятся. А очень жаль … они решают такие вопросы, удаление дублей страницы, сео оптимизацию мета тегов и другое.
Мы уже знаем как картинки в аддурилку гугла, чтобы она быстрее проиндексировалась. Иногда необходимо быстро удалить страницу из поиска.Сегодня мы рассмотрим такой инструмент, как «Удалить URL-адрес». Данный инструмент предназначен для удаления страниц из поиска.
Часто на сайте или блоге мы меняем, либо вовсе не удаляем url адреса страниц. Очень важно, чтобы эти старые адреса как можно скорей выпали из поиска.
Также в поиске может находится целая куча дублей страниц и ненужных мусорных. Бороться с такими проблемами чисто ручным способом удаления url из поиска работа не благородная. Для этого существуют другие методы.Но все же, как вариант, можно применять.
Чтобы найти ненужные страницы воспользуемся оператором сайта: домен сайта. По очереди пересматриваем адреса страниц.
Эту проблему решают по-разному. Можно склеить старые адреса страниц через 301 редирект с новыми страницами. На главную. Также настраивают страницу, которая отдает 404 отзыв сервера. Получается, когда пользователь попадает на несуществующий URL, то его перекидает на страницу 404.Собственно, она дает понять поисковой системе, что такого адреса и страницы не существует и их нужно выбросить из поиска.
Все эти способы реально и их нужно использовать. Но самый быстрый способ удалить страницу из поиска — это обратиться к инструменту для вебмастеров от Google «Удалить URL-адрес». Благодаря этому инструменту страница пропадает из поиска в течение нескольких дней. Заметим, что при использовании предыдущих вариантов несуществующий url может оставаться в поисковой выдаче несколько месяцев.Другой вариант — заказать техническую поддержку сайта и довериться опытным веб мастерам.
Недостаток инструмента в том, что все действия по удалению нужно осуществлять в ручном режиме отдельно с каждой страницы.
Самый позитивный момент в том, что от вас не требуется каких то особенных знаний. Открываем панель инструментов для вебмастеров от Гугла и выбираем раздел «Индекс Google». Потом переходим к пункту «Удалить URL-адрес». Появляется форма добавления url адреса.В эту форму добавляем по очереди все страницы, которые необходимо удалить из поиска.
ВАЖНО! Если какие-либо повторно используемые страницы появляются в выдаче Гугла, обязательно закройте их индексции в robots.txt.
На сегодня все. Буду благодарен за комментарии и вопросы)
Автор статьи: Василий Лотыш
Seo специалист, интернет-маркетолог, эксперт по технической оптимизации сайта.Добавление страниц на ваш сайт — ArcGIS Hub
Страница — это веб-страница, которая связывает с сайтом и использует его верхний и нижний колонтитул и домен для обеспечения согласованности содержимого сайта.Вы можете использовать страницы, чтобы расширить назначение вашего сайта с помощью связанных тем и ресурсов.
Подсказка:
Если компоновка вашего сайта содержит несколько разделов текста и подумайте об использовании страниц, чтобы организовать материалы по темам. Это поможет сохранить загрузку и производительность вашего сайта и даст посетителям возможность изучать содержание в своем собственном темпе.Ключевой рабочий процесс
Перед началом работы просмотрите рекомендованный рабочий процесс для создания и публикации страниц сайта или инициатив.
Создание страницы
Вы можете создать неограниченное число страниц и добавить одну и ту же страницу на несколько сайтов или инициатив, чтобы соответствующее содержание было доступно в нескольких местах.
- Откройте сайт в режиме редактирования.
- На боковой панели щелкните кнопку страниц.
- Щелкните Новая страница, введите имя страницы и щелкните Далее.
Указанное имя также используется для автоматического создания URL-адреса страницы. Пробелы заменяются дефисами, все специальные символы удаляются. Все URL-адреса страниц начинаются с / pages /. О редактировании URL-адреса см. Редактирование URL-адреса страницы.
- Сохранить Сохранить. Элемент Hub Page добавлен в ArcGIS Online и автоматически опубликован для группы основной команды и ресурсов сайта или инициатив. Более подробно о том, кто может видеть и редактировать страницу, см. Публикация страниц.
- Далее добавьте краткую информацию для новой страницы, а затем добавьте страницу как ссылку меню на сайт.
Открытие страницы в режиме редактирования
Чтобы отредактировать страницу, выполните следующие действия.
Из окна
Чтобы открыть страницу в режиме редактирования из окна, выполните следующие шаги:
- Откройте URL-адрес страницы в новом окне и щелкните на глобальной панели навигации сайта.
- Щелкните кнопку редактирования, чтобы открыть редактор сайтов.
Чтобы войти и редактировать, глобальная навигация должна быть включена и вы должны войти в основную команду сайта, иметь права администратора или быть исходным владельцем сайта или инициативы.
Из ArcGIS Hub
Если глобальная навигация отключена для сайта, вы можете открыть сайт из ArcGIS Hub:
- Войдите в ArcGIS Hub на hub.arcgis.com.
- На странице щелкните Управлять карточкой Cайты или Инициативы.
- Щелкните на странице сайта или инициативы, чтобы открыть редактор сайта.
- Нажмите кнопку и выберите страницу списка страниц сайта.
Из ArcGIS Online
Чтобы открыть сайт в режиме редактирования из ArcGIS Online, выполните следующие шаги:
- Войдите в ArcGIS Online.
- Найдите элемент Страница Hub в разделе Ресурсы.
- Щелкните элемент, чтобы открыть Информацию об элементе и щелкните Настроить приложение.
Добавить существующую страницу
Вы можете добавить страницу, созданную вами для другого сайта или инициатив, или страницу, опубликованную для вашей основной команды или организации. Также можно добавить страницы, опубликованные для общего доступа.
Страницы, добавленные на несколько ресурсов или инициатив, не публикуются автоматически для группы ресурсов и группы основных команд текущего сайта, поэтому они не появятся в результатах поиска на сайте или при использовании групп по умолчанию для заполнения карточки галереи.
- Откройте сайт в режиме редактирования.
- На боковой панели щелкните кнопку страниц.
- Щелкните страницу, щелкните на имени страницы и укажите.
- Дополнительно, обновите slug страницы.
- Щелкните страницу ссылок.
Для просмотра страницы щелкните на ее имени на боковой панели в списке ниже Главной.
Включение краткой информации на странице
Краткая информация о появляется в результате поиска и публикации ссылок на странице в социальных сетях.
Страницы появляются в результатах поиска сайта в коллекции Документы. Только люди, которые имеют доступ к страницам (участники основной команды, вашей организации или общественность), могут просматривать страницы в результатах поиска.
- В режиме редактирования сайта щелкните кнопку страниц.
- В списке щелкните страницу, которую хотите редактировать.
- Щелкните Информация о странице.
- Введите сводку в поле Краткая информация страницы.
- Сохранить Сохранить.
Редактирование URL-адреса страницы
Текст в конце URL-адреса страницы называется «описательная часть (slug)». Ее можно изменить, чтобы она соответствовала требованиям вашей организации.
Полный URL-адрес страницы будет в следующем формате: data. [Your-org] .opendata.arcgis.com / pages / [your-page].
- В режиме редактирования сайта щелкните кнопку страниц.
- В списке щелкните страницу, которую хотите редактировать.
- Щелкните Информация о странице.
- Введите описательную часть (слаг) в поле Описательная часть страницы.
- Сохранить Сохранить.
Добавление ресурсов на страницу
Для добавления ресурсов на страницу убедитесь, что элементы или элементы, которые вы хотите показать на странице, добавлены в библиотеке ресурсов сайта или инициатив. Более подробно о добавлении ресурсов см. Как я могу добавить ресурсы.
После того, как вы предоставите ресурсы, добавленные в библиотеку ресурсов, можно при помощи перетаскиваниячек создать дизайн компоновки картоично аналог тому, как компоновку можно разработать на сайте.
Однако вы не можете редактировать верхний или нижний колонтитул страницы, так как они унаследованы от страницы.
- На боковой панели щелкните кнопку страницы в верхнем углу.
- В списке щелкните страницу, которую хотите редактировать.
- В редакторе страниц перетащите карточку строки в компоновку страницы, чтобы начать оформление страницы.
Подсказка:
Определенные карточки, включая карточку галереи, автоматически заполняются применимыми элементами, указанными в группе ресурсов или группой основных команд сайта или пользователей (библиотеке ресурсов).Если вы хотите добавить дополнительные элементы на страницу, используйте выборку вручную, если ее поддерживает, или добавьте элемент или группу при помощи библиотеки ресурсов сайта. Однако обратите внимание, что только элементы, опубликованные в библиотеке ресурсов сайта, можно использовать в результатах поиска на сайте. - Проверьте, что ресурсы, отображаемые на сайте, доступны для аудитории. Более подробно см. раздел Настройка элементов управления общим доступом.
- Щелкните Вид для предварительного просмотра страницы.
- Сохранить Сохранить.
Публикация страниц
Каждая страница содержит собственные элементы управления общим доступом, так что вы можете опубликовать страницу для определенных групп, включая основную команду и дополнительные команды, и широкую публику. Более подробно см. раздел Настройка элементов управления общим доступом.
Вы можете публиковать страницу иначе, чем она опубликована на сайте.Например, на общедоступный сайт можно добавить закрытую страницу для общего доступа. Только те участники, для которых была опубликована страница, могут видеть ее после входа в ArcGIS Hub. Ресурсы, опубликованные на странице, такие как веб-карты и наборы данных, также должны быть опубликованы для частного доступа.
Добавление ссылок меню
Добавьте ссылки на страницу с сайта или других страниц при помощи меню или HTML.
Используйте ссылки меню
Вы можете добавить ссылку на страницу на сайте, используя ссылки в заголовке сайта. Более подробно см. Настроить глобальную навигацию и ссылки меню.
Используйте HTML
Чтобы создать гиперссылку на странице використовуйте синтаксис HTML . Использование в теге относительного, а не абсолютного пути, предотвратит полное обновление страницы при щелчке по этой ссылке.
- Добавьте текстовую карту или открывающую карту на макете страницы и щёлкните Вид кода на панели инструментов.
- Вставьте тег , где вы хотите, чтобы ссылка была.
- Вставьте описательную часть URL-адреса для страницы, которую хотите добавить между атрибутом href = «» вашего тега , например, Посетите связанную страницу .
- Щелкните Сохранить на панели редактирования, чтобы подтвердить изменения, и щелкните, чтобы протестировать новую ссылку.
Подсказка:
Для того, чтобы ссылка была сразу открыта в новой вкладке, добавьте target = «_ blank» после своего атрибута href в теге .
Удаление ссылок на страницу или окончательное удаление
Чтобы убрать с сайта или инициатив ссылку на страницу, щелкните кнопку рядом с именем страницы на боковой панели. Страница будет оставаться с другими сайтами, если она добавлена в несколько мест.
Удаление страницы не удаляет ее окончательно. Если вы хотите совсем удалить страницу, щелкните кнопку удаления. Элемент Hub Page будет окончательно удален из ArcGIS Online и из любых групп, для которых он был опубликован.
Отзыв по этому разделу?
Удаление страниц из индекса Гугл и Яндекс
И сразу к сути — к действенным и проверенным способом удаления страничек из индекса поисковиков:
1. С использованием онлайн-инструмента для Вебмастеров.
Самый логичный вариант изъятия из индекса веб-страниц — это использование сервисов поисковых систем — Я.Вебмастера и гугловского WebmasterЯндекс.Вебмастер — онлайн-сервис компании Яндекс, предназначенный для владельцев и веб-мастеров сайтов. Выполнен как панель инструментов, помогающая в настройке… Перейти к словарю терминов ИнструментыЦентр вебмастеров Гугл или инструменты Google для веб-мастеров (часто используется сокращение GWT) — сервис Google с набором инструментов для владельцев, администраторов,… Перейти к словарю терминов
Разбираем подробнее, как это делать в Гугле и Яндексе.
Заходим в сервис Гугла, переходим в раздел «индексИндексация — добавление процедуры данных о веб-ресурсе в общую поисковую базу.Индексирование выполняет роботПоисковый робот (бот, веб-паук, краулер) — программное обеспечение, часть поисковой машины, используемая для перебора веб-страниц для их занесения (вместе с… Перейти к словарю терминов поисковика. Работы по SEO делятся на проработку… Перейти к словарю терминов Google «, там выбираем подраздел» удалить URLUniform Resource Locator или сокращенно URL — это стандартизированный, принятый повсеместно способ прописки адреса веб-сайта в глобальной сети. В дословном переводе термин… Перейти к словарю терминов -адреса «. Навигационное меню расположено справа. Затем выбираем пункт на страничке — «создать запросЗапрос — слово или символ, вводимое в строку выдачи. Используется расширенный поиск: 1) Оператор «+» (или кавычки) перед требуемым словом ищет… Перейти к словарю терминов на удаление «. Сюда вставляем» Урл «, который нам не нужен в индексе. И подтверждаем запрос.
Все, эта страница теперь добавлена очередь на удаление и находится в статусе ожидания. Единственный логичный вопрос — сколько времени ждать? Долго не придется.Уже через несколько часов — до 8 — вместо статуса «ожидания» появляется «завершено».
Данный способ прост и удобен одновременно. Даже если нужно удалить большое число страничек из индекса, то особо много времени на это потребуется. На собственной практике таким способом удалили более 1000 страничек — да, немного рутинно, но не сложно.
В Яндексе нужно перейти в раздел «Удалить URL». По аналогии с сервисом Гугла следует добавить нужный адрес в специальную кнопку и нажать на кнопку «Удалить».
В результате может быть получен ответ, что основание для удаления нет, чтобы ускорить выполнение изменений в файле Роботс (запретить индексцию) или настроить ошибку 404Ошибка 404 или Не найдено означает, что запрашиваемый ресурс может быть доступен в будущем, что гарантирует не прежнее содержание, а на данный момент доступа к нему… Перейти к словарю терминов. Следовательно, с Яндексом придется немного «потрудиться», выполнив его рекомендации.
Эти же способы — с файлом Роботс и ошибкой 404 сами по себе — альтернативный способ удаления страничек из индекса.Так что их мы также рассмотрим.
2. Роботы. текст
Данный файл — важнейший и нужнейший инструмент, если вопрос касается запрета или разрешения всего веб-ресурса и отдельных веб-страниц / разделов поисковыми роботами.
За запрет индексации либо определенные параметры веб-ресурса в файле Роботс нужно прописывать функцию «Disallow:». Указав после этого URL-адреса одной страницы — вы исключите адрес индекса только её. Также можно ограничивать индексцию целого раздела.
Ещё одна важная особенность — Роботс учитывается обоими ведущими поисковиками Рунета — и Яндексом, и Гуглом.
Примеры прописывания функции:
Агент пользователя: *
Запрещено: /page1.html
Агент пользователя: *
Disallow: site.ru/razdel
Выполнить эти операции под силу каждому. В целом масса ссылок на ссылки (не имеющие тега «nofollow»), которые содержат направления юзеров на какой-либо ресурс.Ссылочная… Перейти к словарю терминов технических нюансов, знаниеНабор формул, в соответствии с которой осуществляется выдачи и ранжирование веб-страниц. Основная задача алгоритма ПС — проверитьПерейти к словарю терминов, которые помогут и сеошнику, и оптимизатору, и просто веб-мастеру.
3. Ошибка 404
Ещё один способ запретить индексироватьКэш поисковика (в переводе с английского «тайник») — весь перечень данных, установленся в данный момент в поисковой системе. Информация, считанная,… Перейти к словарю терминов страницу — создать для нее 404. В данном случае при следующем приходе поискового бота по данному адресу и получению ошибки сервера 404 автоматически происходит удаление веб-странички из индекса сервера 404.
Ответ с данной ошибкой от сервиса задается по умолчанию. В результате на веб-ресурсе может появиться много дублей, что негативно скажется на раскрутке и помешает эффективному наращиванию трафика.
Использование данного метода удаления страничек из индекса потребует больше времени.По сути нужно ждать, пока боты снова не придут по этому адресу.
Описанные выше методы — основные и используемые чаше всего. Но на практике периодически прибегают и к другим вариантам, а именно:
использование тега robotsRobots.txt (в русскоязычной транслитерации - "роботс") - файл, позволяющий регулировать индексцию веб-ресурса ведущими поисковиками. Этот текстовый документ… Перейти к словарю терминов;
редиректу 301Случается такое, что веб-страница или весь сайт целиком переезжает на новый URL-адрес навсегда. 301 редирект - это перенаправление на другой адрес сайта. Редирект… Перейти к словарю терминов;
X-robots-Tag.
Если вам необходим 100% эффект, то лучше использовать три метода сразу — сервисы вебмастеров, настройку файла Роботс и 404-ую ошибку. Это ускорит процесс.
Ещё одна альтернатива — собственно удаление страницы с постановкой заглушки. Правда, оперативному удалению из индекса это не обеспечение, так что лучше помочь поисковикам описанными действиями.
Удаление веб-сайтов из предлагаемого списка в адресной строке
Когда вы начинаете набирать текст в адресной строке, Firefox отображает выпадающий список предлагаемых сайтов. В этой статье описывается, как удалить отдельные записи или все записи из истории адресной строки.
Примечание: Нажав на адресную строку, вы видите раскрывающийся список топ-сайтов по умолчанию. Чтобы узнать больше, прочитайте статью Настройка ваших Топ-сайтов.- убрать одну запись из истории адресной строки, щёлкните по стрелке, чтобы выпадающего списка в адресной строке.наберите или вставьте достаточно текста для того, чтобы Firefox показал элемент в раскрывающемся списке.
- Нажмите кнопку со стрелкой ↓ или переместите мышь, чтобы выполнить записи истории просмотра или Поиска для удаления.
- Чтобы очистить выделенный элемент, заделать Shift и нажать Удалить на клавиатуре.
- Щёлкните по кнопке Библиотека на вашей панели инструментов. (Если вы не видите её там, щёлкните по кнопке меню , а затем щёлкните по).Щёлкните по, и затем щёлкните по панели Показать весь журнал в нижней части, чтобы открыть окно Библиотеки.
- В верхнем верхнем углу наберите имя веб-сайта, о котором вы хотите забыть, в поле Поиск в журнале и нажмите EnterReturn.
- Щёлкните правой кнопкой мышиУдерживая управление Control, щёлкните мышью
по сайту, о котором вы хотите забыть, и выбрать.
- Закройте окно Библиотека.
- Щёлкните по кнопке меню , щёлкните по, а затем щёлкните по.
- Щёлкните по, чтобы открыть диалоговое окно.
- В окне Удаление недавней истории истории Удалить: во Всё .
- Чтобы удалить историю просмотра, убедитесь, что отмечен рядом с Журнал посещений и загрузок . Чтобы удалить Историю поиска, отметьте флажок рядом с Журнал форм и поиска .
- Чтобы удалить все группы в истории адресной строки, нажмите Удалить сейчас.ОК.
- Чтение занимает 2 мин
В этой статье
Как глобальный администратор или администратор SharePoint в Microsoft 365, вы можете временно удалить элементы из результатов поиска сленным немедленным выполнением. Как глобальный администратор или администратор SharePoint в Microsoft 365, вы можете временно удалить элементы из результатов поиска с немедленным вступлением в силу.Элементы, которые можно удалить, могут быть документами, страницы или сайты, которые не должны видеть пользователей. Элементы, которые вы можете удалить, могут быть документами, страницами или сайтами, которые вы не хотите, чтобы пользователи видели. Организатор еще не удалил документ с сайта. Примером этого может быть документ Word, содержащий приглашение на мероприятие, которое было отменено, но организатор еще не удалил документ с сайта.При удалении результата он удаляется как из классического, так и из современного результатов поиска. При удалении результата он удаляется как из классических, так и из современных результатов поиска.
Важно!
Это только быстрое исправление! Если вы не удалите элементы или не измените разрешения элементов вручную, они снова появятся в результатах поиска после следующего сканирования.
- Перейдите на страницу «Дополнительные функции» в новом Центре администрирования SharePoint и войдите, используя страницу «Дополнительные функции» в новом центре администрирования SharePoint. Перейдите на страницу «Дополнительные функции» в новом центре администрирования SharePoint и войдите в систему, используя учетную запись с правами администратора для вашей организации.
В разделе Поиск нажмите кнопку Открыть . В разделе Поиск выберите Открыть .
На странице « Администрирование поиска » выберите результаты поиска .На странице администрирования поиска выберите Удалить результаты поиска .
На странице « Удаление результатов поиска » в поле Удалить URL-адрес введите URL-адрес, который требуется удалить из результатов поиска. На странице Удалить результаты поиска в поле URL-адреса для удаления введите URL-адреса, которые вы хотите удалить из результатов поиска. Введите по одному URL-адресу в каждой строкее.Введите по одному URL-адресу в каждой строке.
Нажмите кнопку Удалить . Выберите Удалить сейчас . URL-адреса сразу же удаляются из результатов поиска. URL-адреса немедленно удаляются из результатов поиска.
Создание / добавление, изменение и удаление сайтов
Создание / добавление, изменение и удаление сайтов
На этой странице:
Создание / добавление сайта
Чтобы создать сайт:
- На линейке инструментов раздела «Мой
сайт «нажмите
Мои сайты
. - Вверху страницы, нажмите
Новый
. - Под надписью «Создание нового сайта» используйте переключатель
рядом с
веб-сайт курса
,веб-сайт проекта
иливеб-сайт портфолио,
чтобы выбрать тип сайта, надо создать. Для сайта курс также понадобится задать семестр: використовуйте выпадающий список для выбора. - Нажмите
Продолжить
.
Сайт курса
Чтобы создать сайт курса, следуйте инструкциям (для создания сайта проекта, продолжить к Сайт проекта):
- Под надписью «Создание нового сайта курса» выбрать группу, чтобы включить ее в курс, поставив флажок напротив нужной группы.
- Чтобы добавить список студентов, которого нет на странице, нажмите
Добавить курс и / или группу, не приведенную на странице
. - Нажмите
Продолжить
. - Если вы решили добавить список студентов, которого нет на странице, то
нужно вручную получать информацию о курсе в нескольких полях. Чтобы добавить
более одного списка студентов, в выпадающем списке «Добавить еще список студентов, в выпадающем списке»
студентов «, материалы, которые нужно добавить.
необходимо ввести ID пользователя, подтвердит, что вы можете добавить
этот курс или группу на сайт (например, глава учебного отдела или предыдущий
преподаватель).Письмо с запросом авторизации будет отправлено этому пользователю.
Нажмите
Продолжить
. - Краткое описание краткого краткого описания. описание сайта. Подробное описание появится на странице сайта, краткое будет видно в списке всех сайтов системы.
- чтобы изменить внешний вид вашего сайта, чтобы выбрать скин из выпадающего список «Иконка».
- В тектовых полях «Контактное лицо:» и «Контактный адрес электронной почты почты: «введите ID и адрес электронной почты пользователя, с которым участники могут связываться, если у них возникнут или вопросы о работе сайта.
- Нажмите
Продолжить
. - Под надписью «Инструменты» поставьте флажок напротив названий
инструментов, которые необходимо добавить на сайт. Если вы выберете следующие
инструменты, то появится форма для дополнительной информации:
- Архив электронной почты: Введите псевдоним электронной почты
почты (например, ID пользователя) для почтового адреса сайта и нажмите
Продолжить
. - Новости: Выберите название и URL для страницы новостей.
Чтобы добавить больше страниц, используйте выпадающий список «Добавить
еще одну страницу новостей «, нажмите
Продолжить
. - Веб-ресурсы: Введите название ресурса и URL. Чтобы добавить больше ресурсов, используйте выпадающий список «Добавить еще одну страницу веб-ресурсов «.
- Архив электронной почты: Введите псевдоним электронной почты
почты (например, ID пользователя) для почтового адреса сайта и нажмите
- Вам будет предложено использовать материал с других сайтов, имеющий
вы владеете. Выберите один из вариантов:
-
Нет, спасибо.
-
Да, с этих сайтов:
Используйте прокручивающееся меню для выбора сайтов, материалы которых нужно использовать.
-
- Нажмите
Продолжить
. - Под надписью «Статус сайта» выбрать
Опубликовать сайт,
, чтобы сделать его доступным для участников. Если пока не нужно опубликовывать сайт, это можно сделать через инструментНастройки
. Подробные инструкции смотри в Опубликование сайта.Можно также разрешить публичный доступ к сайту:
- Поставьте флажок рядом с
Стать участником сайта может любой зарегистрированный в системе пользователь
. - Используйте выпадающий список для выбора ролей, которые будут назначаться пользователям, которые заходят на ваш сайт.
- Поставьте флажок рядом с
- Нажмите
Продолжить
. - Под надписью «Подтвердите настройки вашего сайта» находится
информация о создаваемом сайте. Если нужно внести изменения, нажмите
Назад
. Если информация верна, нажмитеЗапросить сайт,
чтобы отправить запрос о создании сайта.
Сайт проекта
Чтобы создать сайт проекта, следуйте инструкциям:
- Под надписью «Создание нового сайта курса» выбрать группу, чтобы включить ее в курс, поставив флажок напротив нужной группы.
- Краткое описание краткого краткого описания. описание сайта. Подробное описание появится на странице сайта, краткое будет видно в списке всех сайтов системы.
- Чтобы добавить иконку на сайт, введите ее URL в поле «Ссылка на иконку»:
- В текстовых полях «Контактное лицо:» и «Контактный адрес электронной почты почты: «введите ID и адрес электронной почты пользователя, с которым участники могут связываться, если у них возникнут или вопросы о работе сайта.
- Нажмите
Продолжить
. - Под надписью «Инструменты» поставьте флажок напротив названий
инструментов, которые необходимо добавить на сайт.Если вы выберете следующие
инструменты, то появится форма для дополнительной информации:
- Архив электронной почты: Введите псевдоним электронной почты
почты (например, ID пользователя) для почтового адреса сайта и нажмите
Продолжить
. - Новости: Выберите название и URL для страницы новостей.
Чтобы добавить больше страниц, используйте выпадающий список «Добавить
еще одну страницу новостей «, нажмите
Продолжить
. - Веб-ресурсы: Введите название ресурса и URL. Чтобы добавить больше ресурсов, используйте выпадающий список «Добавить еще одну страницу-ресурсов «.
- Архив электронной почты: Введите псевдоним электронной почты
почты (например, ID пользователя) для почтового адреса сайта и нажмите
- Вам будет предложено использовать материал с других сайтов, имеющий
вы владеете. Выберите один из вариантов:
-
Нет, спасибо.
-
Да, с этих сайтов:
Используйте прокручивающееся меню для выбора сайтов, материалы которых нужно использовать.
-
- Нажмите
Продолжить
. - Под надписью «Статус сайта» выбрать
Опубликовать сайт,
, чтобы сделать его доступным для участников. Если пока не нужно опубликовывать сайт, это можно сделать через инструментНастройки
. Подробные инструкции смотри в Опубликование сайта. - Чтобы выбрать, кто из участников имеет доступ на сайт, можно выбрать одну
из двух опций «Публичный доступ»:
- Скрытый: Только участники, которых вы добавили, могут видеть ваш сайт.
- Отображать мой сайт в директории установить совместный доступ к выбранным файлам: Людой участник, авторизованный для входа в системе, можно увидеть ваш сайт и иметь доступ к разрешенным файлам.
Можно также разрешить публичный доступ к сайту:- Поставьте флажок рядом с
Стать участником сайта может любой зарегистрированный в системе пользователь
. - Используйте выпадающий список для выбора ролей, которые будут назначаться пользователям, которые заходят на ваш сайт.
- Нажмите
Продолжить
. - Под надписью «Подтвердите настройки вашего сайта» находится
информация о создаваемом сайте. Если нужно внести изменения, нажмите
Назад
. Если информация верна, нажмитеЗапросить сайт,
чтобы отправить запрос о создании сайта.
Изменение сайта
Чтобы изменить созданный сайт:
- На линейке
инструментов раздела «Мой сайт» нажмите
Мои сайты
. - Отметьте флажком название сайта, который нужно изменить и нажать
Изменить
. - Используя ссылки вверху страницы, выбрать настройку, которую нужно изменить
на сайте:
- Чтобы изменить название сайта, подробное или краткое описание, иконку,
контактное лицо или контактный адрес электронной почты, нажмите
Информация о сайте.
- Чтобы добавить или удалить инструменты на сайте, нажмите
Инструменты
. - Чтобы изменить настройки доступа к сайту, выбрать, кто может увидеть
сайт в списке, установить роли по умолчанию для пользователей, заходящих
на сайт, нажмите
Доступ к сайту
. - Чтобы добавить участников и присвоить им роль роли, нажмите
Добавить участников
. - Чтобы сделать точную копию сайта, которая содержит только материал, добавленный преподавателем, нажмите
Дублировать сайт
. - Чтобы добавить материал с другого вашего сайта, нажмите
Импорт с другого сайта
.Внимание: Можно использовать материал только с того сайта, которым вы владеете. Можно совмещать материал с разных сайтов.
- Чтобы нажать импортировать материал из файла,
Импорт из файла
.
- Чтобы изменить название сайта, подробное или краткое описание, иконку,
контактное лицо или контактный адрес электронной почты, нажмите
Удаление сайта
Чтобы удалить свой сайт:
- На линейке инструментов раздела «Мой
сайт «нажмите
Мои сайты
. - Поставьте флажок рядом с названием сайта, который нужно удалить.Затем
вверху страницы нажмите
Удалить
.Внимание: При удалении сайта безвозвратно удаляются все его материалы. Никто больше не будет иметь доступа к сайту.
- Нажмите
Удалить
.
Как удалить URL из поисковой системы Google
Если на вашем сайте есть страницы, проиндексированные в Gooogle, которые вы хотите удалить, первым делом нужно изменить сайт. Вы можете удалить страницы, заблокировать их просмотр роботом Googlebot или включить в них тег, который говорит Google не индексировать их.
- 410 Gone — удаление страниц со статусом 410 позволяет роботу Google удалить их из индекса, как только он сканирует их в следующий раз.
- 404 Not Found — робот Googlebot удалит URL-адрес 404 по истечении 24 льготных периодов при сканировании.
- Тег noindex — если страница все еще доступна на сайте, но не должна быть проиндексирована, включите ее
- Защита паролем — Защитите информацию, запрашивая логин или пароль для доступа к ней. В этом случае Google может проиндексировать URL, но не сможет проиндексировать контент.
Запретить в robots.txt — вы можете запретить роботу Googlebot сканировать страницы, добавив
Disallow: / mypage
в robots. txt. Google обычно не индексирует страницы, которые не может сканировать, и никогда не индексирует их содержание.Однако Google может показывать URL в результатах поиска без какого-либо фрагмента:Если вы удалили страницу или добавили
noindex
тег, важно разрешить роботу Googlebot сканировать страницу. Если вы также запретите сканирование в файле robots.txt , робот Googlebot не сможет увидеть, что ваша страница должна быть удалена. Не запрещайте страницы в robots.txt, , если вы также реализовали другой метод из этого списка.
Робот Googlebot должен возвращать и сканировать страницы, прежде чем они будут удалены.Этот процесс может занять пару месяцев , особенно для многих страниц, которые не очень популярны. Если вы хотите ускорить процесс, войдите в консоль поиска Google и используйте функцию Fetch as Google для каждого URL. Обратите внимание, что это ручной процесс с квотой в десять запросов в день, поэтому он не будет работать для большого количества URL-адресов.
У Google также есть инструмент Удалить URL-адрес в консоли поиска, который может временно удалить URL-адреса или каталоги из Google на 90 дней.Вы можете использовать этот инструмент для быстрого удаления URL-адресов из результатов поиска, прежде чем робот Googlebot сможет их сканировать.
Даже после удаления URL-адресов из результатов поиска Google, Google все равно может отображать URL-адреса как ошибки в консоли поиска Google. Пока Google находит ссылки на URL-адреса, они могут использовать как ошибки после того, как они имеют статус 404 или 410. Это совершенно нормально и не повредит другим страницам на вашем сайте.Посмотрите, что говорит Джон Мюллер из Google об ошибках сканирования для стабильной информации.
.