Запрет индексации текста: Как запретить индексацию часть текста на странице для гугл и яндекса? — Хабр Q&A

Содержание

Запрет индексации текста и ссылок сайта, noindex и атрибут rel=»nofollow»

Тег <noindex> – это HTML-тег, который работает только для Яндекса и  запрещает ему индексировать какую-то область страницы сайта. Для поисковой системы Google этот тег не работает. В Google вообще не предусмотрена возможность исключения части текста страницы из индекса.

Многие вебмастера заблуждаются при установке тега <noindex> и атрибута rel=”nofollow” Большинство даже не понимает для чего они нужны и как они работают. Среди владельцев сайтов бытует мнение, что ссылка, помещенная в тег <noindex>, не будет учтена поисковым роботом. Это ошибочное мнение. Запомните, всё, что находится внутри тега <noindex>, будет прочитано и проанализировано роботом Яндекса. И ссылки не являются исключением. Единственное отличие размещенных обычным образом ссылок от ссылок в теге <noindex> – это то, что текст (анкор) ссылки не будет проиндексирован. А вот вес страницы со ссылкой будет передаваться сайту, на который ведёт ссылка.

На помощь вебмастерам, которым необходимо, чтобы робот всё же не учитывал ссылки со страниц, приходит атрибут rel=”nofollow”, который работает как для Яндекса, так и для Google. При использовании этого атрибута ссылка всё равно будет изучена роботом и по ней будет произведён переход, но без nofollow по ссылке будет передан вес адресату, а с nofollow вес будет сгорать.

Посмотрите, как это выглядит на примере:

  1. <noindex><a href=”http://site.ru/”>Создание сайтов</a></noindex>   – Яндекс не индексирует анкор, но учитывает ссылку на site.ru и передает по ней вес.
  2. <noindex><a href=”http://site.ru/” rel=”nofollow”>Создание сайтов</a></noindex>  – Яндекс не индексирует анкор и не передает вес по ссылке на site.ru

Тег <noindex> можно прописывать двумя способами:

  1. <noindex>Текст, запрещённый к индексированию</noindex>
  2. <!–noindex–>Текст, запрещённый к индексированию<!–/noindex–>

Второй вариант более верный. Так как тег <noindex> не входит в официальную спецификацию языка разметки HTML, то его присутствие в коде может вызвать недопонимание у других поисковых систем, которые будут считать его наличие за ошибку. Чтобы сделать код страницы валидным, для всех поисковых роботов рекомендуется использовать закомментированный вариант написания. Яндекс такое написание распознает, а другие поисковые роботы не будет обращать внимание на его присутствие.

Метатеги <meta name=”robots” content=”noindex”/> и <meta name=”robots” content=”nofollow”/>

Использование метатега noindex в коде страницы запрещает Яндексу (Google, опять же, в данном случае не участвует) индексировать всё текстовое содержимое страницы, ссылки при этом будут проанализированы в полной мере. То есть наличие в коде страницы этого метатега не равнозначно закрытию страницы от индекса в robots.txt.

Наличие в коде страницы метатега nofollow запрещает поисковым системам индексировать ссылки на страницах. Переходить по ссылкам со страницы при наличии этого метатега роботы также не будут. Но вот что написано в помощи Яндекса:

“Робот не посетит документы, если ссылки на них стоят со страницы, содержащей метатег со значением nofollow, тем не менее, они могут быть проиндексированы, если в других источниках на них указаны ссылки без nofollow”

Подведём итоги

Тег <noindex> используем только для того, чтобы запретить роботам Яндекс выдавать информацию в выдаче.

Если мы хотим, чтобы вес ссылки не передавался адресату, то используем атрибут nofollow. При этом не забываем, что робот всё равно пройдёт по ссылке и проанализирует страницу, на которую она ссылается. Метод работает как для Яндекс, так и для Google.

Источник: 1ps.ru

 

Статья была полезной?

Необходимость закрытия страниц от индексации

Необходимость закрытия страниц от индексации и как это сделать

Авторитетный специалист в области SEO Everett Sizemore рекомендует устанавливать постоянный или временный запрет на индексирование страниц с неэффективным контентом. После того, как содержание страниц будет переписано, их делают доступными для индексирования.

Некачественный контент может являться результатом устаревших SEO тактик, таких как генерация текстов, индексация результатов внутреннего поиска, фасетная навигация. Крупные интернет-магазины могут содержать тысячи страниц с неинформативным контентом или описаниями продукции, составленными ее производителем, а также страницы, вообще не содержащие контента. Автор статьи советует закрывать такие страницы от индексации, если пользователи не посещают их, не кликают на ссылки, не делятся ими и не покупают товары. 

Это проводится для улучшения процесса краулинга и объединения метрик страницы на более важных страницах сайта. Некачественный контент негативно влияет на ранжирование всего сайта, поэтому необходимо либо улучшить его, либо избавиться от него с помощью удаления, перенаправления, установки кодов  404/410, мета-тега “Robots Noindex” и других способов в зависимости от ситуации.

Если предположить, что проиндексировано намного больше URL адресов страниц, чем категорий и артикулов, имеющихся на сайте (что бывает очень часто, так как в индекс попадают страницы пагинации, служебные страницы и т. д.), то запрет на индексирование таких страниц, скорее всего, позволит увеличить доход при сравнительно небольшом вложении инвестиций.

ВАРИАНТЫ УСТАНОВЛЕНИЯ ЗАПРЕТА НА ИНДЕКСАЦИЮ

Временный запрет на индексацию с оставлением страницы в каталоге

Можно временно запретить индексировать страницы, оставив их на сайте, используя мета-тег <META NAME=»ROBOTS» CONTENT=»NOINDEX, FOLLOW»>

Это хорошее решение для крупных сайтов, написание контента для которых занимает несколько месяцев. Например, для интернет-магазинов, где в качестве описания товаров используются тексты, составленные их производителями.

Временное удаление страницы как из индекса, так и из каталога

Оно производится так же, как описано выше, а также осуществляется удаление страницы с товаром из навигации сайта и внутренних результатов поиска. Таким образом, прямые ссылки будут продолжать вести на страницу, Google будет продолжать обращаться к URL (вероятно тем реже, чем дольше он остается неиндексируемым), и доступ пользователей к этой странице сохраняется.
В качестве примера может служить страница товара, длительное время отсутствующего на складе, продажи которого начнутся в следующем сезоне.

Постоянное исключение из индекса с оставлением в каталоге

В зависимости от ситуации постоянное исключение из индекса можно реализовать различными способами. Например, можно сделать, чтобы URL адреса не индексировались Google, и при этом можно запретить сканирование или оставить страницы доступными для сканирования. Эти страницы, как правило, выполняют свои функции, и если их полностью удалить с сайта, то пострадает конверсия.

Пример 1: Глубокая фасетная навигация URL адреса по нескольким параметрам.

В определенный момент даже краулинг нужно запретить. В этом случае, атрибут rel=canonical не помогает, поскольку поисковики не индексируют, но продолжают сканирование страниц-дублей. Нужно использовать мета-тег “Robots, Noindex” для запрета индексации текста на таких страницах и подождать, чтобы страницы повторно просканировали.

После того как они больше не индексируются, нужно добавить «Disallow:» в файл Robots.txt.

Пример 2. Объединение двух и более страниц

Иногда в интернет-магазине присутствуют несколько страниц для разных цветовых вариантов одного и того же товара, так как это обеспечивает высокую конверсию со страниц категорий, на которых посетитель может увидеть все варианты цвета сразу. В этом случае можно либо написать уникальные тексты для каждого варианта товара, либо установить  каноническую ссылку с помощью атрибута  «Rel = Canonical», указав поисковым системам адрес страницы, предпочтительной для индексации.

Постоянное исключение как из индекса, так и из каталога

Если вы не хотите, чтобы URL адреса индексировались и были доступны для поисковых систем и покупателей, просто удалите их и установите коды ответа сервера 404 или 410. Альтернативным решением является установка паролей на такие страницы. Менее радикальным, но часто более полезным решением является объединение страниц.

Пример 1. Страница снятого с продаж товара, не имеющая внешних ссылок.
Пример 2. Страницы подкатегорий, на которых нет товаров.

Объединение двух и более страниц

Оно предназначено для передачи трафика и авторитетности одной страницы на другую страницу.

Пример 1. Объединение страниц путем перенаправления одного URL на другой.

Продажа товара Acme Widget 1.0 прекращена. Посвященная ему страница имеет несколько высококачественных внешних ссылок, потому что этот продукт был первый в своем роде. Этот URL-адрес перенаправляется на товар следующего поколения этой линии продукции, Acme Widget 2.0,  и на его странице размещается большая надпись «новый и улучшенный».

Пример 2.  Объединение с использованием атрибута “rel=canonical” , чтобы указать поисковику основную, т.е. каноническую страницу и запретить ему индексировать все  ее дубли. При посещении дубликатов, ссылающихся на основную страницу, их вес/значимость переносятся на главную.

 
Используйте “rel=canonical”, чтобы указать, что /Mens/Accessories/Ties/и / /Accessories/Mens/Ties/, по существу, одна и та же страница (в данном случае, обе страницы остаются в каталоге, хотя есть, конечно, и другие варианты).

Пример 3. Модели, выполненные в разных цветовых вариантах, можно скомбинировать в выпадающих списках вариантов этого товара, если цвет не является важным условием при поиске этого товара. Перенаправления могут выполняться или не выполняться.

Пример 4. Комбинирование контента, чтобы несколько страниц среднего качества стали одной высококачественной страницей.
Например, на сайте есть множество страниц категории «Выхлопные трубы», созданных для всех возможных вариаций ключевых фраз. Они индексируются и есть в карте сайта, но у посетителей нет возможности попасть на эти страницы с помощью навигации. Поскольку вам не нужны 10 страниц категории о выхлопных трубах, эти страницы можно сгруппировать по темам, выбрать из каждого набора самую эффективную страницу и перенаправить на нее другие.

ЧТО ЗАКРЫВАТЬ ОТ ИНДЕКСАЦИИ ВО ВРЕМЯ АУДИТА КОНТЕНТА

Неинформативный «тонкий» контент

Пример 1. Страница товара, единственным описанием которого  является «Сделано в США».
Исключаем из индексирования с помощью мета тега <META NAME=»ROBOTS» CONTENT=»NOINDEX, FOLLOW»> пока не будет добавлен полезный контент.

Пример 2.  Страница категории верхнего уровня без статичного контента.

НЕ закрывать, а как можно скорее добавить полезный контент.
Дублированный контент

Пример 1: Страница товара, содержащая текст, написанный его производителем и дублированный на других сайтах.
Закрыть с помощью  мета-тега <META NAME=»ROBOTS» CONTENT=»NOINDEX, FOLLOW»> пока не будет написан уникальный контент.

Пример 2: Страницы вариантов товара (черный, желтый, зеленый, 6 штук в упаковке, 12 штук в упаковке).
Можно написать уникальный контент для каждого артикула, имеющего собственную страницу или объединить все варианты товара на одной странице с селектором выпадающего списка, а затем перенаправить на нее все остальные страницы или же установить на объединяющую страницу каноническую ссылку с помощью » rel=canonical».

Пример 3: На индексируемых страницах пагинации располагается один и тот же статичный контент.

Необходимо показывать статичный контент только на первой странице и исключить из индексирования остальные URL-адреса с помощью <META NAME=»ROBOTS» CONTENT=»NOINDEX, FOLLOW»>.

Неэффективный контент, в том числе:

  • страницы, не имеющие ссылок;
  • страницы, которыми не делятся;
  • страницы, не дающие трафика;
  • не продающие страницы.

Решение об их удалении или улучшении принимается в зависимости от ситуации.

Страницы товаров, снятых с продажи или долго отсутствующих на складе
В этом случае рассмотрите возможность запрета на индексирование таких страниц. Конечно, было бы заманчиво их оставить из-за трафика, идущего на эти страницы, но лучше перенаправить эти URL на товары следующего поколения (или на страницу ближайшей к ним категории). Эта страница начнет ранжироваться по лучшим ключевым словам, а пользователи не будут попадать на страницу отсутствующего товара. Если на страницу отсутствующего продукта нет ссылок, нет прямого или реферального трафика, то перенаправление будет более эффективным, чем полное удаление страницы с показом кода состояния 404 или 410.

Индексируемые результаты поиска

Автор рекомендует удалить их из индекса, а затем заблокировать их в файле robots.txt. Тем не менее, у автора был клиент, получающий высокий трафик по этим результатам, что не позволило закрыть их от индексации. Каждая ситуация индивидуальна, и один совет подходит не всем, поэтому приведенные выше рекомендации предоставляются только в качестве общего примера.

Статья написана на основании информации с сайта moz.com

Отключение индексов и ограничений — SQL Server

Редактировать

Твиттер LinkedIn Фейсбук Электронная почта

  • Статья
  • 5 минут на чтение

Применяется к: SQL Server База данных SQL Azure Управляемый экземпляр Azure SQL

В этом разделе описывается, как отключить индекс или ограничения в SQL Server с помощью SQL Server Management Studio или Transact-SQL. Отключение индекса запрещает пользователям доступ к индексу, а для кластеризованных индексов — к данным базовой таблицы. Определение индекса остается в метаданных, а статистика индекса хранится в некластеризованных индексах. Отключение кластеризованного индекса для представления или некластеризованного индекса физически удаляет данные индекса. Отключение кластеризованного индекса для таблицы предотвращает доступ к данным; данные по-прежнему остаются в таблице, но недоступны для операций языка обработки данных (DML) до тех пор, пока индекс не будет удален или перестроен.

В этой теме

  • Прежде чем начать:

    Ограничения и запреты

    Безопасность

  • Чтобы отключить индекс, используйте:

    Студия управления SQL Server

    Transact-SQL

Перед началом работы

Ограничения и запреты

  • Индекс не поддерживается, пока он отключен.

  • Оптимизатор запросов не учитывает отключенный индекс при создании планов выполнения запросов. Кроме того, запросы, которые ссылаются на отключенный индекс с табличной подсказкой, завершатся ошибкой.

  • Нельзя создать индекс с тем же именем, что и у существующего отключенного индекса.

  • Отключенный индекс можно удалить.

  • При отключении уникального индекса ограничение PRIMARY KEY или UNIQUE и все ограничения FOREIGN KEY, которые ссылаются на индексированные столбцы из других таблиц, также отключаются. При отключении кластеризованного индекса все входящие и исходящие ограничения FOREIGN KEY для базовой таблицы также отключаются. Имена ограничений перечислены в предупреждающем сообщении, когда индекс отключен. После перестроения индекса все ограничения должны быть включены вручную с помощью инструкции ALTER TABLE CHECK CONSTRAINT.

  • Некластеризованные индексы автоматически отключаются при отключении связанного кластеризованного индекса. Они не могут быть включены до тех пор, пока не будет включен кластеризованный индекс для таблицы или представления или кластеризованный индекс для таблицы не будет удален. Некластеризованные индексы должны быть включены явно, если кластеризованный индекс не был включен с помощью инструкции ALTER INDEX ALL REBUILD.

  • Оператор ALTER INDEX ALL REBUILD перестраивает и включает все отключенные индексы в таблице, кроме отключенных индексов в представлениях. Индексы для представлений должны быть включены в отдельном операторе ALTER INDEX ALL REBUILD.

  • Отключение кластеризованного индекса для таблицы также отключает все кластеризованные и некластеризованные индексы для представлений, которые ссылаются на эту таблицу. Эти индексы должны быть перестроены так же, как индексы в таблице, на которую ссылаются.

  • Доступ к строкам данных отключенного кластеризованного индекса возможен только для удаления или перестроения кластеризованного индекса.

  • Вы можете перестроить отключенный некластеризованный индекс в режиме онлайн, если в таблице нет отключенного кластеризованного индекса. Однако вы должны всегда перестраивать отключенный кластеризованный индекс в автономном режиме, если используете инструкцию ALTER INDEX REBUILD или CREATE INDEX WITH DROP_EXISTING. Дополнительные сведения об операциях с индексами в сети см. в разделе Выполнение операций с индексами в сети.

  • Оператор CREATE STATISTICS не может быть успешно выполнен для таблицы с отключенным кластеризованным индексом.

  • Параметр базы данных AUTO_CREATE_STATISTICS создает новую статистику для столбца, когда индекс отключен и существуют следующие условия:

    • AUTO_CREATE_STATISTICS включен

    • Для столбца нет существующей статистики.

    • Во время оптимизации запроса требуется статистика.

  • Если кластеризованный индекс отключен, DBCC CHECKDB не может вернуть информацию о базовой таблице; вместо этого оператор сообщает, что кластеризованный индекс отключен. DBCC INDEXDEFRAG нельзя использовать для дефрагментации отключенного индекса; оператор терпит неудачу с сообщением об ошибке. Вы можете использовать команду DBCC DBREINDEX для перестроения отключенного индекса.

  • Создание нового кластеризованного индекса включает ранее отключенные некластеризованные индексы. Дополнительные сведения см. в разделе Включение индексов и ограничений.

Безопасность

Разрешения

Для выполнения ALTER INDEX требуется как минимум разрешение ALTER для таблицы или представления.

Использование SQL Server Management Studio

Чтобы отключить индекс
  1. В обозревателе объектов щелкните значок плюса, чтобы развернуть базу данных, содержащую таблицу, для которой вы хотите отключить индекс.

  2. Щелкните значок плюса, чтобы развернуть папку Tables .

  3. Щелкните значок плюса, чтобы развернуть таблицу, для которой вы хотите отключить индекс.

  4. Щелкните значок плюса, чтобы развернуть папку Indexes .

  5. Щелкните правой кнопкой мыши индекс, который нужно отключить, и выберите Отключить .

Примечание

Если таблица открыта в режиме Design , элемент управления Disable недоступен. Чтобы продолжить, закройте конструктор таблиц и начните заново.

  1. В диалоговом окне Отключить индексы убедитесь, что в списке индексов указан правильный индекс, чтобы отключить сетку , и нажмите OK .
Чтобы отключить все индексы в таблице
  1. В обозревателе объектов щелкните значок плюса, чтобы развернуть базу данных, содержащую таблицу, для которой вы хотите отключить индексы.

  2. Щелкните значок плюса, чтобы развернуть папку Tables .

  3. Щелкните знак «плюс», чтобы развернуть таблицу, для которой вы хотите отключить индексы.

  4. Щелкните правой кнопкой мыши папку Индексы и выберите Отключить все .

  5. В диалоговом окне Отключить индексы убедитесь, что в индексах указаны правильные индексы, чтобы отключить сетку , и нажмите OK . Чтобы удалить индекс из индексов , чтобы отключить сетку , выберите индекс и нажмите клавишу Delete.

В диалоговом окне Отключить индексы доступна следующая информация:

Имя индекса
Отображает имя индекса. Во время выполнения в этом столбце также отображается значок, представляющий состояние.

Имя таблицы
Отображает имя таблицы или представления, для которого был создан индекс.

Тип индекса
Отображает тип индекса: Кластерный , Некластерный , Пространственный или XML .

Состояние
Отображает состояние операции отключения. Возможные значения после выполнения:

  • Пусто

    Перед выполнением Статус пуст.

  • В процессе

    Отключение индексов начато, но не завершено.

  • Успех

    Операция отключения успешно завершена.

  • Ошибка

    Произошла ошибка во время операции отключения индекса, и операция не завершилась успешно.

  • Остановлено

    Отключение индекса не было успешно завершено, поскольку пользователь остановил операцию.

Сообщение
Предоставляет текст сообщений об ошибках во время операции отключения. Во время выполнения ошибки отображаются в виде гиперссылок. Текст гиперссылок описывает тело ошибки. Столбец сообщения редко бывает достаточно широким, чтобы прочитать весь текст сообщения. Полный текст можно получить двумя способами:

Использование Transact-SQL

Чтобы отключить индекс
  1. В Object Explorer подключитесь к экземпляру Database Engine.

  2. На стандартной панели щелкните Новый запрос .

  3. Скопируйте и вставьте следующий пример в окно запроса и нажмите Выполнить .

     ЕГЭ AdventureWorks2012;
    ИДТИ
    -- отключает индекс IX_Employee_OrganizationLevel_OrganizationNode
    -- в таблице HumanResources.Employee
    ALTER INDEX IX_Employee_OrganizationLevel_OrganizationNode ON HumanResources.Employee
    ЗАПРЕЩАТЬ;
     
Чтобы отключить все индексы в таблице
  1. В Object Explorer подключитесь к экземпляру Database Engine.

  2. На стандартной панели щелкните Новый запрос .

  3. Скопируйте и вставьте следующий пример в окно запроса и нажмите Выполнить .

     ИСПОЛЬЗОВАТЬ AdventureWorks2012;
    ИДТИ
    -- Отключает все индексы в таблице HumanResources.Employee.
    ИЗМЕНИТЬ ИНДЕКС ВСЕ НА HumanResources.Employee
    ЗАПРЕЩАТЬ;
     

Дополнительные сведения см. в разделе ALTER INDEX (Transact-SQL).

Обратная связь

Просмотреть все отзывы о странице

Включение и выключение полнотекстового поиска — документация для BMC Remedy Action Request System 19.08

Назначение Engine форм

В этой теме

Настройка FTS для поиска по нескольким формам

Полнотекстовый поиск (FTS) устанавливается по умолчанию вместе с сервером BMC Remedy AR System. В этом разделе обсуждаются возможности, производительность и администрирование функции FTS.

В этом разделе содержится следующая информация:

  • Настройка FTS для поиска по нескольким формам
  • Рекомендации по повторной индексации
  • Определение поля для FTS
  • Как работает индексирование FTS
  • Выполнение миграции индексов с помощью FTS
  • 0
  • Включение высокой доступности FTS
  • Типы операций FTS

FTS обычно намного быстрее, чем использование встроенной функции поиска в базе данных при поиске в длинных текстовых полях. Кроме того, это единственный метод, доступный в системе BMC Remedy AR для поиска текста в прикрепленных документах.

С FTS вы можете использовать свою базу знаний. Вы можете получить доступ к истории решения проблем вашей компании, которая иногда хранится в длинных текстовых полях или вложениях. С опцией FTS вы можете легко искать решения связанных проблем в длинных текстовых полях.

FTS решает многие проблемы, с которыми сталкиваются пользователи при выполнении поиска в базе данных, в том числе:

  • Поиск длинных текстов и полей вложений. Параметр FTS позволяет вам индексировать поля символов, дневника и вложений для поиска, а затем сопоставлять записи из этих полей с указанными вами критериями поиска. Как и индексы базы данных, индекс FTS может значительно сократить время, необходимое для поиска в базе данных.
  • Повышение производительности поиска за счет поиска в больших объемах данных.
  • Определение того, как сервер интерпретирует подстановочные знаки для настройки производительности поиска в соответствии с вашими конкретными потребностями.
  • Ранжирование результатов поиска в соответствии с их соответствием критериям поиска. Чем релевантнее результат поиска, тем больше вес. Дополнительные сведения см. в разделе Вызов начисленных и взвешенных результатов с помощью FTS.

Для включения FTS

  1. Установите FTS с системой BMC Remedy AR. (Видеть Установка в онлайн-документации BMC Remedy ITSM Deployment.)
  2. Настройте сервер для FTS. (См. Настройка полнотекстового поиска.)
  3. Индексные поля для FTS. (См. Определение поля для FTS.)
  4. ( Необязательный ) Добавьте в форму поле поиска формы. (См. Предоставление ярлыка для указания расширенных квалификаций FTS.)
  5. ( Необязательный ) Настройка форм для FTS с несколькими формами. (См. раздел Настройка FTS для поиска по нескольким формам.)
  6. При необходимости выполните повторную индексацию. (См. раздел Рекомендации по переиндексации.)

Чтобы отключить FTS

Вы можете временно или навсегда отключить функцию FTS. Этот параметр не применяется к поиску по нескольким формам.

Временное отключение FTS

  1. В браузере откройте Консоль системного администрирования BMC Remedy AR и нажмите Система > Общие > Информация о сервере .
  2. На вкладке FTS ,
    Чтобы отключить полнотекстовый поиск, установите флажок Отключить полнотекстовый поиск .
    Чтобы отключить индексатор FTS, выберите Отключить индексатор FTS .

Чтобы навсегда отключить FTS

  1. Откройте Администрирование системы AR Консоль > Система > Общие > Добавить или удалить лицензии .
  2. Выберите запись лицензии полнотекстового поиска BMC Remedy.
  3. Измените Количество лицензий на 0 и нажмите Сохранить .

Дополнительные сведения см. в разделе Параметры конфигурации вкладки FTS.

Была ли эта страница полезной? да нет Отправка.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *