301: число позора / Хабр

Можно снять много фотографий своего офиса и выложить посты в блоге. Можно раскрашивать в «осенние цвета» оранжевую плашку под формой ввода поискового запроса.

. Можно совершенствовать алгоритмы поиска «покупных ссылок» и выступать на конференциях, но при этом много лет носить на своем челе печать позора.

Оттиск этой печати выглядит так:

Один из сайтов, которым я сейчас занимаюсь, проиндексировался с WWW, причем до того, как я подключился к процессу. При том, что в рекламных материалах и везде мы его пишем без WWW.

Настроил редирект с кодом 301. Все проверил. Все работает корректно.
Robots.txt составлен корректно, в нем прописана директива Host, специально для «Яндекса».

Сайт зарегистрирован в панели «Гугла», где для него указано главное зеркало.
Через несколько дней в «Гугле» и других поисковых системах (там я даже регистрироваться в панелях вебмастеров не стал) все окей.

С «Яндексом», по неимоверно старой и очень недоброй традиции (похоже, неискоренимой, как качество продукции отечественного автопрома), все оказалось не так просто.

При попытке добавить сайт в панель вебмастера, «Яндекс» написал, мол, я неглавное зеркало добавляю. И предложил добавить зеркало с WWW. Обойти эту жесть не получилось никак.

При том, что в «Яндекс.Метрику» все прописалось нормально (там были другие глюки, но, поскольку они мешали нормально работать с контекстной рекламой, их исправили за несколько дней).

И это при прописанном-то редиректе и директиве Host (это такая специальная штука, при помощи которой вебмастер может показать российской национальной поисковой системе, какое зеркало брать в качестве основного)!

Даже обращения в техническую поддержку «Яндекса» при включенном редиректе с кодом 301, директиве Hosts, установленной «Яндекс.Метрике» не помогли.

И вот уж несколько месяцев, как в прочих поисковиках все «склеилось» и работает нормально, а «Яндекс» по сей день держит в своей базе старинную версию той страницы, которую он когда-то по недоразумению захавал.

Причем при попытке удалить ее «Яндекс» пишет, дескать, сайт не проиндексирован. Но продолжает выдавать ее в результатах поиска и показывать в панели вебмастера десятки страниц с пометкой «ошибка». Когда иду смотреть, что за «ошибка», оказывается, что «Яндекс» видит 301-редирект и называет «ошибкой» именно его.

Неужели в 2009 году корректная обработка 301-редиректа, которую «Гугл» и другие поисковые системы выполняют уже черт знает сколько времени, недоступна главной национальной всероссийской мегапоисковой суперсистеме?

Вы там, случайно, нанотехнологический «Глонасс» не внедрили?

301-й редирект полностью заменил директиву Host в Яндексе

Яндекс объявил об отмене директивы Host в Robor.txt. Теперь эту директиву можно удалять из robots.txt, но важно, чтобы на всех не главных зеркалах вашего сайта теперь стоял 301-й постраничный редирект.

Так же в Яндексе рассказали о наиболее распространенных ситуациях, связанных с этим:

I Мне нужно переехать на новый домен или протокол, переезд я еще только планирую

• поставьте постраничный 301-й редирект
• зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
• подождите, обычно переезд занимает несколько дней

II Мне нужно переехать на новый домен или протокол, переезд я уже начал

Аналогично I пункту:

• поставьте постраничный 301-й редирект
• зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало: если вы сделали это ранее — данный пункт можно пропустить
• подождите, обычно переезд занимает несколько дней

III Мне нужно переехать на новый домен или протокол, но я не могу использовать 301-й редирект

• добавьте новый сайт в Вебмастер
• используйте «Переезд сайта»
• подождите, в таком случае переезд может занимать несколько недель

IV Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить могу

• проверьте, чтобы на всех неглавных зеркалах вашего сайта стояли постраничные редиректы на главные, это позволит прямо указать роботу на нужный вам адрес в поиске

V Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить не могу

• нужно понимать, что главное зеркало в таком случае может быть выбрано на усмотрение робота: в случае смены главного зеркала воспользуйтесь «Переездом сайта»

VI Нужно ли ставить редирект для мобильных версий сайтов

• как и ранее, ставить редирект для мобильных версий сайтов не обязательно: мобильная версия может быть или доступна для основного робота, или осуществлять редирект на основную версию сайта

VII Что делать, если мои зеркала все-таки изменились из-за того, что не был установлен 301-й редирект

Совершите переезд аналогично I пункту:

• поставьте постраничный 301-й редирект на нужный адрес
• зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
• подождите, обычно переезд занимает несколько дней

VIII Что делать с директивой Host

• её можно удалить из robots.txt или оставить, робот её просто игнорирует

Поделиться в соцсетях:

Директива host уже не нужна – как определяется основное зеркало

До недавнего времени для демонстрации Яндексу главного зеркала требовалось указать host в robots.txt. Эта директива, бесполезная для Google, была обязательной для российского поисковика. Весной этого года все изменилось – спустя много лет Яндекс отменил директиву host. Решение связано со стремлением разработчиков облегчить участь вебмастерам. Теперь сменить зеркало сайта при переходе на защищенный протокол или переезде на другой домен проще.

Новые реалии – чем заменили привычную команду?

Замена директиве host в файле robots.txt – 301-й редирект. Параллельно смене курса Яндекс ускорил и сам переезд. Если в прошлом процесс занимал около месяца, то сейчас речь идет о днях.

Старую директиву можно удалить. Но только после предварительной настройки 301-го редиректа на главный домен. Благодаря нововведению вебмастера попадают в разные ситуации. Рассмотрим, как из них выходить.

Планирование переезда (на другой домен или протокол https)

Если после апдейта правил вы только планируете смену домена или протокола, то действия такие:

• настройте постраничный редирект 301;
• в панели Вебмастера воспользуйтесь инструментом «Переезд сайта» (ПС) и укажите основное зеркало.

Процесс занимает несколько дней, поэтому не спешите проверять – через время способ сработает. А вот команда host (robots) Google и Яндексу не нужна – в этом поисковики теперь похожи. Аналогично следует поступить и в том случае, если вы уже начали переезжать.

Планирование переезда без возможности настройки редиректа 301

В этом случае схема следующая:

• добавьте новую площадку в Вебмастер;
• воспользуйтесь инструментом ПС.

На несколько дней или недель забудьте о задаче – в этой ситуации времени может понадобиться больше.

Наличие возможности поставить редирект без необходимости куда-либо переезжать

Убедитесь, чтобы на всех второстепенных зеркалах были настроены редиректы на основное. Точно так же, как раньше робот разбирался с командой host (robots.txt), Яндекс и теперь разберется, какой домен указывать в поисковой выдаче.

Отсутствие возможности поставить редирект без необходимости куда-либо переезжать

Если не принять никаких мер, робот будет сам решать, какой домен считать основным. Но в случае смены зеркала придется открывать панель ПС.

Принудительная смена зеркал из-за игнорирования редиректа 301

Ситуация аналогична первой. Задача решается по той же схеме.

Мобильные версии интернет-площадок и редирект

Как и до нововведений, обязательный «мобильный» редирект не требуется. Версия для смартфонов и планшетов либо перенаправляет роботов на главное зеркало, либо вполне готова к визиту основного поискового робота.

Заключение

Так что делать с директивой host для Яндекса? Ничего. Она уже ни на что не влияет. Можете команду удалить, можете не трогать – ничего не изменится, поисковый бот ее будет игнорировать.

Что такое редирект | Smenik Agency

Редирект (автоматическая переадресация) — это перенаправление посетителя сайта и поисковых систем с одного адреса на другой (со страницы на страницу или на документ). Перенаправление может осуществляться как внутри одного сайта, так и на совершенно другой домен (сайт). Настроив при помощи определенных правил переадресацию можно направить пользователей на URL отличны от того, какой они запрашивали.

Редиректы используют, как правило, в случае внесения изменений на сайте. При изменении структуры, при изменении URL страниц и так далее. Настроив перенаправление, мы даем посетителю возможность попасть на последнюю (актуальную) версию страницы с правильным url адресом.

Например, на сайте была страница с адресом https://site.ru/page1. При оптимизации структуры сайта мы решили изменить ее адрес на https://site.ru/blog/page2. Если просто поменять URL, то поисковые системы будут направлять пользователей на старый адрес, так как про новый адрес страницы они не будут знать. Получается что зайдя по старой ссылке посетители и поисковая система увидят только сообщение с ошибкой о том, что страница не найдена. 

Для того, чтобы не потерять посетителей сайта необходимо настроить редирект таким образом, чтобы посетители или робот поисковой системы зайдя на адрес https://site.ru/page1 автоматически перенаправлялся на страницу https://site.ru/blog/page2.

Виды автоматических перенаправлений

• 300 редирект — множественный выбор. Используется в том случае когда браузер сам должен принять решение какой именно документ показать пользователю (в зависимости от его предпочтений). Используется 300 редирект для выбора определенной кодировки или языка страницы. Современные браузеры понимают практически все кодировки. Остается использовать 300 редирект для автоматического выбора языка.

Наиболее часто используется два типа перенаправления: redirect 301 и 302.

• 301 редирект – это постоянное перенаправление посетителя с одной страницы сайта на другую. Например, это правило используется при переезде сайта с протокола http на https (безопасный протокол соединения) или при изменении структуры сайта. 

Важно уточнить, что постоянный редирект перенаправляет не только посетителей, но и переносит порядка 90-99% ссылочного веса страницы. Стоит отдельно пояснить, что ссылочный вес страницы формируется из всех ссылок с других сайтов, которые ссылаются на страницу. Грубо говоря, чем больше качественных ссылок ведет на страницу, тем более ценит эту страницу поисковая система. 301 редирект позволяет указать поисковой системе, что вес всех ссылок, которые ссылались на старый адрес страницы переносится на адрес новой страницы.

• 302 редирект – это временное перенаправление. При помощи этого правила мы передаем поисковой системе, что текущий документ временно перемещен на новый  URL-адрес. Временный редирект не передает ссылочный вес старой страницы. В подавляющем большинстве случаев 302 правило переадресации не должно использоваться на сайтах.

Существуют другие, более специфические виды перенаправления, которые применяются крайне редко.

Когда необходимо настраивать правила редиректа

• Для перенаправления посетителя и поисковой системы с адреса с www на адрес без www или наоборот (так называемое склеивание домена).
• При переводе сайта с http на https (безопасное соединение).
• Для переезда на новый домен (меняется адрес сайта).
• Редирект каталога. Настраивается в случае изменения URL категорий сайта.
• Перенаправление одного адреса на другой. Например с site.ru/page1.html на site.ru/page2.html
• Для канонизации слеша (символа «/») в конце адреса страницы (например адреса site.ru/page1 и site.ru/page2/ для поисковой системы разные).
• При изменении расширений файлов. Например при переезде на новую платформу у станиц поменялись расширения с php на html.
• Редирект дублей главной страницы.

Как настраивать правила перенаправлений

• cPanel. Это специально разработанный софт для управления сервером через веб-интерфейс. Для сайтов которые работают на различных платформах настройка может осуществляться напрямую через cPanel. В разделе «Домены» необходимо выбрать пункт «Перенаправление». Далее последовательно указываете тип перенаправления (301 или 302), адрес с которого вы хотите сделать редирект и адрес куда ходите сделать перенаправление.
• Файл .htaccess – это серверный редирект, который прописывается в текстовом файле .htaccess находящемся в корневой папке сайта. Настраивается для тех сайтов которые работают под управлением сервера Apache. Если у вас есть доступ по FTP к вашему сайту, то вы можете заполнить правила непосредственно в файле .htaccess.
• php. Менее предпочтительный вариант, но может иногда использоваться. Все изменения вносятся в файле index.php. Используется только в том случае если у вас есть сотни страниц (адресов) для которых необходимо настроить redirect по каким-либо формулам.
• javaScript. Перенаправление реализованное при помощи JavaScript выполняется не на стороне сервера, а на стороне браузера. Этот вариант более медленный и используется достаточно редко. Пример: срабатывание правила с определенной временной задержкой. Сначала загружается страница с надписью о том что мы переехали на новый сайт и через некоторое время происходит редирект на новый URL.
• HTML. По аналогии с JavaScript можно реализовать перенаправление при помощи мета тега refresh. Для того чтобы редирект сработал необходимо дождаться загрузки страницы в браузере.

В большинстве случаев стоит использовать редиркет на стороне сервера, а не на стороне браузера. Настройка в текстовом файле htaccess обеспечит максимальную скорость срабатывания и удобство для пользователя.

Как проверить работу перенаправления

Проверку нужно осуществлять после каждого изменения правил перенаправления. Вот несколько вариантов как можно проверить перенаправление. 

1. Ручная проверка. Введите в адресную строку старый адрес и после загрузки страницы проверьте на какой url вы автоматически перешли. Ручную проверку необходимо выполнять в режиме инкогнито и очищать кэш. Редиректы кэшируются браузером и удаленный из настроек редирект может еще срабатывать в браузере. Минус ручной проверки состоит в том, что мы не сможем узнать какой код ответа сервера. Тоесть просто не поймем 301 ил 302 редирект настроен на проверяемы адрес.
2. Yandex Webmaster. В меню “Инструменты” выбираем “Проверка кода ответа сервера” и в окне вводим интересующий нас адрес. После того как нажмем на кнопку “Проверить” нам будет доступна вся необходимая информация.

Сторонние сервисы. Например сервис СheckMy.ru позволяет получить ту же информацию, что и в Webmastere. А сервис Be1.ru позволяет провести массовую проверку адресов (до 100 штук за одну проверку).

Статья написана Михаилом Шешуковым — бывшим сотрудником Smenik Agency.

Поделиться этой записью

Основатель Smenik Agency, Oboi-Store.ru. Серийный предприниматель.

Получи бесплатный аудит своего сайта

от команды профессионалов

Вам будет интересно

301 редирект не любит Яндекс

Всем Привет! С Вами Кузнецов Анатолий и сегодня я решил поделиться со своими читателями очень важным наблюдением, из-за которого большинство сайтов теряют свои позиции в поисковике Яндекс, а их владельцы не могут понять почему сайты не продвигаются и не растут. Все очень просто. 301 редирект не любит Яндекс, а практически все вебмастера очень любят его использовать, упрощая себе жизнь и в свою очередь усложняя её продвигаемому сайту. Теперь подробнее!

301 редирект убивает ваш сайт

Эта информация на основании житейского опыта. В свое время, я продвигал один из молодых и только что переделанных сайтов. И чтобы не потерять старые страницы, с которых шел хоть не большой, но все таки трафик (30 человек в сутки), с них был сделан 301 редирект уже на новые URL сайта. Таких страниц было достаточно много (около сотни).

Пока со своей стороны создатель сайта заканчивал его доработку, я уже готовил продающие SEO тексты в блог для усиления основных, бюджетонаполняющих страниц сайта. И что характерно, на протяжении 3-х месяцев SEO работы, Яндекс никак не реагировал на мои действия. Позиций в вебмастере не было вообще никаких. Но так же просто не бывает!!! По крайней мере, в моей 17 летней практике такого эффекта не было ни разу, чтобы я работал, а эффекта ни плохого, ни хорошего не было.

Около недели я ломал голову и пытался выяснять причину такого ФИАСКО и она была найдена там, где не ожидалось. Я попросил программиста выключить 301 редирект и уже на следующий день сайт просто выстелил по позициям в Яндексе и пошел трафик и зазвонил телефон. Первых мест стало очень много. Не хочу здесь указывать этот сайт и свой факап на тот момент, но могу сказать, что он есть в моих SEO кейсах и занимает сейчас очень хорошие позиции в органической выдаче Яндекс по региону Москва.

После таких финтов от Яндекса, я усвоил урок очень хорошо и понял, что Яндекс очень не любит 301 редирект. Теперь я его использование стараюсь свести до нуля. Из практики SEO консультаций, которые я постоянно провожу, 60% проблем на сайтах возникает именно из-за использования 301 редиректа. Как только он снимается и сайт полностью переделывается, позиции начинают стремительно расти.

Вывод

Не ленитесь и разрабатывайте сайты без использования 301 редиректа и тогда не будет у вас возникать таких же проблем, которые я описал выше!

Заключение

Испробовали уже все методы продвижения, а толку нет? Разочаровались в Яндекс Директ и Google Adwords? Пора заняться действительно качественной и проверенной временем SEO работой – начать продвижение интернет магазина или сайта статьями и видео! Не хочу вас уговаривать, да если честно и смысла нет, так как очередь на продвижение у меня уже растянулась минимум на три месяца вперед (подробнее мои SEO кейсы). Я информирую Вас лишь для того, чтобы Вы впервые выбрали для себя правильный путь развития бизнеса и наконец-то получили результат. И не важно, я буду в этом вам помогать или Дядя Ваня. Но все же, если Вы хотите выбрать меня, то жмите кнопку ниже (пишите, звоните) и мы скорее всего договоримся и я спустя какое-то время возьмусь за ваш WEB проект и вдохну в него жизнь в виде действительно продающих текстов!

За50 000

• Вы получите: 
• Индивидуальная стратегия продвижения
• Технический аудит
• Подбор низкоконкурентной семантики
• Написание 5 текстов/месяц
• Внутренняя оптимизация
• Ежемесячный съём позиций
• Персональный менеджер 5 дн/неделю

За100 000

• Вы получите:
• Индивидуальная стратегия продвижения
• Технический аудит
• Подбор низкоконкурентной семантики
• Написание 10 текстов/месяц
• Внутренняя оптимизация
• Ежемесячный съём позиций
• Персональный менеджер 5 дн/неделю

За150 000

• Вы получите:
•   Индивидуальная стратегия продвижения
• Технический аудит
• Анализ конкурентов
• Рекомендации по улучшению юзабилити
• Подбор низкоконкурентной семантики
• Написание 10 текстов/месяц
• + Ведение Яндекс Дзен (5 текстов/месяц)
• Внутренняя оптимизация
• Еженедельный съём позиций и отчёт
• Персональный менеджер 24/7

Склейка (внешняя и внутренняя)

Склейка (внешняя и внутренняя)

Внешняя склейка сайтов

В процессе склейки сайтов определенная часть характеристик зеркала может передаваться основному ресурсу. К примеру, в поисковой системе Яндекс осуществляется передача поведенческих и ссылочных факторов за исключением временных факторов (возраста страниц и т.д.) и штрафов.

Еще одним важным нюансом при склейке, является тот факт, что корректная передача всех характеристик, присущих страницам основного сайта к страницам подклеиваемого возможна, только если они будут иметь одинаковые внутренние адреса. Если же адреса страниц не совпадают, прибегают к внутренней склейке страниц, о которой речь пойдет ниже. Чтобы узнать является ли сайт чьим-то зеркалом, можно воспользоваться сервисом Яндекс «Сообщить о новом сайте».

Передовые поисковые системы русскоязычного сегмента интернета предлагают подробные и понятные инструкции, следуя которым можно корректно выполнить склейку сайтов. Так, основные рекомендации от Google включает в себя инструкция «Перенос сайта с изменением URL» в «Инструментах для вебмастеров», а советы от Яндекса сосредоточены в справочном материале «Переезд сайта на новый домен», расположенном на страницах сервиса «Яндекс.Вебмастер». Рассмотрим их подробнее.

301 редирект

Для его реализации необходимо со всех страниц донорного сайта выполнить перенаправление на соответствующие страницы подклеиваемого сайта с 301 HTTP-кодом. Этот редирект поддерживают как Яндекс, так и Google.

Для ускорения процедуры склеивания в Гугле можно направить соответствующий запрос посредством «Инструмента для изменения адресов», правда этот трюк не работает при изменении протокола с HTTP на HTTPS. В поисковой машине Яндекс для этих целей предназначен инструмент «Главное зеркало», входящий в состав сервиса «Яндекс.Вебмастер». Единственным и обязательным условием для использования указанного сервиса является восприятие Яндексом обоих сайтов зеркалами.

По возможности нужно стараться не использовать цепочки редиректов без серьезной необходимости, за исключением случаев, когда не совпадает структура адресов страниц главного и второстепенного зеркала и нужно приводить их к общему виду. В этом случае лучше дождаться переклейки внутренних страниц сайта, а уже потом заниматься организацией редиректов.

Достоинства: универсальность – подходит для обоих типов поисковых систем.

Недостатки: в Яндексе бывают случаи временного проседания позиций сайта из-за того, что полноценная склейка еще не реализована в полном объеме и страницы нового ресурса не переняли все характеристики страниц исходного зеркала. При этом страницы основного сайта вышли из индекса по причине нового отклика, который отличается от 200.

Редирект при помощи мета-тега «refresh»

Данный механизм поддерживает только Яндекс. Для его реализации пользуются мета-тегом «refresh», имеющего нулевую задержку. Его добавляют в код всех страниц сайта. Он имеет следующий вид:

<meta http-equiv=»refresh» content=»0;URL=’http://имя домена/'»>

Как таковых плюсов у данного способа нет. Его используют только оптимизаторы, не умеющие настраивать серверный редирект. Недостатки те же, что и у 301-го редиректа.

Директива Host

Данный способ поддерживается также исключительно Яндексом и реализуется посредством директивы Host в файле robots.txt. Синтаксис директивы изложен на странице справки для вебмастеров: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#host.

Достоинства: при склеивании сайтов не происходит проседаний позиций в выдаче Яндекса.

Недостатки: директиву не поддерживает Google.

Склейка внутренних страниц

В терминологии склеивания внутренних страниц принято оперировать понятием «дубль». Что касается Яндекса, то здесь все характеристики от второстепенного дубля к основному передаются полностью, включая возраст и даже санкции. Передачу возраста при внутреннем склеивании нередко используют для искусственного «состаривания» недавно созданных страниц.

В рекомендациях Google относительно внутреннего склеивания страниц сайта содержатся только упоминания об объединении сигналов для входящих ссылок на страницы с похожим или идентичным содержанием (https://support.google.com/webmasters/answer/139066).

В общем понимании процедуру склейки внутренних страниц ресурса можно разделить на несколько действенных способов.

301 редирект

Смысл реализации тот же: организуется серверный редирект с неканонического дубля на канонический с откликом 301. Создание цепочек редиректов тут тоже не желательно. Данный способ рекомендуется системой Google при изменения URLа веб-страницы, отображаемой в поисковой выдаче (https://support.google.com/webmasters/answer/93633?hl=ru).

Этот способ работает и в Яндексе: http://help.yandex.ru/webmaster/robot-workings/managing-redirects.xml#internal-redirects и по утверждениям специалистов является самым надежным и действенным методом внутренней склейки.

Директива «Clean-param»

Реализуется в файле robots.txt посредством директивы «clean-param» и работает только в тех случаях, когда канонические и неканонические дубли отличаются друг от друга только наличием дополнительных параметров в адресе веб-страницы. Эта директива функционирует только в поисковике Яндекс, а ее синтаксис подробно расписан в сервисе помощи оптимизаторам: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#clean-param.

Инструмент Google «Параметры URL»

Данный инструмент является частью сервиса Google «Инструменты для вебмастеров» (https://www.google.com/webmasters/tools/crawl-url-parameters). Аналогично с описанной выше директивой Clean-param действует только в тех случаях, когда различие между дулями заключается в наличии параметров в адресной строке страницы. Ознакомиться с полным описанием этого инструмента можно в справочной информации указанного сервиса (https://support.google.com/webmasters/answer/6080550?hl=ru).

Атрибут rel=«canonical» тега <link>

В отличие от двух вышестоящих способ внутренней склейки страниц сайта, этот не вносит никаких дополнительных ограничений в структуру их адресов. При помощи атрибута rel=«canonical», являющегося частью тега <link>, можно в коде веб-страницы неканонического дубля явно задать адрес канонического дубля. Данный способ поддерживается как для Яндекса (http://help.yandex.ru/webmaster/controlling-robot/html.xml#canonical), так для Google (https://support.google.com/webmasters/answer/139066?hl=ru#2).

Поделиться

Директива Host поисковой системы Яндекс осталась в прошлом — новости СТК Промо

26.07.2021 Шрифт: 6515

Специалисты Яндекс продолжают корректировать и совершенствовать поисковый функционал. Большинство новшеств связано с постепенным исключением из поддержки старых возможностей и директив. Примечательно, но добавление новых функций в поисковую систему как альтернативы исключенным параметрам давно не происходит. В марте разработчики Яндекс вырезали из файла robots.txt. директиву Host.

О прекращении дальнейшей поддержки директивы Host специалисты Яндекс сообщили вебмастерам в профильном блоге компании 12 марта. Официальные подтверждения реализации появились уже 20 марта. Дополнительно разработчики поисковой системы опубликовали инструкции по осуществлению переезда с применением редиректа 301.

Основной задачей директивы Host было пояснение для робота-зеркальщика с указанием на главное зеркало. Host появилась еще в первой половине 2000-х годов на базе поисковой системы Рамблер, а спустя некоторое время начала активно применяться и другими поисковиками российских компаний. Сегодня директива остается активной в документации Mail.Ru. Западный интернет-гигант Google никогда не работал с директивой Host.

На протяжении многих лет поисковая система Яндекс применяла Host для внесения рекомендаций с отметкой главного зеркала, что осуществлялось вместе с серверным редиректом. Функция определения направления с предпочтительным доменом для дальнейшего индексирования страниц формата «www» или без него была внедрена еще в 2011 году. Тогда на базе специального сервиса «Яндекс.Вебмастер» поисковик установил инструмент под названием «Главное зеркало». Разработчики указывали, что подобный механизм указания главного зеркала сайта отличается большим потенциалом и возможностями в сравнении с директивой Host, однако уступает редиректу 301 и 302.

Даже при акцентировании внимания вебмастеров на преобладание сервисного редиректа в сравнении с другими методами представители поисковой системы Яндекс ни разу не выступали с рекомендациями о его применении. В рамках применения редиректа классической особенностью был процесс выпадения ресурса из индекса поисковика до тех пор, пока осуществляется индексация сайта, адрес которого указан в редиректе. Даже в тех ситуациях, когда индексация целевого ресурса была выполнена, редиректящий сайт выпадал гораздо стремительнее, чем при подклейке как второстепенного зеркала к цели редиректа.

Результатом становился слишком долгий переход поискового трафика и оказывающих влияние на характеристики позиций в пользу главного зеркала от второстепенного. В ряде случаев выполнение процесса могло растянуться на несколько месяцев. Директива Host была эффективной и надежной альтернативой для выполнения переклейки главного зеркала. Основная причина заключается в том, что отмеченный в качестве второстепенного зеркала ресурс сохранялся в индексе до проведения переклейки.

Необходимость замены второстепенных и главных зеркал местами подробно рассматривал Платон Щукин. Он отметил, что процедура практически идентична классической склейке, однако применять для переезда редирект не стоит. Щукин указывал на перекрытие доступа к главному зеркалу по причине редиректа, а основной целью редиректа станет второстепенное зеркало, которое не сможет попасть в выдачу. Для решения проблемы желательно применять директиву «Host: https://site.ru» в рамках «Переезда сайта». Тогда изменение адреса в поиске будет осуществлено всего через несколько недель.

Теперь описанный совет можно считать устаревшим и недействительным для поисковой системы Яндекс. Разработчики при отмене директивы Host обратили внимание на то, что при выполнении переклейки сайта с использованием постраничной настройки редиректа 301 можно завершить процесс в течение нескольких дней. Подобный результат потенциально доступен только в случае применения инструмента «Переезд сайта» в конфигурации с редиректом 301.

На практике использовать функцию «Переезд сайта» допускается для выполнения склейки зеркал без внесения параметров в редирект. Проблемой такого технического решения станет срок выполнения задачи, который составляет несколько недель. Следует обратить внимание, что второстепенное зеркало сохранится в поисковой выдаче. По этой причине владельцы сайтов готовы обращаться к данному методу и выделять необходимое для осуществления процесса время с целью исключения риска потери трафика. Среди комментариев к опубликованному Яндекс сообщению о завершении поддержки директивы Host встречаются описания неудачного опыта переезда сайтов с серьезной потерей трафика при использовании редиректа 301.

В ситуациях, при которых вебмастер не может выполнить подтверждение прав каждого из сайтов, подходит вариант только с применением редиректа 301 без использования функции «Переезд сайтов». Проведение склейки ресурсов без инструмента «Переезд сайта» дополнительно подходит для условий, когда ресурс переносится по причине наложения поисковых санкций. По причине того, что функция «Переезд сайта» работает только при выполнении подтверждения прав собственности на каждый из сайтов, санкции Яндекс против первого могут после выполнения процедуры перейти на второй ресурс.

Если поисковая система не располагает достоверными сведениями о возможных связях между владельцами подлежащих склейке ресурсов, Яндексу необходимо полностью исключить вероятность нанесения вреда конкурентам в ситуации подклейки ранее скомпрометированного ресурса, который станет второстепенным зеркалом с дальнейшим переносом санкций. В данном случае поисковая система проводит оценку вероятности присутствия связи между владельцами ресурсов на базе косвенных признаков, к числу которых относятся контент и структура до выполнения переезда.

В рамках внесенных поисковой системой Яндекс корректировок в процедуру переезда следует акцентировать внимание на потенциальные изменения степени полноты данных при переносе параметров ресурса на домен. Ранее при склейке зеркал сайтов на главное с второстепенного переходили не все основные характеристики. Была исключена возможность изменить возраст сайта, что исключало выполнение искусственного повышения возраста ресурса при помощи применения специальных «дропов».

Ситуация с отказом от поддержки директивы Host с целью активного использования редиректа 301 – новый шаг со стороны руководства Яндекс в пользу приближения имеющихся функциональных параметров к возможностям системы Google. Крупнейший западный поисковик с самого начала применял редирект 301, который является главной процедурой для отметки главного зеркала при склейке.

В течение 2017 года Яндекс постепенно отказывался от некоторых операторов языка запроса, которые не используются в Google. В обозримом будущем можно ожидать отказа Яндекса от обеспечения поддержки ряда других элементов в функциональных параметрах, которые не поддерживаются Google. Одним из основных может стать поддержка тега noindex, а также директивы Crawl-Delay и Clean-param, которые используются в файле robots.txt.

  http: //сайт.рф/стр/ -> http://example.ru/стр/ -> http://example.ru/page/  

  сервер {
    слушать 80;
    имя_сервера localhost;
    absolute_redirect выключен;
    корень / usr / share / nginx / html;
    index index.html index.htm;
    #charset koi8-r;
    #access_log / var / log / nginx / host.access.log main;

    место нахождения / {
        try_files $ uri @prerender;
        #try_files $ uri $ uri / /index.html; # принудительно добавить маршруты в index.html
    }

    #error_page 404 /404.html;
    # перенаправить страницы с ошибками сервера на статическую страницу /50x.html
    #
    error_page 500 502 503 504 /50x.html;
    location = /50x.html {
        корень / usr / share / nginx / html;
    }

        gzip дальше;
        gzip_vary on;
        gzip_min_length 10240;
        gzip_proxied с истекшим сроком действия частной аутентификации без кеширования без хранилища;
        gzip_types text / plain text / css text / xml text / javascript application / x-javascript application / xml;

    location @prerender {
        proxy_set_header X-Prerender-Token JEWpuxaXuzdqvd7tKD1l;

        установить $ prerender 0;
        if ($ http_user_agent ~ * "googlebot | bingbot | yandex | baiduspider | twitterbot | facebookexternalhit | rogerbot | linkedinbot | embedly | quora link preview | showyoubot | outbrain | pinterest \ / 0 \.| pinterestbot | slackbot | vkShare | W3C_Validator | whatsapp ") {
            установить $ prerender 1;
        }
        if ($ args ~ "_escaped_fragment_") {
            установить $ prerender 1;
        }
        if ($ http_user_agent ~ "Prerender") {
            установить $ prerender 0;
        }
        if ($ uri ~ * "\. (js | css | xml | less | png | jpg | jpeg | gif | pdf | doc | txt | ico | rss | zip | mp3 | rar | exe | wmv | doc | avi | ppt | mpg | mpeg | tif | wav | mov | psd | ai | xls | mp4 | m4a | swf | dat | dmg | iso | flv | m4v | torrent | ttf | woff | svg | eot) ") {
            установить $ prerender 0;
        }

        #resolve использование DNS-сервера Google для принудительного разрешения DNS и предотвращения кеширования IP-адресов
        резольвер 8.8.8.8;

        if ($ prerender = 1) {
            # установка prerender в качестве переменной приводит к принудительному разрешению DNS, поскольку nginx кэширует IP-адреса и плохо работает с балансировкой нагрузки
            установить $ prerender "service.prerender.io";
            # rewrite. * / $ scheme: // $ host $ request_uri? перерыв;
            # Следующий домен должен быть динамическим
            переписать. * /https://www.drivemate.asia$request_uri? перерыв;
            proxy_pass http: // $ prerender;
        }
        if ($ prerender = 0) {
            #try_files $ uri $ uri / / index.html; # принудительно добавить маршруты в index.html
            переписать. * /index.html break;
        }
    }
  

  перезаписать ^ / (?: th | en | de) (?: / (.*))? $ / $ 1 перманентно;