Зеркало веб-сайта — Википедия
Материал из Википедии — свободной энциклопедии
Зе́ркало веб-сайта (англ. Mirror) — точная копия данных одного сервера на другом. Во всемирной паутине зеркалом сайта называют точную копию другого сайта. Наиболее часто зеркала сайтов используются для предоставления нескольких источников одной и той же информации. Часто большие или популярные файлы располагают на нескольких зеркалах для ускорения скачивания и распределения нагрузки.
Причины зеркалирования сайтов следующие:
- Защита данных от повреждения, обычно при сбое жёстких дисков.
- Сохранение копии веб-сайта, особенно когда он закрыт или собирается закрыться.
- Обеспечение доступа к недоступной информации. К примеру, когда в 2002 году властями Китая был заблокирован доступ к популярному Интернет-поисковику Google, его зеркало elgooG использовалось, чтобы обойти блокировку.
- В случаях, когда внешний трафик значительно дороже внутреннего, целесообразно создавать зеркала популярных внешних ресурсов в собственной зоне Интернет.
Хороший пример зеркалирования — широко известный веб-сайт SourceForge.net. Он занимается хостингом программ с открытым исходным кодом. SourceForge.net использует множество различных серверов для достижения одной цели: предоставить возможность скачивания файлов пользователями. Много инновационных компьютерных проектов хранят свои сайты и файлы на SourceForge.net, у которого есть зеркала во множестве стран мира.
Большие сети зеркал используют также проекты Debian, FreeBSD, OpenSUSE, Fedora, и другие. Википедия также имеет несколько зеркал в различных местах.
Чаще их тоже называют просто зеркалами.
Доменное зеркало используется обычно на сайтах, которые имеют разные названия, но звучание или написание будет похожим. При этом, все они будут ссылаться на один и тот же сервер. Например, telefon.ru и telephon.ru; otvet.ru и OTBET.ru.
Также зеркала используются при защитном киберсквоттинге. Допустим, что вы производитель сока и хотите зарегистрировать себе домен, подобный sok.ru, а вместе с ним зарегистрировать и cok.ru, sok.com, cok.com.
Под склейкой зеркал обычно имеют в виду объединение нескольких сайтов в один для корректного индексирования системами поиска. Причинами склейки сайтов могут выступать как желание владельца сайта, так и ошибки при анализе различных сайтов поисковыми роботами. Если робот посчитает, что один сайт является аналогичным другому, то он может склеить их и индексировать только один из сайтов.
Как найти зеркала сайта бесплатно и без сторонних сервисов
Сегодня расскажу подробнее о поиске зеркал сайтов (полных копий на разных доменах). Тема вызвала живой интерес и множество вопросов после доклада на SEMPRO.
Зачем вообще искать зеркала?
Напомню ситуации, когда это может быть актуально:
- Вы анализируете новую нишу на предмет конкуренции. Если ТОП выдачи выглядит не особо внушительно — не спешите радоваться. Сначала стоит проверить, не подклеено ли к молодому домену старое зеркало с мощным ссылочным профилем.
- Вы планируете купить сайт, который имеет хороший поисковый трафик. Обязательно требуйте передачи прав на все зеркала — иначе можно остаться ни с чем.
- Вас интересует схема ссылочного продвижения у конкретного конкурента. Стоит тщательно изучить обратные ссылки у всех версий проекта.
- Вы пользуетесь услугами SEO-студии или фрилансера; хотите быть уверены, что продвижение ведется именно для вашего домена.
Как найти зеркала с точки зрения Яндекса?
В Рунете популярен плагин для браузера RDS бар и онлайн-сервис recipdonor, который проверяет множество SEO-параметров, в том числе и этот (в платной версии). Создатели плагина подробно описали свою методику:
Склеен ли сайт на какой-то другой можно определить используя эти два запроса:
http://search.yaca.yandex.ru/yca/cy/ch/site.ru/ или http://bar-navig.yandex.ru/u?ver=2&u…ndex.ru&show=1Если какое-то из этих значений возвращает склейку, то этот сайт попадает к нам в базу.
Определить склеен ли сайт — очень просто. А вот узнать какие сайты приклеены к данному, то есть произвести обратную процедуру — довольно сложная задача.
Для этого «в идеале» нужно проанализировать все сайты интернета на эти два запроса проверки склейки и создать связки для склееных сайтов.
Что позволит найти все зеркала сайта, если они действительно приклеены к данному сайту.В нашей базе более 13 млн. сайта, которые регулярно проверяются на данные параметры.
Из статистики, найдено:
406 000 сайтов склееных на другие
280 000 сайтов у которых есть дополнительные зеркала.
И оговорились:
Внимание: сервис определяет зеркала для сайтов, которые Яндекс признал действительно зеркалами и склеил их.
Определение зеркал по Google или по другим признакам (у которых в robots.txt прописано или стоит редирект, или на сайте просто надпись сайт переехал) — это другая история.
Очевидно также, что мы не можем быть уверены в полноте любой базы. Что, если работаем с узкой нишей, где не особо популярные сайты? Да еще под англоязычный Google? На самом деле это не проблема. Гугл — знает все!
Как искать зеркала под Google?
Наверняка вы замечали, что Google хранит информацию о старых страницах очень долго. Для примера — отчет из API Search Console для моего сайта:
На этом и основан метод:
Запрашиваем у Google уникальную фразу с анализируемого сайта, одновременно запрещаем показывать сам сайт.
Вот пример из доклада (искал зеркала у сайта www.injuryclaimcoach.com):
Используется фраза в кавычках и оператор site:, перед которым стоит минус. Первый результат отдает 301 код и перебрасывает на изучаемый домен. При этом переезд был осуществлен более 3 лет назад (особо любознательные могут проверить по web.archive).
Пример использования
Давайте поищем еще. Возьмем интересный пример. Возможно вы в курсе, что Гугл на своем сервисе blogspot.com однажды устроил знатную свистопляску с зеркалами.
Так, блог Дмитрия Шахова из России открывается по адресу http://bablorub.blogspot.ru/. Если обратитесь к нему через .com — получите редирект.
Но в выдаче тем не менее .com:
Применим нашу методику:
«Рушка» нашлась! Не будем на этом останавливаться. Выше я подчеркивал, что нужно использовать уникальную фразу.
Забиваем «Я считаю, что глупо тиранить кандидата вопросами про то, что такое релевантность или формула BM-25 -site:bablorub.blogspot.com
Ничего такой улов!
Но фразу мы взяли не то чтобы слишком удачно — она в популярной статье, которая была много где процитирована или перепечатана.
Берем другую, — ответ Дмитрия на мой вопрос из тех времен когда мы еще не были знакомы лично:
Еще один! Но заодно подсунут и .ru тоже. Заминусуем и его и .tr! Используем длинный запрос: Управление бизнесом влияет сильнее, чем профессиональная деформация. На фоне этого деформация по SEO никак не заметна. -site:bablorub.blogspot.com -site:bablorub.blogspot.ru -site:bablorub.blogspot.tr
Интересно, кончились ли у Гугла зеркала?
Как бы не так!
Забиваем теперь «Управление бизнесом влияет сильнее, чем профессиональная деформация. На фоне этого деформация по SEO никак не заметна. -site:bablorub.blogspot.com -site:bablorub.blogspot.ru -site:bablorub.blogspot.tr -site:bablorub.blogspot.com.tr -site:bablorub.blogspot.com.es -site:bablorub.blogspot.de -site:bablorub.blogspot.dk» (я уже устал…)
Тут я сдался. Доменов у Гугла много куплено, это мы точно выяснили. Желающие могут найти еще и еще.
Практические советы и тонкости
- Стоит использовать не только -site:, но и -inurl:. Иногда это предпочтительнее. Контент бывает растиражирован по разным каталогам сайтов; в адрес таких страниц обычно входит часть домена. Поэтому чтобы не тонуть в них, минусуем не весь домен, а его часть. Тогда если и будут всплывать каталоги, то скорее ссылающиеся на старое зеркало.
- Нужно делать несколько проверок с разными фразами. Желательно брать запросы из старого контента (можно проверять по вебархиву).
- Гугл спокойно переваривает длинные поисковые фразы, где минусуется сразу несколько доменов. Пользуемся этим, чтобы не натыкаться на уже обнаруженные зеркала.
- Один и тот же запрос стоит задавать с фразой в кавычках и без, а затем проверять скрытые результаты. Выдача может сильно отличаться и содержать разные домены.
- Разумеется, мы не можем быть уверены, что найдем абсолютно все зеркала. Но на практике метод работает неплохо. Смотрите пример в комментариях. С помощью одного запроса выявлено сразу 2 зеркала, при том что сервисы находят ноль (лень постить скриншоты, можете проверить сами). Спасибо Ивану за показательный пример.
Удачного использования!
Поделиться
Твитнуть
Поделиться
Отправить
Что такое зеркало сайта? — Крутим Все
Понятие “зеркало сайта” часто можно услышать от веб-мастеров. Именно они чаще всего используют его. Этот термин имеет несколько значений и используется для выполнения разнообразных целей. Например, изменение адреса, для обеспечения мер безопасности и т.д.
Если вы не имеете понятия, что такое зеркало сайта, то сегодня мы попробуем в этом разобраться.
Термин “зеркало сайта”
Зеркало сайта — это его дубликат, самый настоящий клон, который создается, чтобы меньше нагружать основной домен, или же для его поддержки во время различных сбоев и ошибок. Эта копия может отличаться от основного домена, не пугайтесь.
Зеркало сайта, как мы помним, может иметь несколько значений:
- Под этим понятием подразумевается наличие двух одинаковых версий сайта: с “www”, а также без него. Например: “сайт.ru” и “” — это один и тот же сайт, но для любой поисковой машины это два разных сайта, поэтому веб-мастера проводят такое себе объединение сайтов.
- Также под понятием “зеркало сайта” можно понимать основной домен с его точной копией, и они склеены. Веб-мастера делают основной сайт, а копия помогает перенаправлять, как зеркало, пользователей на нужный сайт. Зеркал может быть множество.
- Может быть вариант, когда есть сайт и его неполная (частичная) копия, которая также имеет свой домен и находится на другом сервере. Многие крупные сайты имеют несколько копий, и в случае, когда сайт перегружен или же просто не работает, то пользователя просто перенаправляют на другой сервер.
Для чего нужны “зеркала”?
Для чего вам могут потребоваться дубликаты сайта? Причин может быть множество, а именно:
- Для того, чтобы привязать новый ресурс. Дубликаты сайта чаще всего делают для того, чтобы пользователь мог перейти на более стильный и интересный сайт. Эти два сайта (основной ресурс и его копия) склеиваются. Если вы хотите, то можно копию сделать основным доменом, то есть заменить старый адрес сайта на новый. Сюда относятся сайты, которые после переформатирования становятся не актуальными, и тогда создается копия с новым адресом. Она то и станет главной.
- Можно с помощью зеркал сайта забронировать домен с похожим названием. Что имеется в виду? Ну, например, у вас сайт имеет название “krutim-all.ru”, будет очень разумно забронировать название “all-krutim.ru”, чтобы оно не дасталось конкурентам. Если ваше название очень сложное, и его пишут чаще всего с ошибкой, то логично будет забронировать сразу два варианта написания.
- Для популяризации, продвижения сайта также можно сделать зеркало. Это делается, например, для того, чтобы прорекламировать сайт в других странах, потому что у разных стран название пишется по-разному: “сайт.ru”, “сайт.by”, “сайт.ua” и так далее. Также многие регистрируют не только похожие названия доменов, но и те, что имеют схожий вид деятельности/ тематику и много другое. Например, “shina.ru”, “rezina.ru”, “мир-колес.ru” и так далее.
- Причиной для того, чтобы вы захотели создать дубликат сайта, может быть защита безопасности. Это делается для того, чтобы сайт работал непрерывно. Смысл в том, что домен находится сразу на двух серверах. Что бы ни случилось с первым сайтом, второй будет работать, только на другом сервере. Еще вы можете сделать это для равного распределения нагрузки, что ускоряет саму загрузку сайта.
Что это такое зеркало сайта и зачем оно нужно
Чаще всего владельцы сайтов, которые имеют большую посещаемость, создают для них, так называемое зеркало сайта, или зеркала, всё зависит от решения самого владельца. Сегодня мы поговорим об этом термине, и объясним всё на простых примерах.
Начнём с того, что сам термин зеркало сайта – это частичная или полная копия определённого сайта, с префиксом WWW или без него. Обычно, создаётся, как минимум, два зеркала сайта, которые будут полностью дублировать ресурс, на основе которого они были созданы.
Так как эти зеркала будут иметь разные доменные имена, то поисковик будет обрабатываться их, как два разных домена. Поэтому показатели услуги по SEO продвижению сайта будут распределяться на оба ресурса. Если Вы посчитали некоторые зеркала сайта «лишними», то их можно устранить, методом, так называемой «склейки» зеркал, точнее их IP-адресов.
Что такое главное зеркало сайта
Главное зеркало сайта – это и есть полный дубль главного ресурса, который содержит префикс WWW. То есть, если адрес нашего сайта https://pro-promotion.ru, то адрес его главного зеркала будет выглядеть следующим образом:
Если сайт, что, в принципе, очевидно, работает с какими-либо сервисами, то регистрироваться на них, а точнее, подтверждать права свой сайт, можно, вводя адрес главного зеркала. Таким образом, добавить зеркало сайта в Яндекс Вебмастер и другие различные поисковые системы не составит никаких проблем.
Что значит неглавное зеркало сайта
Мы уже выяснили, какое зеркало является главным, а значит, все остальные зеркала, которые созданы уже, или будут создаваться в будущем — не главными.
Не главных, или, по-другому, второстепенных зеркал у сайта может быть сколько угодно, всё зависит от посещаемости сайта. Конечно, если у Вашего сайта невысокая частотность трафика и низкие показатели посещаемости, то не то что несколько, а даже главное зеркало, по сути и не нужно.
Некоторые сайты используют неглавные зеркала, с целью, распределить большое количество информации, которое тормозит работу основного сайта, по этим, так сказать «филиалам». Это все равно, что открыть бизнес по франшизе потому что, как уже было сказано, так называемыми «филиалами» основного сайта будут его зеркала.
Для чего нужны зеркала сайта
Зеркала сайта нужны, прежде всего, для безопасности основного ресурса. Мы уже говорили о том, что неглавные зеркала создают, с целью распределения информации, если её количество расчёт, а основной сайт не может, без последствий её «выдержать».
Так вот, бывают и такие сайты, на которых информация имеет конфиденциальное значение, которое должно быть недоступно пользователям, не имеющих на это прав. Например, сайт какого-либо архива, которым пользуются люди разных категорий и профессий. Соответственно, посещаемость на этом сайте будет высокая.
Поэтому, владельцы таких сайтов, дабы не рисковать данными, которые на нём хранятся и, уберечь их от взлома и распространения секретной информации, создают зеркала, на которых хранятся лишь общедоступные документы и различные рукописи.
Зеркало сайта так же создаётся с целью безопасности от взлома и потери ценных данных, в случае блокировки основного ресурса. Так же, если зеркало сайта расположено на другом сервере, то при проведении технических или иных работ на основном сайте, весь трафик, и соответственно специалисты, которые, знающие, что такое аудит сайта и как его проводить будут осуществлять это на его зеркале.
Что означает термин Зеркальный сайт?
В мировой сети есть огромное количество оригинальных сайтов, но еще больше зеркальных сайтов и имя им – легион. Сайт-зеркало не является уникальным, не имеет своеобразия, он просто копирует контент других, уникальных ресурсов. Так зачем же разрабатываются сайты-зеркала?
Мнений об их предназначение столько же, сколько и самих зеркал. Конечно же, зеркала создаются с разными целями, но основная задача зеркала – защитить основной сайт при возникновении непредвиденных сбоев работы сервера или равномерно распределить нагрузку, когда сервер подвергается «повышенному» давлению со стороны посетителей. Поэтому зеркала размещаются на самых разных хостингах и посетители автоматически перенаправляются на сайты-зеркала, если основной сайт неработоспособен. Кстати, многие веб-мастера специализируются на зеркалах, размещаю там тизеры и прочую рекламу, что выгодно, если основной сайт популярен и располагает большой аудиторией. Снабдить сайт зеркальным двойников – это все равно, что «купить и установить стеклянную дверь», ведь зеркальный сайт не виден поисковику, но все равно выводится в странице выдачи.
В первую очередь, нужно прояснить – чем же является зеркало сайта? Все сайты индексируются поисковиками, и если поисковик обнаружил копию сайта – неважно полную копию или идентичную только частично – то такая копия будет признана зеркалом. Зеркальными могут быть признаны и сайты, перенаправляющие посетителей на соответствующие страницы другого ресурса.
Нужно пояснить, что поисковик запрограммированы так, чтобы выявлять скопированный или продублированный материал, чтобы не допустить переполнения баз данных излишней информацией. Поэтому поисковик, обнаружив зеркала, «склеивает», объединяет их, получая на выходе основной сайт – этот сайт и будет проиндексирован. Иногда нечистые на руку оптимизаторы (черные оптимизаторы) могут продавать ссылки со своих сайтов-зеркал, имеющих определенные пузомерки. Однако такие ссылки довольно быстро расклеиваются, прекращая свое существование, а посетитель лишается и денег и ссылки. В целом, зеркальные сайты индексируются слабо, занимая в итоговой выдаче низкие места
Проверить сайт на «зеркальность» несложно – для этого предназначен сервис Яндекс-Вебмастер. На страничке сервиса находится пункт добавления нового сайта, которым нужно воспользоваться. Если вписать туда имя сайта, то сервис выдает сообщение, что этот сайт является зеркалом другого сайта. Сервис прост в использовании, а его результаты выдачи понятны любому. Другой вариант проверки – можно использовать аналогичные сервисы, которые широко представлены в сети.
Любопытно, что при поиске зеркал робот может посчитать зеркалом сам основной сайт и наоборот. К примеру, есть основной сайт «moysite.ru», занимающийся продажей аквариумов, а его зеркалом является «www.moysite.ru». Чтобы указать поисковому роботу именно основной сайт, нужно использовать директиву «Host», прописав в файле «robots.txt», расположенном в корне сайта, следующую команду: «Host:moysite.ru». Таким образом, поисковику дана команда считать основным сайтом сайт «moysite.ru». Затем аналогичным образом дается соответствующее указание в файле «robots.txt» зеркального сайта. Важный момент – директива «Host» должна быть прописана только после «User-Agent» и «Disallow». В случае поисковика Google можно поступить проще, указав основной сайт в меню «Настройки». В этом меню есть пункт «Основной домен», где и прописывается основной адрес сайта.
Мы можем создать для ВАС качественный зеркальный сайт на надежных серверах, а также создать для него стратегию продвижения и осуществить её! http://bulgar-promo.ru/sozdanie-saitov
Помимо словаря терминов, на нашем сайте вы можете читать учебные статьи и аналитические обзоры, а также задавать вопросы по интересующим вас вопросам по теме интернет-маркетинга.
Статьи»»»
Мы всегда рады видеть вас на нашем сайте, а также приглашаем вас в нашу группу Вконтакте!
Главное зеркало сайта: как найти
1. Введение
2. Что такое «зеркало сайта»?
3. Как считается индекс цитирования зеркал?
4. Как с этим бороться?
5. Заключение
1. Введение
Поисковые системы, прежде всего, стремятся на запрос пользователя выдавать уникальную информацию. Сегодня по этой причине возникает достаточно проблем с повторяющимися документами. Поисковым машинам невыгодно:
- во-первых, хранить повторяющиеся документы в своей базе;
- во-вторых, засорять свою выдачу одинаковыми документами.
Качество поиска, а также размер индексной базы являются основными показателями, характеризующими любую поисковую систему. В качестве примера можно привести стремительный рост популярности поисковой машины Google (не только за рубежом, но и нашей стране), который идет пропорционально увеличению объема её индексной базы.
Что же касается Яндекса, то кроме технических проблем, которые он успешно решает за счет размещения своей индексной базы на нескольких независимых серверах (так называемая кластерная структура), ему постоянно приходится сталкиваться с проблемой дубликатов документов, происхождение которых разнообразно. Один и тот же документ может быть представлен в различных кодировках и форматах, может содержать незначительные включения в виде даты публикации, рекламы или ремарок другого автора. Постоянному копированию подвергаются новостные ленты, различные юридические и финансовые документы, отдельно взятые статьи.2. Что такое «зеркало сайта»?
Зеркало – полная или частичная (более 80% совпадений) копия Интернет-ресурса (нередко расположенного на другом хосте). Возникать зеркала могут по совершенно разным причинам. С одной стороны – переезд сайта (изменение доменного имени), закрепление за одним и тем же содержанием нескольких доменных имен, вынесение кодировок на поддомены и пр. С другой стороны наличие дубликатов ресурса бывает необходимо владельцам высокопосещаемых Интернет-ресурсов для повышения надежности и доступности их сервиса (например, для разгрузки основного сайта).
Иногда, правда, «зеркала» получаются из-за неправильного определения домена на сервере. Ваш администратор сервера может определить домен domain.ru как *.domain.ru, что в последующем облегчит его жизнь при создании поддоменов третьего уровня. В дальнейшем, при определенных условиях, у вас может получиться неопределенное количество «зеркал» вашего сайта в виде ранее созданных доменов третьего уровня.
Например, на сервере Apache подобная ошибка возникает фактически самопроизвольно (при настройках по умолчанию) – при определении домена третьего уровня для вспомогательных целей.Поисковой же системе хранить дублированные документы в базе, а также засорять выдачу почти одинаковыми документами не рационально – это и трата собственных ресурсов, и падение авторитета в глазах пользователей. Технология Яндекса по выявлению дубликатов постоянно меняется. Это необходимо учитывать, соблюдая при этом определенные правила, например: если сайт имеет несколько «зеркал», то первым индексацию в Яндексе должно пройти главное из них, т.к. остальные идентичные сайты зачастую игнорируются.
Например, если на сайте размещаются статьи, взятые с других Интернет-ресурсов, то, чтобы избежать попадания страницы в дубликат и исключения из результатов поиска, можно разбить текст статьи на отдельные части или включить больше ремарок редактора, перекрестных ссылок на материалы подобной тематики на этом же ресурсе и т.д. И наоборот, если ресурс продвигается за счет публикуемых на нем статей, чтобы после появления статьи на других Интернет-ресурсах не была идентифицирована Яндексом в качестве дубликата, не желательно ставить с данной страницы сайта ссылки на страницы-дублеры, а, наоборот, ссылаться с них на исходную статью.Каждая поисковая машина использует свои собственные механизмы по выявлению и объединению (склейки) зеркал, но они не всегда срабатывают, а зачастую срабатывают не так, как хотелось бы: главным выбирается не то зеркало, которое нужно вам.
3. Как считается индекс цитирования зеркал?
Случается же, что технологии поисковых машин (и, в частности, Яндекса) по выявлению зеркал сайта дают сбой и может возникнуть ситуация, когда в индексах поисковиков хранится несколько копий одинаковых документов. Это негативно сказывается на ссылочные показатели, индекс цитирования (ТИЦ, ВИЦ), PR Интернет-ресурса.
Индексы цитирования так называемых зеркал (алиасов) объединяются, то есть все неповторяющиеся ссылки на зеркальные адреса суммируются под главным адресом. Главный адрес определяется автоматически и не может быть изменен.
При этом зеркалами считаются только сайты, абсолютно идентичные по структуре и содержанию. Если в интернете существует сайт и по нему проставляется редирект, в этом случае его CY никак не будет участвовать при подсчете индекса цитирования основного сайта.Служба поддержки Яндекса советует: «Если вы хозяин ресурса и считаете, что ваш индекс цитирования получился заниженным по одной из этих причин, напишите, пожалуйста, письмо на [email protected]».
4. Как с этим бороться?
Как было сказано, большое количество зеркал засоряет индексные базы поисковых машин и приводит к появлению дубликатов в результатах поиска. Например, когда робот Яндекса (Yandex/1.01.001 (compatible; Win16; H) – робот, определяющий зеркала сайтов) обнаруживает несколько зеркал сайта, он выбирает одно из них в качестве основного, остальные же из индекса удаляются. Если не управлять и не следить за индексированием зеркал, поисковая система самостоятельно выберет понравившееся ей зеркало, и оно может быть не тем, которое вам больше нравится. Преимущественно, главным зеркалом становится домен второго уровня (в сравнении с доменом третьего уровня) и тот домен, на который стоят ссылки с его зеркала. Поэтому на нем крайне не желательно устанавливать список ссылок «Зеркала сайта».
Что же делать, если сайт появляется в результатах поиска не с тем доменным именем? Как это исправить? И как самостоятельно осуществить поиск зеркал сайта?
Есть несколько решений:- удалите все зеркала вашего сайта;
- разместите на главных страницах неглавных зеркал тег < meta name=»robots» content=»noindex, nofollow»>, запрещающий их индексацию и обход по ссылкам;
- измените код главных страниц на неглавных зеркалах так, чтобы все внутренние ссылки были абсолютными и вели на основное зеркало.
При этом есть несколько способов указать роботам поисковых машин на то, какое зеркало нужно считать главным.
Директива Host в robots.txt
Это можно сделать, используя нестандартное расширение стандарта robots.txt – указывать в конце секции директиву Host (нестандартное расширение от Яндекса), в качестве параметра которой указать имя основного зеркала. Если www.domain.ru – главное зеркало, то robots.txt должен выглядеть примерно следующим образом:
User-Agent: *Параметр директивы Host обязан состоять из одного допустимого имени хоста (т.е. соответствующего RFC 952 и не являющегося IP-адресом) и корректного номера порта (по умолчанию – 80), отделенным от имени хоста двоеточием:
Disallow: /admin/
Host: www.domain.ru
Host: www.domain.ru:80Если какой-либо сайт не указан в качестве аргумента для Host, для него подразумевается наличие директивы Disallow: /, т.е. полный запрет индексации (но при наличии хотя бы одной корректной директивы Host). Некорректно составленные строчки, содержащие директиву Host, игнорируются.
В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Host необходимо добавлять в группе, начинающейся с записи User-Agent, непосредственно после записей Disallow (например, поисковая система Google полностью игнорирует секцию, в которой встречается директива Host).
Поэтому, если вы запрещаете индексирование каких-то страниц, для Яндекса есть смысл создать отдельную секцию, например:User-Agent: *
Disallow: /admin/
User-Agent: YandexСтоит заметить, что данный метод срабатывает, если все зеркала физически располагаются на одном сервере.
Disallow: /admin/
Host: www.domain.ru
Абсолютные ссылки
Если вы на своем Интернет-ресурсе будете ссылаться со страницы на страницу с указанием полного адреса главного зеркала, например,
Текст ссылкиа не
Текст ссылкипоисковые системы смогут правильно определить главное зеркало.
Использование директив SSI
Если все зеркала сайта являются абсолютными копиями друг друга и существует возможность динамически формировать robots.txt (с использованием директив SSI), можно использовать robots.txt следующего вида:
User-Agent: *
Disallow: /
В данном случае роботу запрещен обход всех хостов, кроме www.domain.ru.
Как включать SSI, можно прочесть в документации по вашему серверу или обратиться к вашему системному администратору.Серверный редирект
Предлагаемый метод является наиболее правильным и эффективным, но требует поддержки mod_rewrite (в большинстве случаев поддерживается только платными хостингами). В файл .htaccess в корне вашего сайта напишите:
RewriteEngine OnПосле реализации одного из вышеперечисленных методов ваше главное зеркало будет автоматически изменено по мере обхода робота.
RewriteBase /
RewriteCond %{HTTP_HOST} !^www.mainsite.ru$
RewriteRule ^ http://www.mainsite.ru/%{REQUEST_URI} [R=301,L]
5. Заключение
При переезде накопленную популярность сайта можно сохранить только в системе Яндекс (т.е. сохранить ТИЦ и ВИЦ сайта). Поэтому имеет смысл поддерживать и старую версию Интернет-ресурса, если вы также работаете с иностранными поисковыми системами. Если со всех страниц сайта стоит серверный редирект на новые страницы, то новый домен будет считаться главным, а старый со временем будет удален из индексной базы.
Если же при очередной переиндексации будут найдены какие-либо отличия в содержимом различных зеркал, эти зеркала «расклеиваются» поисковыми системами – начинают считаться различными сайтами (каждый с отдельно взятым индексом цитируемости). Но стоит заметить, что при «расклейке» суммарная посещаемость каждого из зеркал (например, зеркала ВКонтакте) может существенно уменьшиться.