Склейка зеркал сайта путем настройки 301 редиректа.

Перед многими начинающими оптимизаторами и вебмастерами встает вопрос о склейке зеркал сайта, который приобретает в лице каждого неопределенное значение. И не всем понятно зачем склеивать зеркала сайта. Ну есть сайты, есть зеркала и что с этого? На самом деле склейка зеркал сайта способствует склейке не только доменных имен, но и возраста документов, а также склейке ссылочной массы, которая накопилась за момент существования проекта.

Что такое зеркала сайта – алиасы?

Зеркала сайта – это копии одного и того же сайта, например www.site.ru и site.ru будут считаться зеркалами. Если 2 сайта, например site1.ru и site2.ru содержат одинаковый контент, их также принято считать зеркалами. Если поисковые системы обнаружат, что сайты идентичны друг другу, то с 99% вероятностью наложат аффилиат фильтр на подобные сайты и выберут из нескольких одинаковых сайтов только один, который будет присутствовать в выдаче. в ряде случаев может возникнуть ситуация, когда страницы одинаковых сайтов будут частично присутствовать в выдаче. Вторым понятием, которым принято называть зеркала сайта в кругу оптимизаторов и вебмастеров –

алиасы, если перевести понятие алиас с английского, то оно означает “синоним”. Так вот, чтобы исключить наложение фильтров на алиасы необходимо их склеить.

Как склеить зеркала сайта и на что влияет склейка зеркал?

Приведу конкретный пример: у Вас есть сайт, который доступен по адресу www.mysite.ru и mysite.ru. Пусть продвигая страницу mysite.ru/1.php, например Вы проставляете ссылки самостоятельно, путем покупки на других сайтах или каким-то другим способом, плюс данная страница также будет интересной и привлекательной, что пользователи сами будут проставлять ссылки, но проставленные ссылки будут, как вида www.mysite.ru/1.php, так и mysite.ru. А из-за того, что поисковиками воспринимаются сайты с www и без www как 2 разных сайта, наращивание ссылочной массы на 2 разных зеркала не позволит добиться максимальной эффективности от раскрутки

. Как раз для этого и существует склейка зеркал сайта.

Для того, чтобы правильно склеить несколько зеркал сайта и оставить в выдаче только главное зеркало, необходимо провести последовательно ряд действий, чтобы не получилось как на моем первом опыте склейки, когда позиции сайта в Яндексе на целый месяц просели за ТОП-200 практически по всем запросам. С Google все оказалось гораздо проще, но вот с Яндекс иначе. Допустим основным зеркалом необходимо назначить site.ru, а site1.ru,site2.ru, www.site1.ru, www.site2.ru и www.site.ru склеить. Выполняем следующее:

• Прописываем инструкцию для всех поисковых роботов в файле Robots.txt, следующего вида: Host: site.ru.
• В вебмастере Яндекса выбираем основное зеркало сайта site.ru, по умолчанию флажок стоит всегда на пункте: “на усмотрение поискового робота”.
• Ожидаем, пока не поступит от технической поддержки Яндекс письмо на почту Яндекса о том, что зеркало site.ru назначено главным. Если прошло 2 аппа поисковой выдачи Яндекс и письмо не поступило, то проверяем выдачу по основному запросу, по которому сайт находился в выдаче, находим сниппет в результатах выдачи и наводим указатель мыши на заголовок сниппета, если подсветилась ссылка site.ru, то все гуд, переходим к следующему пункту, иначе пишем в службу поддержки и интересуемся данным вопросом.
• настройка 301 редиректа в файле .htaccess.

301 редирект – это сообщение роботу поисковой системы о том, что документ перенесен навсегда на указанный адрес.

Настройка 301 редиректа в файле .htaccess

Для того, чтобы осуществить настройку 301 редиректа, необходимо зайти на FTP сервер через тот же Total Commander в папку зеркала сайта, например site1.ru и прописать следующие строки, которые позволяют перенаправить пользователей с адреса site1.ru и www.site1.ru по адресу выбранного нами главного зеркала site.ru.

RewriteEngine on RewriteCond %{HTTP_HOST} ^site1.ru$ [OR] RewriteCond %{HTTP_HOST} ^www.site1.ru$ RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

RewriteEngine on RewriteCond %{HTTP_HOST} ^site1.ru$ [OR] RewriteCond %{HTTP_HOST} ^www.site1.ru$ RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

Аналогичную процедуру необходимо будет провести и для всех остальных зеркал сайта, достаточно будет только поменять названия сайтов во второй и третьей строке.

Для склейки зеркал основного сайта site.ru и www.site.ru строки будут немного отличаться, поэтому прописать надо будет следующий код.

RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.(.*) [NC] RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.(.*) [NC] RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

Если Вы вдруг решите выбрать основное зеркало с www, то код будет выглядеть так:

RewriteEngine On RewriteCond %{HTTP_HOST} !^www\.(.*) [NC] RewriteRule ^(.*)$ http://www.%1/$1 [R=301,L]

RewriteEngine On RewriteCond %{HTTP_HOST} !^www\.(.*) [NC] RewriteRule ^(.*)$ http://www.%1/$1 [R=301,L]

Не паникуйте, если после склейки зеркал позиции сайта просядут в выдаче, это возможно в тот момент, когда главное зеркало было с www, а решили назначить главным без www. В дальнейшем накопленная ссылочная масса также склеится и позиции ресурса будут выше, но необходимо помнить, что не только одни ссылки влияют на выдачу, ресурсы необходимо развивать, как в плане удобства, так и в плане полезности для пользователей.

На этом все, возникшие вопросы можете оставлять в комментариях. Удачи Вам в склеивании зеркал.

Редирект, зеркала www / https какой порядок действий? — Хабр Q&A

Вопрос задан как-то странно, но я попытаюсь ответить.

Пытаюсь разобраться с редиректами…

Нужно открыть файл .htaccess (вы же нашли где он находится?)
В нём по очереди прописывать правила и менять их порядок, если это потребуется.
Я бы писал в следующем порядке:

1. Правило 301 редиректа на https;
   
2. Правило 301 редиректа с www на без www;
   
3. Правило 301 редиректа на добавление или удаление слэша;
   

Примеры:

RewriteEngine On
RewriteBase /
# https
RewriteEngine On
RewriteCond %{ENV:HTTPS} !on
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
# www.site.ru -> site.ru
RewriteCond %{HTTP_HOST} .
RewriteCond %{HTTP_HOST} ^www.(.*)$ [NC]
RewriteRule ^(.*)$ https://%1/$1 [R=301,L]
# + /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_URI} !(.*)/$
RewriteRule ^(.*[^/])$ $1/ [L,R=301]

Добавляя каждое правило проверяйте, чтобы оно выполнялось.
Сами правила скорее всего придётся погуглить, так как даже вариантов перехода на https я помню около 3-4, из которых некоторые могут не работать именно у вас.
Ну и порядок меняйте, если при подключении одного другое отключается.

Теперь отвечаю на последний вопрос:

как при поисковой выдаче дать пользователю https://example.ru?

Регистрируете Яндекс.Вебмастер и Google Search Console.
В Яндекс.Вебмастере указываете желаемый адрес(т.е. с https, если я правильно понял ваше желание) и подтверждаете права на него.
Или пользуетесь кнопкой «Переезд сайта», если уже используете Вебмастер.
В графе переезд можно добавть/убрать https и www.
Изменения произойдут не сразу, приготовьтесь подождать.

В Google Search Console добавьте желаемый вариант отображения.
Хотите с https — добавляйте с https.

Добавив с обе панели нужную версию не забудьте пройтись по остальным настройкам, указать путь к sitemap.xml, если планируется добавление других страниц.

Это что касается вопроса о выдаче, но оно не будет работать, пока вы не сделаете редиректы.
Если вы всё сделали (редиректы настроены и работают, в вебмастере добавлены новые сайты с https), а в выдаче сайт всё ещё без https, то ждите и проверяйте что пишет вебмастер.

joomla-abc.ru

 

Вступление

С первых шагов создания сайта нужно думать о его поисковой оптимизации. Одним из важных моментов оптимизации является склейка зеркал сайта. Так как изначально (при покупке хостинга) ваш сайт доступен по двум адресам ваш_сайт.com и www.ваш_сайт.com поисковые машины изначально будут держать в поисковой выдаче страницы сайта с wwwтак и без www. Для объединения поисковой выдаче по зеркальным доменам и предназначена склейка зеркал.

Замечу, что поисковые машины не будут держать в памяти зеркальные сайты, как разные ресурсы. И даже если не предпринять никаких мер по склейке зеркал , в конце концов ,поисковики сами выберут главное зеркало сайта и только главное зеркало, будет участвовать в выдаче. Правда, стоит отметить, что разные поисковики по-разному определяют главное зеркала сайта. Из- за этого, два основных способа склейки зеркал сайта, нужно по-разному использовать для оптимизации у разных поисковых машин. Разберем основные способы склейки зеркал сайта подробнее.

Два способа склейки зеркал сайта

Чтобы склеить зеркала сайта и из всех из них выделить главное зеркало сайта, домен который будет участвовать в поисковой выдаче, существуют два основных метода. Первый, при помощи дополнительно директивы в файле Robots.txt сайта и второй, при помощи дополнительной функции прописанной в файле .htaccess сайта.

Склейка зеркал сайта Joomla при помощи файла robots.txt

Этот метод склейки зеркал сайта работает только для поисковика Яндекс

Файл Robots.txt это своеобразные правила для поисковых машин, как сканировать сайт. Прописывая в файле robots.txt дополнительную директорию Host, вы можете указать, какое зеркало вашего сайта главное.

Синтаксис директории Host следующий:

Директива Host для главного зеркала www.glavnoye-zerkalo.ru

#Если www.glavnoye-zerkalo.ru главное зеркало сайта, то 
#robots.txt для всех сайтов из группы зеркал выглядит так 
User-Agent: *
Disallow: /forum
Disallow: /cgi-bin
Host: www.glavnoye-zerkalo.ru

Правильное применение директивы Host.сразу после Disallow.

#Пример корректно составленного robots.txt, при обработке 
#которого директива Host учитывается
User-Agent: *
Disallow:
Host: www.myhost.ru

Примеры игнорируемых директиы Host из-за ошибок оформления

# Примеры игнорируемых директив Host
Host: www.myhost-.ru
Host: www.-myhost.ru
Host: www.myhost.ru:100000
Host: www.my_host.ru
Host: .my-host.ru:8000
Host: my-host.ru.
Host: my..host.ru
Host: www.myhost.ru/
Host: www.myhost.ru:8080/
Host: http://www.myhost.ru
Host: 213.180.194.129
Host: www.firsthost.ru,www.secondhost.ru
Host: www.firsthost.ru www.secondhost.ru

Примеры применения директив Host

# domen.myhost.ru является главным зеркалом 
# www.domen.myhost.ru, тогда корректное использование 
# директивы Host такое:
User-Agent: *
Disallow:
Host: domen.myhost.ru
# domen.myhost.ru является главным зеркалом 
# www.domen.myhost.ru, тогда некорректное использование 
# директивы Host такое:
User-Agent: *
Disallow:
Host: myhost.ru

Но прописка директории Host в файле robots.txt не работает для поисковика Google, Bing и многих других. Для указания этим поисковикам, какое зеркало вашего сайта главное, нужно использовать 301 редирект прописанный в файле .htaccess сайта.

301 редирект прописанный в файле .htaccess

301 редирект это упрощенное название постоянной ошибки (301) при открытии сайта и перенаправление посетителя на другой веб адрес.

В варианте склейки зеркал, мы выбираем не главное зеркало, определяем на нем ошибку раскрытия и перенаправляем на главное зеркало сайта. Называется эта функция перенаправления mod_rewrite и прописывается она следующим образом.

Важно! Моя практика показывает, коды приведенные ниже работают не на всех хостингах и не со всеми расширениями Joomla.

Сделать главным зеркалом сайта домен без WWW

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

Наоборот:Сделать главным зеркалом домен с WWW

RewriteEngine On
RewriteCond %{HTTP_HOST} !^www\.(.*) [NC]
RewriteRule ^(.*)$ http://www.%1/$1 [R=301,L]

Перенаправить гостей с сайта my.example.edu на сайт example.edu

RewriteEngine on
    RewriteCond %{HTTP_HOST} ^ my.examle.edu  $ [OR]
    RewriteCond %{HTTP_HOST} ^www.my.examle.edu $
    RewriteRule ^(.*)$ http:// examle.edu /$1 [R=301,L]

Важно! При использовании функции mod_rewrite она должна поддерживаться вашим хостингом. Кроме этого для CMS Joomla,нужно включить mod_rewrite.Сделать это можно следующим образом:

1.Если вы не установили SEO компоненты для своего сайта, нужно включить Перенаправление URL в административной панели >>> Сайт >>> Общие настройки >>> SEO настройки.

2.если вы установили один из SEO компонентов Joomla (Artio JoomSEF или sh504), то mod_rewrite включается непосредственно из панелей этих расширений. Там же можете сделать 301 зеркал сайта.

Автоматическая склейка зеркал сайта Joomla

Если не предпринимать никаких действий по изменению robots.txt и htaccess сайта. Для склейки зеркал, рано или поздно, поисковики сами определят из двух сайтов с одинаковым содержанием, какой выбрать за главное зеркало, а какой за второстепенное.

Если у вас на сайте еще нет проиндексированный страниц, для Яндекс можно указать главное зеркало в инструментах веб мастеров Яндекс.

Веб мастер Яндекс>>> Мои сайты>>> Общие настройки >>> Настройки оптимизации >>> Главное зеркало, где указываете, какой домен является главным или оставляете выбор на усмотрение робота.

Примечание: Автоматическая склейка зеркал, возможна только для сайтов с одинаковым контентом (содержанием)

В какой последовательности использовать склейку зеркал при помощи robots.txt и .hteccess

Если применить два метода склейки зеркал (при помощи robots.txt и .hteccess) одновременно, то поисковик Яндекс может отреагировать на это отрицательно. Поэтому, если вы не оптимизируете сайт для определенного одного поисковика, то сначала нужно прописать директиву Hostв файле robots.txt ,для поисковика Яндекс. Дождаться когда Яндекс склеит зеркала. А уж потом прописать 301 редирект в файле .htaccess.

На этом все. Этими способами склейка зеркал сайта Joomla может быть осуществлена!

©Joomla-abc.ru

Другие статьи раздела: Поисковая оптимизация Joomla

 

Склейка и расклейка зеркал сайта. Как настройка главного зеркала сайта влияет на его продвижение?

Что такое зеркало сайта?

Зеркало сайта – точные и частичные копии сайта, доступные под разными адресами. Обычно они определяются путем сравнения контента на страницах с одинаковыми адресами, например site1.ru/index.php и site2.ru/index.php. В большинстве случаев www.site.ru и site.ru также являются зеркалами, т.к. являются для поисковиков сайтами с одинаковым содержанием, но расположенными по разным адресам.

На что влияет?

Если поисковые работы находят в интернете одинаковые сайты, то они идентифицируют их как «зеркала». Как всем известно, основная задача поисковых систем заключается в предоставлении пользователям наибольшего объема уникальной информации. При этом поисковые алгоритмы постоянно развиваются и усовершенствуют методы борьбы с дублирующимся контентом, удаляя неуникальные документы из индекса.

Поэтому все найденные зеркала склеиваются поисковыми роботами, а в индексе остается только один сайт, который считается основным зеркалом.

Если не произвести необходимые настройки, то алгоритмы поисковых систем могут выбрать в качестве основного зеркала совсем не тот сайт, который нужен нам для продвижения. Чтобы этого избежать, рекомендуется своевременно выполнить ряд работ по склейки всех зеркал, с указанием нужного сайта в качестве главного зеркала.

Склейка зеркал также необходимо выполнять в случае сменяя доменного имени, это позволит сохранить показатели авторитетности сайта (тИЦ и PR), а также передать вес от имеющихся ссылок.

Как узнать, что сайт — неглавное зеркало

Если существует сайт, который находится не в индексе поисковой системы и есть подозрение, что он является неосновным зеркалом какого-либо ресурса, то стоит добавить его к индексации на странице «Сообщить о новом сайте». Если появилось соответствующее сообщение, то ресурс склеин:

Способы склейки зеркал

Существует несколько способов склеить все зеркала и показать поисковым системам, какая из копий сайта является основной. Некоторые из представленных способов подходят только для настройки корректной обработки зеркал в пределах одного домена, другие подходят для сайтов, расположенных на разных доменах.

Директива Host. Главное зеркало сайта можно указать в файле robots.txt помощи директивы Host. Ее обычно пишут после директив Disallow:

User-Agent: *
Disallow: /admin/
Disallow: /index.php
Host: www.domain.ru

Директива Host корректно обрабатывается только поисковой системой Яндекс, поэтому ее рекомендуют использовать одновременно с другими способами настройки зеркал.

Ссылочная структура. Помочь поисковой системе правильно выбрать основное зеркало сайта можно, использую грамотную ссылочную структуру (актуально, если на сайте используются абсолютные ссылки). Необходимо, чтобы все ссылки с внутренние ссылки сайта вели на страницы, принадлежащие правильному зеркалу.

Если в качестве главного зеркала сайта мы выбираем www.site.ru, то рекомендуется все ссылки вида http://site.ru/page.html поменять на http://www.site.ru/page.html

301 редирект. Один из самых эффективных и поэтому наиболее часто применяемый способ указать главное зеркало – настройка серверного редиректа. Для его реализации необходимо добавить в файл .htaccess следующую информацию:

RewriteEngine on
RewriteCond %{HTTP_HOST} ^site.ru
RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]
RewriteBase /

Яндекс.Вебмастер. Указать главное зеркало сайта можно и в панели инструментов Яндекс.Вебмастер. Для этого необходимо добавить сайт и перейти в пункт «Главное зеркало» раздела «Настройка индексирования». Там можно самостоятельно выбрать один из вариантов (с www или без) или оставить на усмотрение робота:

Не стоит забывать, что данные, указанные в панели инструментов, будут учитываться только поисковой системой Яндекс.

Google Webmaster Tools. Указать основное зеркало сайта можно и в панели Google Webmaster Tools. Для этого необходимо добавить ваш сайт в инструменты для вебмастеров и перейти в пункт «Настройки» раздела «Конфигурация сайта»:

В Webmaster Tools можно самостоятельно выбрать один основной домен, который будет участвовать в основном поиске Google.

После выполнения одного из способов настройки основного зеркала и индексации поисковыми роботами, произойдет выбор главного зеркала и только по этому адресу сайт станет доступен в поисковых системах. Данный процесс может занять некоторое время.

Расклейка зеркал

Если сайты перестают быть зеркалами и начинают предоставлять пользователем различные контент, то происходит автоматическое расклеивание ресурсов. Поисковая система Яндекс, утверждает, что ее алгоритмы осуществляют расклейку сайтов в течение 1-2 недель.

Можно ли улучшить кастом для конфига .htaccess? — Хабр Q&A

Добрый день коллеги, сразу прошу не коментировать тех кто не понимает про что идет разовор.
Написал стандартный кастом для сайтов, посколку надоело каждый раз делать одну и ту же работу на всех проектах.
Задача:
Собрать стандартные редиректы для SEO отптимизации сайтов (склейка зеркал и т.д.)
Оптимизировать код:
Добавить как можно больше стандартных кейсов.
НЕ ВХОДЯТ:
редиректы с урла на урл поскольку это дело каждого сайта, только общие!

Вчера набросал файлик, кастома для .htaccess, разрабатаывал дял Bitrix но подойдет для большенства движков.
Последняя версия файла: klondike-studio.ru/useful_materials/standartnyy-ht…

############################################################################
####  Cтандартный .htaccess для проектов студии Клондайк, версия 2.0    ####
############################################################################
RewriteEngine On
# Директива включает редиректы.
RewriteBase / 
# Без директивы (.*) = /$1 будет /var/wwww/site/web/$1  с директивой  = /$1
Options +FollowSymLinks
# Разрешает переход по символическим ссылкам.

############################################################################
#### Перенаправляем протокол https на http                              ####
############################################################################
RewriteCond %{HTTPS} on
# Проверяем наличие https в URL
RewriteRule ^.*$ http://%{SERVER_NAME}%{REQUEST_URI}
# Перенаправляем протокол на http

############################################################################
#### Выбор основного зеркала (или с www или без www)                    ####
############################################################################
# 1. Редирект с www на без www. (раскоментировать директивы пункта 1.1)
#RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]
# Проверяет, содержит ли домен www (в начале URL).
#RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
# Перенаправляет URL на домен без www.
####
# 2. Редирект без www на www. (раскоментировать директивы пункта 1.2)
#RewriteCond %{HTTP_HOST} !^www\.(.*) [NC]
# Проверяет, не содержит ли домен www (в начале URL).
#RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L]
# Перенаправляет URL на домен c www.

############################################################################
#### Убираем повторяющиеся слеши (/) в URL                              ####
############################################################################
RewriteCond %{REQUEST_URI} ^(.*)/{2,}(.*)$
# Проверяем, повторяется ли слеш (//) более двух раз.
RewriteRule . %1/%2 [R=301,L]
# Исключаем все лишние слеши.

############################################################################
#### Убираем слеши в конце URL для статических файлов (содержит точку)  ####
############################################################################
RewriteCond %{REQUEST_URI} \..+$  
# Если файл содержит точку.
RewriteCond %{REQUEST_FILENAME} !-d   
# Это не директория.
RewriteCond %{REQUEST_URI} ^(.+)/$      
# И в конце URL есть слеш.
RewriteRule ^(.+)/$ /$1 [R=301,L]     
# Исключить слеш.

############################################################################
#### Добавляем слеш(/), если его нет, и это не файл.                    ####
############################################################################
RewriteCond %{REQUEST_URI} !(.*)/$
#Если слеша в конце нет.
RewriteCond %{REQUEST_URI} !\..+$
#В URL нет точки (файл).
RewriteRule ^(.*)$ $1/ [L,R=301]
#Добавляем слеш в конце.

############################################################################
####  Убираем index.php, если он есть в конце URL                       ####
############################################################################
RewriteCond %{REQUEST_METHOD} =GET
# Выявляем GET запрос в URL (не POST)
RewriteCond %{REQUEST_URI} ^(.*)/index\.php$
# URL cодержит index.php в конце.
RewriteRule ^(.*)$ %1/ [R=301,L]
# Удалить index.php из URL.

############################################################################
#### Конец общее части, далее следует собственные директивы .htaccess   ####
############################################################################

Далее следует остальная часть .htaccess

У кого будут сображения на этот счет, может как-то улучшить, или добавить недостающих правил,
Есил найдется что добавить пишите что и почему.