Как заставить Yandex корректно индексировать Ajax-сайт, который использует HTML5-режим работы URL?
Есть сайт, работающий с использованием технологии ajax.У сайта есть, например, такой URL:
www.example.com/blog/
При обращении роботом по этому URL возвращается страница с HTML-тегом <meta name="fragment" content="!" />. Так же эта страница не содержит никакого контена внутри себя. Её содержимое выглядит примерно так:
...
<body>
<div></div>
</body>
</html>Далее Yandex обращается по адресу www.example.com/blog/?_escaped_fragment_= и получает полностью сформированную HTML-версию страницы но уже без тега <meta name="fragment" content="!" />.
А вот далее возникает трудность. Когда страница появляется в поисковой выдаче Yandex, она уже находится по адресу www.example.com/blog/#!
Проблема в том, что такие страницы то попадают в поисковую выдачу, то пропадают из нее с пометкой Yandex-вебмастера «Страница обходится роботом, но отсутствует в поиске, поскольку дублирует уже имеющиеся на вашем сайте страницы».
График «Страниц в поиске» Yandex-мастера выглядит так:
Тех. поддержка Яндекса дала такой ответ:
«Увы, такое отображение адресов страниц связано с проблемами с нашей стороны. Наши специалисты уже знают об их существовании, надеемся, в скором времени данные в поиске будут обновлены.»
Понятно, что такое поведение Яндекса связано с тем, что первоначально Ajax-сайты должны были использовать URLы типа www.example.com#!/blog/. Тогда робот Yandex-а обращался бы к странице www.example.com?_escaped_fragment_=/blog/ и в поисковую выдачу попадала бы страница с правильным адресом www.example.com#!/blog/. Но очень уж не хочется иметь такие некрасивые адреса на сайте.
Есть ли какое-нибудь существующее решении проблемы выпадания страниц Ajax-сайтов из поисковой выдачи Yandex?
Очень не хотелось бы:
1. Возвращаться на HTML-версию сайта без Ajax.
2. Переходить на адресацию страниц типа www.example.com#!/blog/
Индексация AJAX-сайтов поисковым роботом Яндекса / Habr
Рады сообщить, что улучшения индексации AJAX-сайтов Яндекс поддержал изменения в поисковом роботе и правилах обработки им URL таких сайтов.Технология AJAX пользуется большой популярностью. Однако то, как содержимое страницы «видит» браузер и пользователь, отличается от того, как страницу «видит» робот поисковой системы. Например, пользователь видит удобный интерфейс с динамически подгружаемыми страницами, в то время как содержимое той же страницы для поискового робота может быть пустым или представленным в виде остального статического HTML-контента страницы, для генерации которого не используются скрипты.
При создании AJAX-сайтов могут использоваться URL с #, но такой URL не используется поисковым роботом. Как правило, часть URL после # отсекается. Поэтому вместо URL вида site.ru/#example он обращается к главной странице сайта, расположенной по адресу site.ru. Это значит, что контент страницы может не проиндексироваться и, как следствие, не попасть в результаты поиска.
Теперь вебмастер AJAX-сайта может указать поисковому роботу Яндекса на необходимость индексации, поддержав соответствующую схему в структуре сайта. Для этого нужно:
1. Заменить в URL страниц символ # на #!.. Так робот будет понимать, что он может обратиться за HTML-версией контента этой страницы.
2. HTML-версия контента этой страницы размещается на URL, где #! заменен на ?_escaped_fragment_=.
Пример:
URL: www.examplesite.ru/#blog
Заменили на: www.examplesite.ru/#!blog
Положили HTML-контент на URL: www.examplesite.ru/?_escaped_fragment_=blog
3. При этом контент главной страницы должен быть доступен по адресу www.examplesite.ru/?_escaped_fragment_=
4. Чтобы робот понимал, что главная страница также на AJAX, нужно разместить мета-тег <meta name=«fragment» content=»!»>. Мета-тег может использоваться на любой странице, сгенерированной с помощью AJAX.
В этом случае страница будет проиндексирована поисковым роботом, а в результатах поиска пользователи увидят «правильные» URL – без
Индексирование AJAX-сайтов роботами Яндекса | Блог
Робот поисковой системы сможет проиндексировать AJAX-сайт, если его структура соответствует определенным критериям. Каждая продвигаемая AJAX-страница, которую необходимо добавить в индекс, должна иметь HTML-версию. Чтобы рассказать роботу о существовании HTML-версии страницы, включите восклицательный знак в URL страницы.
Когда робот найдет в ссылке на страницу сочетание «#!», он запросит ее HTML-версию. HTML-версия страницы AJAX-сайта должна быть доступна по адресу, в котором вместо сочетания «#!» присутствует параметр «?_escaped_fragment_=». В нашем случае HTML-версия страницы должна быть расположена по адресу httр://www.ехаmple.ru/?_escaped_fragment_=blog.
Во всех обнаруженных ссылках поисковый работ меняет сочетание «#!» на параметр «?_escaped_fragment_=» и обращается к странице по новому адресу.
Что касается главной страницы сайта, то ее HTML-версия должна иметь в своем адресе «?_escaped_fragment_=». Например: http://site.com/?_escaped_fragment_=. Не забудьте о том, что значение параметра должно быть пустым.
Но описанный выше способ не является единственным. Чтобы рассказать поисковому роботу о существовании HTML-версии страницы, вы можете включить в ее код метатег meta name=»fragment» content=»!»
В HTML-версии документа метатег размещать нельзя, иначе страница не попадет в индекс поисковой системы.
Ссылка в выдаче направит пользователя на AJAX-версию страницы.
Индексация ajax страниц Яндексом
Все большей популярностью у разработчиков сайтов пользуется технология AJAX. Несомненно, у нее есть широкие возможности – в частности, она позволяет разрабатывать интерактивные веб-страницы, которые выделяются своим быстродействием и производительностью.
Однако то, как содержимое страницы «видит» браузер и пользователь, отличается от того, как страницу «видит» робот поисковой системы. Например, пользователь видит удобный интерфейс с динамически подгружаемыми страницами, в то время как содержимое той же страницы для поискового робота может быть пустым или представленным в виде остального статического HTML-контента страницы, для генерации которого не используются скрипты.
При создании AJAX-сайтов могут использоваться URL с #, но такой URL не используется поисковым роботом. Как правило, часть URL после # отсекается. Поэтому вместо URL вида http://site.ru/#example он обращается к главной странице сайта, расположенной по адресу http://site.ru. Это значит, что контент страницы может не проиндексироваться и, как следствие, не попасть в результаты поиска.
Для улучшения индексации AJAX-сайтов мы поддержали изменения в поисковом роботе и правилах обработки им URL таких сайтов.
Теперь вебмастер AJAX-сайта может указать поисковому роботу Яндекса на необходимость индексации, поддержав соответствующую схему в структуре сайта. Для этого нужно:
1. Заменить в URL страниц символ # на #!. Так робот будет понимать, что он может обратиться за HTML-версией контента этой страницы.
2. HTML-версия контента этой страницы размещается на URL, где #! заменен на ?_escaped_fragment_=.
Пример:
Положили HTML-контент на URL: http://www.examplesite.ru/?_escaped_fragment_=blog
URL: http://www.examplesite.ru/#blog
Заменили на: http://www.examplesite.ru/#!blog
3. При этом контент главной страницы должен быть доступен по адресу http://www.examplesite.ru/?_escaped_fragment_=
4. Чтобы робот понимал, что главная страница также на AJAX, нужно разместить мета-тег <meta name=»fragment» content=»!»>. Мета-тег может использоваться на любой странице, сгенерированной с помощью AJAX.
В этом случае страница будет проиндексирована поисковым роботом, а в результатах поиска пользователи увидят «правильные» URL – без
?_escaped_fragment_=.
| У данной записи пока нет ниодного комментария |
Индексирование сайтов на ajax, как настроить правильное сканирование ajax-сайтов
Среди оптимизаторов за многие годы сложился стереотип, что сайт, сделанный на ajax — это множество проблем с индексированием и ранжированием в поисковых системах. В стереотипе есть доля истины, так как без оптимизации сайта для корректного сканирования в поисковых системах, страницы сайта не будут индексироваться, а следовательно и ранжироваться.
Основная проблема заключается в том что у сайтов на Ajax все url-адреса страниц реализованы через хеш тег #. Как мы уже знаем страницы с # не индексируются поисковыми системами. Следовательно поисковые системы не могут обнаружить динамически генерируемый контент на сайте.
Как решить эту проблему и сделать так чтобы сайт на Ajax корректно индексировался и ранжировался в соответствии со своей релевантностью — мы разберем в этой статье.
Для начала нужно ознакомиться с рекомендациями поисковых систем :
Справка Яндекс
Справка Google
Рассмотрим оптимизацию ajax сайта на примере:
1. Для начала необходимо переписать ссылки в URL. Если они содержат решетку (#) — нужно поставить после неё восклицательный знак (!).
http://www.keragros.com/#sertifikat-keramogranit-cf/c1pry → http://www.keragros.com/#!sertifikat-keramogranit-cf/c1pry
2. HTML-версия каждой AJAX-страницы должна быть доступна по адресу, в котором сочетание «#!» заменено на GET параметр «?_escaped_fragment_=»
http://www.keragros.com/#!sertifikat-keramogranit-cf/c1pry →
http://www.keragros.com/?_escaped_fragment_=sertifikat-keramogranit-cf/c1pry
?_escaped_fragment_=sertifikat-keramogranit-cf/c1pry
3. На AJAX-странице необходимо прописать тег :
<meta name=»fragment» content=»!»>
meta name=»fragment» content=»!»> |
Пример:
http://www.keragros.com/#!sertifikat-keramogranit-cf/c1pry
4. Для ускорения индексации страниц сайта можно сформировать полную карту сайта в формате .xml. Ссылки на страницы сайта можно указывать с фрагментом #!, это не будет проблемой для индексации.
5. После того как все эти изменения будут реализованы, нужно дождаться индексации, а после проверить как индексируются страницы сайта: весь ли контент проиндексировали поисковые роботы или нет.
Для этого необходимо выполнить сравнение ajax-версии страницы и сохраненной копии. В качестве теста возьмем страницу http://www.keragros.com/#!rulyef-keramogranit-rostov/cafl.
Google :
Яндекс :
Страницы корректно индексируются поисковыми системами, весь контент есть в сохраненной копии.
Как делать не нужно
Также хотелось бы привести пример сайта, где не выполнены рекомендации поисковых систем по сканированию сайтов на Ajax. Сайт, используя который, можно легко подобрать предметы интерьера — http://indoor.kiev.ua/. Удобный интерфейс, интересная задумка проекта, качественные изображения и креативный подход.
Но все эти достоинства не увидят поисковые системы, так как не могут просканировать страницы данного ресурса :
Google:
Яндекс:
Проиндексирована только главная страница, а это значит что данный проект теряет пользователей из поисковых систем.
Вывод
Продвижение сайтов на ajax отличается лишь внедрением дополнительных рекомендаций поисковых систем по корректному сканированию страниц сайта. Никаких проблем со сканированием/индексированием/ранжированием не будет.
Алина Глазырина
главный редактор блога Inweb
Если вы нашли ошибку, выделите участок текста и нажмите Ctrl + Enter или воспользуйтесь ссылкой, чтобы сообщить нам.
Яндекс решил проблему с AJAX-сайтами
Чтобы указать поисковому роботу Яндекса на необходимость индексации, вебмастер должен поддержать соответствующую схему в структуре сайта. Для этого нужно:
1. Заменить в URL страниц символ # на #!. Таким образом робот будет понимать, что он может обратиться за HTML-версией контента этой страницы.2. HTML-версия контента страницы размещается на URL, где #! заменен на ?_escaped_fragment_=.
Пример:
URL: http://www.examplesite.ru/#blog
Заменили на: http://www.examplesite.ru/#!blog
Положили HTML-контент на URL: http://www.examplesite.ru/?_escaped_fragment_=blog
3. Стоит учесть, что контент главной страницы должен быть доступен по адресу: http://www.examplesite.ru/?_escaped_fragment_=
4. Чтобы робот понимал, что главная страница также на AJAX, нужно разместить мета-тег < meta name=»fragment» content=»!»>. Он может использоваться на любой странице, сгенерированной с помощью AJAX.
В результате страница будет проиндексирована поисковиком, и пользователи увидят «правильные» URL – без ?_escaped_fragment_=.
Новость сама по себе, конечно, положительная. Развитие технологий сайтостроения не должно идти в противоречие с алгоритмами индексации подобных сайтов поисковыми системами. То, что Яндекс ищет варианты выхода – это хорошо. А вот путь, когда поисковая система перекладывает свои проблемы на плечи не всегда технически подкованных владельцев сайтов и вынуждает их в какой-то степени использовать «костыли», не совсем верный, — замечает Анатолий Скальский, менеджер отдела поискового продвижения агентства интернет-рекламы i-Media.А что думаете вы о таком способе Яндекса улучшить индексацию сайтов на AJAX? Делитесь в комментариях.
Яндекс улучшает индексацию AJAX-сайтов — Searchengines.ru
Команда поиска Яндекса сообщила об улучшении индексации AJAX-сайтов, использующих URL с #. Теперь вебмастер AJAX-сайта сможет указать поисковому роботу Яндекса на необходимость индексации, поддержав соответствующую схему в структуре сайта. Для этого нужно:
1. Заменить в URL страниц символ # на #!. Так робот будет понимать, что он может обратиться за HTML-версией контента этой страницы.
2. HTML-версия контента этой страницы размещается на URL, где #! заменен на ?_escaped_fragment_=.
Пример:
URL: http://www.examplesite.ru/#blog
Заменили на: http://www.examplesite.ru/#!blog
Положили HTML-контент на URL: http://www.examplesite.ru/?_escaped_fragment_=blog
3. При этом контент главной страницы должен быть доступен по адресу http://www.examplesite.ru/?_escaped_fragment_=
4. Чтобы робот понимал, что главная страница также на AJAX, нужно разместить мета-тег. Мета-тег может использоваться на любой странице, сгенерированной с помощью AJAX.
Так робот Яндекса сможет проиндексировать AJAX-сайт, главное, чтобы его структура подчинялась определенным правилам.
Оптимизаторы и вебмастера встретили эту новость с энтузиазмом:
Елена Камская (SeoLib): «Это отличная новость для всех web-разработчиков, мы давно этого ждали. В прошлом не раз приходилось отговаривать клиентов от AJAX или использовать его минимально, чтоб не мешать индексации. Надеюсь, что теперь таких проблем не будет».
Олег Сахно (ИнтерЛабс): «AJAX-интерфейс сайта всегда был камнем преткновения между заказчиками и оптимизаторами. Заказчика можно понять: современные технологии, сайт более интерактивен, не надо заставлять пользователя ждать загрузки новой страницы. Но для оптимизаторов подгружаемый контент был большой проблемой. Приходилось искать компромиссы и содержимое некоторых документов дублировать на страницах с постоянным URL. При должной скорости индексации и отсутствии проблем со стороны индексирующего робота, возможность передавать параметры ajax-скрипта позволит, например, сделать поиск по каталогу товаров более удобным для пользователя».