Нельзя

Спамить и использовать ссылки с плохих каталогов и справочников.

Как переиндексировать сайт в Яндексе?

Переиндексация – это переобход уже проиндексированных страниц сайта в базу. Здесь работают те же методы, плюс, можно сделать перелинковку между новым и существующим контентом. Также с лета 2016 года «Яндекс» запустил сервис переобхода страниц. В него можно добавить до 10 URL в сутки, которые робот «Яндекса» принудительно посетит и скачает весь контент.

Индексация сайта в «Гугле»?

Здесь работает все то же самое, сперва нужно зарегистрировать сайт в аналоге «Вебмастера» – Google Search Console. Единственное отличие – вместо вставки кода на сайт нужно будет загрузить специальный файл. Затем загрузите карту сайта (sitemap.xml).

Если вы добавляете sitemap, Google сразу же учтет все страницы сайта. Если сделать все нужно срочно, воспользуйтесь способами, которые я описал выше – с «Гуглом» они работают так же прекрасно.

Как проиндексировать сайт в поиске Mail.ru?

Здесь такая же ситуация – все действия совершенно стандартны: зайдите в Кабинет вебмастера, добавьте ссылку на сайт, вставьте выданный код к себе на страницу, подтвердите и загрузите карту сайта. А затем работайте со ссылками, как и в случае с «Яндексом» и «Гуглом».

Как узнать, проиндексирован ли сайт в поисковиках?

Можно воспользоваться собственными сервисами ПС или отдельным инструментом, например webmasters.ru. В первом случае можно посмотреть, какие страницы сайта есть в выдаче «Яндекса», «Гугла» и «Мейла», а во втором – просто узнать их количество, зато быстро и без лишней возни.

Если пустить все на самотек, то быстро проиндексировать сайт в поисковых системах вряд ли получится – они сделают все как и когда хотят. Поэтому ПС нужно помочь: засветить ссылку на свою страницу в трастовых источниках и соцсетях (не перебарщивая). Так вы сможете ускорить индексацию и побыстрее перейти к продвижению ресурса. Если этого не сделать, то роботы поисковых систем обязательно до вас доберутся, но сайт будет «висеть» днями, неделями, а то и месяцами.

Как быстро проиндексировать страницы сайта

Хватит неделями ждать когда поисковые системы проиндексируют новые страницы вашего сайта. Быстрая индексация сайта в Яндексе и Google уже давно перестала быть секретной методикой но об этих методах мало кто знает до сих пор. Сегодня поговорим о том как добавить страницу в яндекс и гугл всего за несколько часов!

Для того чтобы ускорить индексацию вам придется выбрать между бесплатным и платным способом добавления страниц в индекс.

Как ускорить индексацию сайта бесплатно?

Этот метод гораздо интересен. Для быстрой индексации страниц вам понадобятся как можно более популярные аккаунты в социальных сетях, таких как Google+, VK, Twitter, facebook и  тд. Будем считать что у вас есть аккаунт в г+ с более 200 подписчиками в одном круге и более 500 фолловеров в твиттере. Дальше все просто:

• Смотрим актуальные хэштеги в топе твиттера
  постим твит вида:  #хештег ссылка на вашу страницу #хештег  (желательно разбавить другими словами помимо ссылки)
•  Для уверенности можно попросить друзей сделать парочку ретвитов.
•  Добавляем ссылку на пост в Мои публикации в профиле Гугл+ для того чтобы в выдаче Google появился ваш расширенный сниппет. О том как  сделать расширенный сниппет можно прочитать в предыдущем посте.
•   Затем  постим ссылку на страницу в Гугл+ и расшариваем его своим кругам

Ждём и в течение нескольких часов проверяем вашу страницу в индексе яндекса и гугла введя специальный запрос в поисковик inurl:адрес страницы. Этот блог был проиндексирован в течение 2ух часов. Если на сайте установлен модуль голосования за статьи, то в выдаче появится сниппет с рейтингом.

Если на электронном кошельке завалялись деньги, можно воспользоваться сервисом soc-service.com для ускорения индексации ретвитами

Для 146% быстрой индексации страницы можно сделать следующее:
Найти любой форум в яндексе с сортировкой по дате, при этом новые страницы на нём должны быть проиндексированы не позже часа назад. Регестрируемся на этом форуме и оставляем ссылку на нужную страницу в профиле, в поле “домашняя страничка”. Как таким образом получить бесплатные входящие ссылки я расскажу в следующем посте.

Напоследок прикольное видео:

Почему страницы сайта выпадают из индекса

Вебмастер может заметить, что трафик, присутствовавший на некогда популярной странице услуги, исчез, звонки прекратились, а продажи упали до нуля. В этом случае следует проверить – не выпала ли данная страница из индекса поисковых систем, особенно если единственным каналом продвижения этой услуги в интернете был органический поиск.

Как проверить не выпала ли страница из индекса Яндекса:

В Яндекс Вебмастере. Вкладка «Индексирование — Проверить статус URL». Вводим URL нужной страницы, нажимаем кнопку “Проверить” и ждём. Если в результате написано, что страница обходится роботом и находится в поиске, значит все хорошо:

Через оператор url. В поисковой строке Яндекса вводим запрос по формуле [url:URL_документа]. Пример:

Если страница присутствует в индексе, Яндекс ее выведет.

Пример с отсутствующим в поиске URL:

Как проверить не выпала ли страница из индекса Google:

Проверить индексацию страницы в Гугле можно через сервис Google Search Console. Вставляем URL в строку проверки, нажимаем Enter:

Выводится информация о странице. В данном случае нас интересует информация о том, что URL присутствует в индексе Google.

Необходимо регулярно проверять свой сайт на количество исключенных из поиска страниц, так как целевые страницы могут выпасть из индекса в любой момент.

Как проверить информацию об исключенных страниц в Яндексе:

С помощью Вебмастера Яндекса можно узнать всю необходимую информацию об индексации страниц.

Всегда проверяйте исключенные URL, особенно если видите, что раньше страниц в поиске было заметно больше. Здесь вы можете увидеть информацию о дате и причине исключения URL из индекса.

Как проверить информацию об исключенных страницах в Google:

В Google Search Console также можно посмотреть информацию об исключенных URL. Для этого перейдем во вкладку «Покрытие»:

Здесь нам показывают:

• Страницы с ошибками – Google не смог их проиндексировать

• Без ошибок, есть проблемы — проиндексированные страницы, но, возможно, имеющие ошибку с нашей стороны (например запрещены нужные нам URL в файле robots.txt)

• Без ошибок
• Исключенные

Причин, по которым страницы могут исключить из индекса, целое множество. Мы разделим их на две группы: технические причины и причины, зависящие от контента.

Технические причины

Поисковые системы исключают из индекса страницы, которые перенаправляют пользователя на другие страницы. При этом сама конечная страница (на которую идет перенаправление) зачастую не исключается (если нет другой причины).

Типичный пример исключения страницы, перенаправляющей пользователя на другую страницу (301 редирект):

Конечная страница осталась в поиске:

Так как конечная страница остается в поиске, то ничего страшного в данной ситуации нет, но желательно минимизировать кол-во ненужных 301 редиректов на сайте, если есть такая возможность.

404

Страницы с 404 ошибками также выпадают из индекса:

Если страница удалена по ошибке, то конечно необходимо ее восстановить. Если страница больше не нужна, то нужно удалить все ссылки на сайте, ведущие на нее.

Вебмастер может рекомендовать поисковым системам не включать в индекс нужные ему URL с помощью файла robots.txt или с помощью мета-тега Robots:

Проверьте файл robots.txt, нет ли там нужных вам страниц. Также проверьте мета-тег Robots. Если вы видите, что у атрибута “name” задано значение “robots”, а у атрибута “content” присутствует значение “noindex”, это означает, что сканирование страницы запрещено для всех поисковых роботов:

Более подробно про данный мета-тег можете почитать в справке Google.

В Google Search Console есть исключенные из индекса URL со статусом «Страница просканирована, но пока не проиндексирована»:

Это означает, что поисковый робот нашел вашу страницу, но не добавил ее в индекс. В данном случае нужно просто подождать и страница будет добавлена в поиск.

Страницы полностью или частично дублирующие другие могут быть исключены из поиска.

Если страницы-дубли не нужны, то лучшим решением будет их удалить. Если нужны, то можно установить тег “rel=canonical” в <head> этих страниц.

Например:

Также можно настроить 301 редирект со страницы-дубля на каноническую страницу.

Если обе похожие друг на друга страницы должны присутствовать не только на сайте, но и в поиске (например, две страницы карточек товара), то их нужно сделать уникальными (изменить мета-теги, текст на странице, фото и т.д.).

Сюда относятся страницы, несоответствующие запросу и неcпособные удовлетворить потребности пользователя.

Необходимо сделать страницу более качественной. Если это страница блога, то сделать уникальный и полезный читателю контент. Если это страница карточки товара в интернет-магазине, то товар должен быть в наличии (или должна присутствовать возможность заказать со склада), содержать описание, краткие характеристики товара и т.д.

Тексты, сделанные для поисковиков, а не для людей. Их отличает большое количество вхождений ключевых слов. В случае, если у вас на сайте много переоптимизированного контента, поисковики могут наложить фильтр на сайт и целое множество страниц выпадет из индекса.

Как написано выше — делайте контент в первую очередь для пользователей. И не забывайте про фактор переоптимизации.

Поисковые системы накладывают санкции за использование различных методов так называемого «черного» SEO. Одним из таких методов и является попытка накрутить поведенческие факторы искусственным путем.

Не стоит использовать в своей работе сомнительные сервисы и программы по накрутке поведенческих факторов.

Если на сайте расположено множество покупных ссылок, а естественных ссылок очень мало, на него может наложиться фильтр поисковых систем (Минусинск у Яндекса и Пингвин у Гугла).

Аффилированность

Если два сайта одной компании борются за место в выдаче, то поисковые системы показывают страницу только одного сайта (как правило показывается наиболее подходящий запросу).

В Яндексе

Зайдите в раздел «Диагностика -> Безопасность и нарушения» в Яндекс Вебмастере:

Если ваш сайт получил фильтр, то информация об этом отобразится в данном разделе.

В Google

В Google Search Console это можно проверить в разделах «Меры принятые вручную» и «Проблемы безопасности»:

Если вы попали ситуацию с кучей выпавших из индекса URL, проанализируйте:

• Заказывали ли вы ссылки, какие и сколько
• Все ли тексты на вашем сайте качественные и уникальные
• Удобен ли ваш сайт для пользователя, нет ли там излишней рекламы
• Какие страницы запрещены с помощью файла Robots.txt и мета-тега robots
• Присутствуют ли на сайте страницы-дубли

и исходя из итогов анализа устраните причину.

Если же вам не удалось установить причину исключения URL из индекса, или вы устранили все возможные ошибки, а страницы так и не попали в поиск, попробуйте обратиться в техподдержку поисковой системы.

как ее проверить, ускорить и запретить

Если интернет – огромная библиотека, то поисковые системы – ее сверхбыстрые сотрудники, способные быстро сориентировать читателя (интернет-пользователя) в бескрайнем океане информации. В этом им помогает систематизированная картотека – собственная база данных.

Когда пользователь вводит ключевую фразу, поисковая система показывает результаты из этой базы данных. То есть ПС хранят на своих серверах копии документов и обращаются к ним, когда пользователь отправляет запрос. Чтобы представить в выдаче определенную страницу, ее нужно сперва добавить в базу (индекс). Поэтому только что созданные сайты, о которых поисковики не знают, в выдаче не участвуют.

Поисковая система отправляет своего робота (он же паук, он же краулер) на поиски новых страниц, которые появляются в сети ежесекундно. Паучья стая собирает данные, передвигаясь по ссылкам с одной страницы на другую, и передает их в базу. Обработку информации производят уже другие механизмы.

У каждой поисковой системы – свой набор ботов, выполняющих разные функции. Вот пример некоторых роботов «Яндекса»:

• Основной робот.
• Индексатор картинок.
• Зеркальщик (обнаруживает зеркала сайта).
• Быстробот. Эта особь обитает на часто обновляемых сайтах. Как правило – новостных. Контент появляется в выдаче практически сразу после размещения. При ранжировании в таких случаях учитывается лишь часть факторов, поэтому позиции страницы могут измениться после прихода основного робота.

У «Гугла» тоже есть свой робот для сканирования новостей и картинок, а еще – индексатор видео, мобильных сайтов и т. д.

Скорость индексирования новых сайтов у разных ПС отличается. Каких-то конкретных сроков здесь нет, есть лишь примерные временные рамки: для «Яндекса» – от одной недели до месяца, для Google – от нескольких минут до недели. Чтобы не ждать индексации неделями, нужно серьезно поработать. Об этом и пойдет речь в статье.

Сперва давайте узнаем, как проверить, проиндексирован ли сайт.

Как проверить индексацию сайта

Проверить индексацию можно тремя основными способами:

1. Сделать запрос в поисковик, используя специальные операторы.
2. Воспользоваться инструментами вебмастеров (Google Search Console, «Яндекс.Вебмастер»).
3. Воспользоваться специализированными сервисами или скачать расширение в браузер.

Поисковые операторы

Быстро и просто примерное количество проиндексированных страниц можно узнать с помощью оператора site. Он действует одинаково в «Яндекс» и «Гугл».

Сервисы для проверки индексации

Бесплатные сервисы позволяют быстро узнать количество проиндексированных «Яндексом» и Google страниц. Есть, к примеру, очень удобный инструмент от XSEO.in и SEOGadget (можно проверять до 30 сайтов одновременно).

У RDS целая линейка полезных инструментов для проверки показателей сайтов, в том числе проиндексированных страниц. Можно скачать удобный плагин для браузера (поддерживаются Chrome, Mozilla и Opera) или десктопное приложение.

Вообще плагин больше подходит профессиональным SEOшникам. Если вы обычный пользователь, будьте готовы, что эта утилита будет постоянно атаковать вас лишней информацией, вклиниваясь в код страниц, и в итоге придется либо ее настраивать, либо удалять.

Панели вебмастера

«Яндекс.Вебмастер» и Google Search Console предоставляют подробную информацию об индексировании. Так сказать, из первых уст.

В старой версии GSC можно также посмотреть статистику сканирования и ошибки, с которыми сталкиваются роботы при обращении к страницам.

Подробнее о данных об индексировании, представленных в панелях вебмастеров, можно почитать в соответствующих разделах наших руководств по «Яндекс.Вебмастеру» и Google Search Console.

Как контролировать индексацию

Поисковые системы воспринимают сайты совсем не так, как мы с вами. В отличие от рядового пользователя, поисковый робот видит всю подноготную сайта. Если его вовремя не остановить, он будет сканировать все страницы, без разбора, включая и те, которые не следует выставлять на всеобщее обозрение.

При этом нужно учитывать, что ресурсы робота ограничены: существует определенная квота – количество страниц, которое может обойти паук за определенное время. Если на вашем сайте огромное количество страниц, есть большая вероятность, что робот потратит большую часть ресурсов на «мусорные» страницы, а важные оставит на будущее.

Поэтому индексированием можно и нужно управлять. Для этого существуют определенные инструменты-помощники, которые мы далее и рассмотрим.

Robots.txt

Robots.txt – простой текстовый файл (как можно догадаться по расширению), в котором с помощью специальных слов и символов прописываются правила, которые понимают поисковые системы.

Директивы, используемые в robots.txt:

User-agent показывает, к какому поисковику относятся указанные ниже правила. Если адресатом является любой поисковик, пишем звездочку:

User-agent: Yandex

User-agent: GoogleBot

User-agent: Bingbot

User-agent: Slurp (поисковый робот Yahoo!)

User-agent: *

Самая часто используемая директива – disallow. Как раз она используется для запрета индексирования страниц, файлов или каталогов.

К страницам, которые нужно запрещать, относятся:

1. Служебные файлы и папки. Админ-панель, файлы CMS, личный кабинет пользователя, корзина и т. д.
2. Малоинформативные вспомогательные страницы, не нуждающиеся в продвижении. Например, биографии авторов блога.
3. Различного вида дубли основных страниц.

На дублях остановимся подробнее. Представьте, что у вас есть страница блога со статьей. Вы прорекламировали эту статью на другом ресурсе, добавив к существующему URL UTM-метку для отслеживания переходов. Адрес немного изменился, но он все еще ведет на ту же страницу – контент полностью совпадает. Это дубль, который нужно закрывать от индексации.

Не только системы статистики виноваты в дублировании страниц. Дубли могут появляться при поиске товаров, сортировке, из-за наличия одного и того же товара в нескольких категориях и т. д. Даже сами движки сайта часто создают большое количество разных дублей (особенно WordPress и Joomla).

Помимо полных дублей существуют и частичные. Самый лучший пример – главная страница блога с анонсами записей. Как правило, анонсы берутся из статей, поэтому на таких страницах отсутствует уникальный контент. В этом случае анонсы можно уникализировать или вовсе убрать (как в блоге Texterra).

У подобных страниц (списки статей, каталоги товаров и т. д.) также присутствует постраничная навигация (пагинация), которая разбивает список на несколько страниц. О том, что делать с такими страницами, Google подробно расписал в своей справке.

Дубли могут сильно навредить ранжированию. Например, из-за большого их количества поисковик может показывать по определенным запросам совершенно не те страницы, которые вы планировали продвигать и на которые был сделан упор в плане оптимизации (например, есть усиленная ссылками страница товара, а поисковик показывает совершенно другую). Поэтому важно правильно настроить индексацию сайта, чтобы этой проблемы не было. Как раз один из способов борьбы с дублями – файл robots.txt.

Пример robots.txt для одного известного блога:

При составлении robots.txt можно ориентироваться на другие сайты. Для этого просто добавьте в конце адреса главной страницы интересующего сайта после слеша «robots.txt».Не забывайте только, что функционал у сайтов разный, поэтому полностью скопировать директивы топовых конкурентов и жить спокойно не получится. Даже если вы решите скачать готовый robots.txt для своей CMS, в него все равно придется вносить изменения под свои нужды.

Давайте разберемся с символами, которые используются при составлении правил.

Путь к определенному файлу или папке мы указываем через слеш (/). Если указана папка (например, /wp-admin/), все файлы из этой папки будут закрыты для индексации. Чтобы указать конкретный файл, нужно полностью указать его имя и расширение (вместе с директорией).

Если, к примеру, нужно запретить индексацию файлов определенного типа или страницу, содержащую какой-либо параметр, можно использовать звездочки (*):

Disallow: /*openstat=

Disallow: /*?utm_source=

Disallow: /*price=

Disallow: /*gclid=*

На месте звездочки может быть любое количество символов (а может и не быть вовсе). Значок $ используется, когда нужно отменить правило, созданное значком *. Например, у вас есть страница eda.html и каталог /eda. Директива «/*eda» запретит индексацию и каталога, и страницы. Чтобы оставить страницу открытой для роботов, используйте директиву «/eda$».

Запретить индексацию страниц с определенными параметрами также можно с помощью директивы clean-param. Подробнее об этом можно прочитать в справке «Яндекса».

Директива allow разрешает индексирование отдельных каталогов, страниц или файлов. Например, нужно закрыть от ПС все содержимое папки uploads за исключением одного pdf-файла. Вот как это можно сделать:

Disallow: /wp-content/uploads/

Allow: /wp-content/uploads/book.pdf

Следующая важная (для «Яндекса») директива – host. Она позволяет указать главное зеркало сайта.

У сайта может быть несколько версий (доменов) с абсолютно идентичным контентом. Даже если у вас домен единственный, не стоит игнорировать директиву host, это разные сайты, и нужно определить, какую версию следует показывать в выдаче. Об этом мы уже подробно писали в статье «Как узнать главное зеркало сайта и настроить его с помощью редиректа».

Еще одна важная директива – sitemap. Здесь (при наличии) указывается адрес, по которому можно найти карту вашего сайта. О том, как ее создать и для чего она нужна, поговорим позже.

Наконец, директива, которая применяется не так часто – crawl-delay. Она нужна в случае, когда нагрузка на сервер превышает лимит хостинга. Такое редко встречается у хороших хостеров, и без видимых причин устанавливать временные ограничения на скачивание страниц роботам не стоит. К тому же скорость обхода можно регулировать в «Яндекс.Вебмастере».

Нужно отметить, что поисковые системы по-разному относятся к robots.txt. Если для «Яндекса» это набор правил, которые нельзя нарушать, то «Гугл» воспринимает его, скорее, как рекомендацию и может проигнорировать некоторые директивы.

В robots.txt нельзя использовать кириллические символы. Поэтому если у вас кириллический домен, используйте онлайн-конвертеры.

После создания файла его нужно поместить в корневой каталог сайта, т. е.: site.ru/robots.txt.

Проверить robots.txt на наличие ошибок можно в разделе «Инструменты» панели «Яндекс.Вебмастер»:

В старой версии Google Search Console тоже есть такой инструмент.

Как закрыть сайт от индексации

Если вам по какой-то причине нужно, чтобы сайт исчез из выдачи всех поисковых систем, сделать это очень просто:

User-agent: *

Disallow: /

Крайне желательно делать это, пока сайт находится в разработке. Чтобы снова открыть сайт для поисковых роботов, достаточно убрать слеш (главное – не забыть это сделать при запуске сайта).

Nofollow и noindex

Для настройки индексации используются также специальные атрибуты и html-теги.

У «Яндекса» есть собственный тег <noindex>, с помощью которого можно указать роботу, какую часть текста он не должен индексировать. Чаще всего это служебные части текста, которые не должны отображаться в сниппете, или фрагменты, которые не должны учитываться при оценке качества страницы (неуникальный контент).

Проблема в том, что этот тег практически никто кроме «Яндекса» не понимает, поэтому при проверке кода большинство валидаторов выдают ошибки. Это можно исправить, если слегка изменить внешний вид тегов:

<!—noindex—>текст<!—/noindex—>

Атрибут rel=”nofollow” позволяет закрыть от индексации отдельные ссылки на странице. В отличие от <noindex> его понимают все поисковые системы. Чтобы запретить роботу переходить по всем ссылкам на странице сразу, проще использовать вот такой мета-тег: <meta name=»robots» content=»nofollow» />.

Кстати, на мега-теге robots стоит остановиться подробнее. Как и файл robots.txt, он позволяет управлять индексацией, но более гибко. Чтобы понять принцип работы, рассмотрим варианты инструкций:

Это далеко не все примеры использования мета-тега robots, так как помимо nofollow и noindex существуют и другие директивы. Например, noimageindex, запрещающая сканировать изображения на странице. Подробнее почитать об этом мета-теге и его применении можно в справке от Google.

Rel=”canonical”

Еще один способ борьбы с дублями – использование атрибута rel=”canonical”. Для каждой страницы можно задать канонический (предпочитаемый) адрес, который и будет отображаться в поисковой выдаче. Прописывая атрибут в коде дубля, вы «прикрепляете» его к основной странице, и путаницы c ee версиями не возникнет. При наличии у дубля ссылочного веса он будет передаваться основной странице.

Вернемся к примеру с пагинацией в WordPress. С помощью плагина All in One SEO можно в один клик решить проблему с дублями этого типа. Посмотрим, как это работает.

Зайдем главную страницу блога и откроем, к примеру, вторую страницу пагинации.

Теперь посмотрим исходный код, а именно – тег <link> с атрибутом rel=»canonical» в разделе <head>. Изначально он выглядит так:

<link rel=»canonical» target=»_blank» href=»http://site.ru/page/2/»>

Каноническая ссылка установлена неправильно – она просто повторяет физический адрес страницы. Это нужно исправить. Переходим в общие настройки плагина All in One SEO и отмечаем галочкой пункт «No Pagination for Canonical URLs» (Запретить пагинацию для канонических URL).

После обновления настроек снова смотрим код, теперь должно быть вот так:

<link rel=»canonical» target=»_blank» href=»http://site.ru/»>

И так – на любой странице, будь то вторая или двадцатая. Быстро и просто.

Но есть одна проблема. Для Google такой способ не подходит (он сам об этом писал), и использование атрибута canonical может негативно отразиться на индексировании страниц пагинации. Если для блога это, в принципе, не страшно, то со страницами товаров лучше не экспериментировать, а использовать атрибуты rel=”prev” и rel=”next”. Только вот «Яндекс» их, по словам Платона Щукина, игнорирует. В общем, все неоднозначно и ничего не понятно, но это нормально – это SEO.

Sitemap (карта сайта)

Если файл robots.txt указывает роботу, какие страницы ему трогать не надо, то карта сайта, напротив, содержит в себе все ссылки, которые нужно индексировать.

Главный плюс карты сайта в том, что помимо перечня страниц она содержит полезные для робота данные – дату и частоту обновлений каждой страницы и ее приоритет для сканирования.

Файл sitemap.xml можно сгенерировать автоматически с помощью специализированных онлайн-сервисов. Например, Gensitemap (рус) и XML-Sitemaps (англ). У них есть ограничения на количество страниц, поэтому если у вас большой сайт (больше 1000 страниц), за создание карты придется заплатить символическую сумму. Также получить готовый файл можно с помощью плагина. Самый простой и удобный плагин для WordPress – Google XML Sitemaps. У него довольно много разных настроек, но в них несложно разобраться.

В результате получается простенькая и удобная карта сайта в виде таблички. Причем она становится доступной сразу после активации плагина.

Sitemap крайне полезен для индексации, так как зачастую роботы уделяют большое внимание старым страницам и игнорируют новые. Когда есть карта сайта, робот видит, какие страницы изменились, и при обращении к сайту в первую очередь посещает их.

Если вы создали карту сайта при помощи сторонних сервисов, готовый файл необходимо скачать и поместить, как и robots.txt, в папку на хостинге, где расположен сайт. Опять же, в корневой папке: site.ru/sitemap.xml.

Для удобства желательно загрузить полученный файл в специальный раздел в «Яндекс.Вебмастере» и Google Search Console.

В старой версии инструмент немного отличается.

В «Яндекс.Вебмастере» проверить содержимое карты сайта на наличие ошибок можно в разделе «Инструменты».

Как ускорить индексацию

Поисковые системы рано или поздно узнают о вашем сайте, даже если вы ничего для этого не сделаете. Но вы наверняка хотите получать клиентов и посетителей как можно раньше, а не через месяцы, поэтому затягивать с индексацией – себе в убыток.

Регулярное быстрое индексирование необходимо не только новым, но и действующим сайтам – для своевременного обновления данных в поиске. Представьте, что вы решили оптимизировать старые непривлекательные заголовки и сниппеты, чтобы повысить CTR в выдаче. Если ждать, пока робот сам переиндексирует все страницы, можно потерять кучу потенциальных клиентов.

Вот еще несколько причин, чтобы как можно быстрее «скормить» роботам новые странички:

• На сайте публикуется контент, быстро теряющий актуальность. Если сегодняшняя новость проиндексируется и попадет в выдачу через неделю, какой от нее толк?
• О сайте узнали мошенники и следят за обновлениями быстрее любого робота: как только у вас публикуется новый материал, они копируют его себе и благополучно попадают на первые позиции благодаря более быстрому индексированию.
• На страницах появляются важные изменения. К примеру, у вас изменились цены или ассортимент, а в поиске показываются старые данные. В результате пользователи разочаровываются, растет показатель отказов, а сайт рискует опуститься в поисковой выдаче.

Ускорение индексации – работа комплексная. Каких-то конкретных способов здесь нет, так как каждый сайт индивидуален (как и серверы, на которых они расположены). Но можно воспользоваться общими рекомендациями, которые, как правило, позитивно сказываются на скорости индексирования.

Перечислим кратко, что можно сделать, чтобы сайт индексировался быстрее:

1. Указать роботам, что индексировать и что не индексировать. Про robots.txt, карту сайта и все их преимущества мы уже говорили. Если файлы будут составлены правильно, боты быстрее справятся со свалившимся на них объемом новой информации.
2. Зарегистрироваться в «Яндекс.Вебмастере» и Google Search Console. Там вы сможете не только заявить о новом сайте, но и получить доступ к важным инструментам и аналитике.
3. Обратить внимание на сам сайт. Чтобы роботу (как и пользователям) проще было ориентироваться на сайте, у него должна быть понятная и простая структура и удобная навигация. Сюда же можно отнести грамотную перелинковку, которая может помочь в передвижении по сайту и обнаружении важных страниц. Качество контента тоже может повлиять на скорость индексирования, поэтому лучше выкладывать уникальные тексты, несущие пользу.
4. Публикуйтесь на внешних площадках. Многие рекомендуют регистрировать сайты в сервисах социальных закладок, каталогах, «прогонять» по «Твиттеру», покупать ссылки и т. д. Мне в свое время это не помогло – новый сайт индексировался месяц. Но вот ссылки с крупных посещаемых ресурсов (где даже может обитать быстробот) действительно могут помочь. О том, как и где публиковаться, у нас было много статей: «Гостевой постинг: как публиковаться, вставлять ссылки и не платить за это», «Внешний контент-маркетинг: зачем, о чем и куда писать», гайд по линкбилдингу.
5. Обновляйте сайт чаще. Если на сайте месяцами не публикуются новые материалы, робот меняет тактику и заходит на сайт реже.

Еще в панелях «Яндекс.Вебмастера» и Google Search Console можно отправлять роботов на конкретные страницы.

Обратите внимание на то, что отдельные адреса можно добавить в важные, чтобы потом отслеживать их индексирование.

А вот еще одна полезная штука: здесь можно узнать, проиндексирован ли конкретный URL.

В Google запросить индексирование конкретных страниц можно во вкладке «Посмотреть как Googlebot» (старая версия).

Это, пожалуй, самые основные способы ускорения индексации. Есть и другие, но их эффективность – под вопросом. В большинстве случаев тратить на них время не стоит, если только проиндексировать сайт нужно срочно, и вы готовы испробовать любые способы. В таких случаях лучше читать конкретные кейсы. Например, как проиндексировать сайт в Google в течение 24 часов.

Вывод

Индексация сайта – сложный процесс, с которым поисковые системы далеко не всегда справляются в одиночку. Так как индексирование влияет непосредственно на ранжирование сайта в поисковой выдаче, имеет смысл взять управление в свои руки и максимально упростить работу поисковым роботам. Да, придется повозиться и набить много шишек, но даже такой непредсказуемый зверь как поисковый бот все же может покориться человеку.

Практические способы индексирования страниц в Google и Яндекс

На чтение 6 мин. Просмотров 1.8k. Опубликовано 9 апреля, 2019 Обновлено 13 августа, 2021

Предисловие

Привет! Решил написать немного о способах индексирования страниц в ПС. Самый простой и быстрый способ проиндексировать страницу — это просто отправить ее в Google. Индексация займёт около 20 секунд, и ваш сайт будет виден в Google. Сообщите о новых страницах, нажав на ссылку ниже или добавив карту сайта консоли Google или Яндекс.Вебмастер.

Хотя есть еще куча способов, вот те которые я вспомнил, если знаете еще какие то — пожалуйста напишите в комментарии, я опубликую.

Добавлять сайт в поиск Google уже неактуально

https://www.google.com/webmasters/tools/submit-url?hl=ru

Видео по этой теме индексирования страниц:

Индексация страницы

Приведенная выше консоль Google очень полезна, если вы хотите, например, быстро проиндексировать новые добавленные категории или статьи, не дожидаясь, пока роботы поисковых систем посетят ваш сайт. Достаточно предоставить полный адрес веб-сайта с новой темой для индексации.

Существует несколько факторов, определяющих скорость индексации нового контента:

• четкость кода и соответствие сайта стандартам;
• оптимизация сайта для SEO;
• частота публикаций;
• значение атрибута;

URL-индексация с построением ссылок

Вышеупомянутая консоль Google, к сожалению, не хочет индексировать все ссылки, а тем более не дружественные URL-ы, в случае, например, создания профилей или других ссылок, направленных на улучшение позиции вашего сайта.

Пример ссылки на профиль с недружественным URL-адресом:

http://admoblkaluga.ru/main/society/forum/?PAGE_NAME=profile_view&UID=42936

Недружественный URL-адрес

Создавая обратные ссылки на разных веб-сайтах, вы получите много ссылок о не дружественных URL-адресах, так что они принесут определенную ценность вашему сайту и должны быть проиндексированы в поисковых системах.

Самый простой способ — проиндексировать ссылки, разместив обратную ссылку в вашем хорошем источнике, например, в вашем профиле, но если у вас 1000 ссылок, то создание обратных ссылок вручную не имеет смысла. Известно, что эти ссылки в основном создаются для связывания низкоуровневых внутренних страниц , но без их индексации они не будут переносить какую-либо ценность на целевую страницу, и вы только потеряете время.

Индексирование сайта с использованием СОС (Бирж ссылок)

Самым простым и быстрым способом является соединение с Системой Обмена Ссылками (в простонародности биржа ссылок типа Сапы) … но связь с СОС может быть в значительной степени вредной, что не приведет к эффекту вашей работы. Если вы решили быстро связать новые ссылки с помощью СОС, вы можете использовать gogetlinks.net.

Индексирование страниц с помощью .PDF

Очень простая вещь, а именно, мы создаем краткое или длинное описание со ссылками на ваши новые страницы и сохраняем файл в формате .PDF. Вы можете создавать файлы .pdf в бесплатной программе Open Office.

Если вы уже создали файл .pdf, разместили его на нескольких или десятках бесплатных серверов, то вы можете связать опубликованные файлы на сервере или подождать, пока роботы поисковых систем найдут его и отсканируют с помощью обратных ссылок, включенных в него.

Индексирование с помощью онлайн-инструментов

Это очень хорошая форма индексации ваших ссылок, индексация осуществляется путем создания нескольких обратных ссылок на нескольких платформах для каждой представленной ссылки. Использование инструментов является платным, но это не дорого. Стоимость индексации 1,5 миллиона ссылок стоит всего $17,97.

Инструменты, которые поддерживают индексацию:

• http://www.indexification.com/
• http://www.instantlinkindexer.com/
• https://black-star.link/

Индексация с помощью Pinging

Точно не могу сказать насколько рабочий этот инструмент, можете попробовать и сделать выводы сами

Пингаторы:

• indexme.site
• banochkin.com/tools/indexer/

Как проиндексировать страницы сторонних сайтов?

Индексация через private blog network сайты Google Search Console.

Действия:

• Зарегистрировать доменные имена для выполнения задач по индексации;
• Добавить домены в Google Search Console;
• Создать страницы;
• Разместить на созданных страницах 301-редиректы;
• Направить на индексацию через REQUEST INDEXING.

Индексация с использованием программ

Конечно, если у вас есть соответствующие программы поддержки позиционирования, вы можете индексировать новые ссылки, например:

• комментарии
• темы форума
• вики-медиа
• и многое другое …

Программы, которые лучше всего подходят для этого:

• XseoN
• GSA Поисковая система Ranker
• Маджестик
• Xrummer

На мой взгляд, покупать программы невыгодно, потому что нужно хорошо их знать, а создание проектов для каждой ссылки отдельно занимает много времени. Лучшее решение — использовать описанные выше онлайн-инструменты и доверить индексацию обученному человеку.

Проверка индексации страницы

Если у вас есть ссылка,то просто вставьте ее в панель поиска Google. Если страница появляется в результатах поиска, это означает, что она была проиндексирована. Если вы запускаете службу блогов и хотитие проверить количество проиндексированных страниц или новых тем, используйте соответствующую команду:

• Яндекс — url:site.ru/yandex/
• Google (неактуально) — info:site.ru/google/
• Google (актуально) — inurl:site.ru/google/

Как улучшить индексацию страниц

Чем больше страниц на вашем сайте, тем лучше для вас. Поисковым системам нравится, если вы постоянно развиваете свой сайт новыми темами и обновляете старые записи. Имея много подстраниц, стоит убедиться, что они правильно проиндексированы поисковыми системами. Благодаря этому ваша позиция сайта будет стабильной и высокой.

Каждая страница должна содержать файл robots.txt в главном каталоге файлов на сервере. В файле robots.txt мы можем поместить ряд команд, которые регулируют доступ к сайту роботов поисковых систем.

Как долго страница сканирует в Google?

Если вы отправляете страницу для индексации непосредственно в консоли Google, индексация страницы займет всего несколько минут или больше. Индексация страницы другим способом может занять до нескольких дней.

Как Google индексирует страницы?

После получения сигнала уведомления или нахождения обратной ссылки, на ваш веб-сайт отправляются роботы, считывающие весь код страницы. После чего анализируются тематика страницы, ключевые слова, метатеги, заголовки, длина статьи, фотографии и другие элементы страницы. На следующем этапе Google, основываясь на общем содержании и качестве вашего сайта (по сравнению с другими сайтами по этой теме), устанавливает свой рейтинг в результатах поиска.

Внутренние ссылки

Соответствующие внутренние ссылки могут повысить скорость индексации на сайте. Раздел новостей, новые продукты, многоуровневые меню или ссылки на основные страницы и категории на главной странице — хорошая идея. Если на вашем сайте отсутствуют такие ссылки, стоит задуматься.

Внешние ссылки

Сайты, на которых нет ссылок с других сайтов, реже посещаются роботами поисковых систем. Если в последнее время сайт доступен в сети, стоит подумать о получении нескольких или десятков ссылок, которые на него приведут. Это поможет поисковым роботам добраться до сайта и сканировать новый контент.

Я надеюсь, что эти советы будут полезны, если Google неохотно индексирует изменения или новые страницы. Внедрение изменений в ссылках, получение ссылок или отправка страниц в инструментах Google не займет много времени и может значительно ускорить процесс индексации страниц.

Подождите пока роботы ПС посетят ваш сайт

Одно из решений, которое я не рекомендую — это сохранение пассивности. Боты рано или поздно встретят ваш домен, потому что Google и Яндекс периодически ищут DNS-серверы для поиска новых сайтов. Вы можете подождать до 30 дней, чтобы робот посетил сайт. Лучше сразу реагировать и использовать один или даже все вышеперечисленные методы, чтобы отправить свой сайт на индексацию.

Как вручную переиндексировать страницу сайта

Продвижение сайтов

Иногда возникают такие ситуации, когда надо поскорее сообщить поисковой системе об улучшении или изменении содержимого страницы: структуры, оптимизации или контента. Для этого у каждой поисковой системы есть свои инструменты, позволяющие принудительно пригласить поискового робота, чтобы он просканировал конкретный url. Для использования этих инструментов обязательно должны быть подтверждены вебмастера поисковиков. Особенностью их является то, что они помогают ускорить индексацию страниц только того сайта, владение которым верифицировано.

Переиндексация страниц в Google

В Google это можно сделать в разделе Сканирование – Посмотреть как Googlebot. В последней версии вебмастера есть возможность выбрать, какую версию страницы нужно сканировать:

• десктопную для ПК;
• мобильную для смартфонов.

Также есть возможность выбрать тип сканирования:

• “Сканировать” – это быстрое сканирование для получения кода ответа http страницы без обращения к ресурсам страницы;
• “Получить и отобразить” – это полное сканирование страницы с получением кода ответа http, загрузкой контента, скриптов и изображений.

После того как вебмастер “получил и отобразил” страницу, её можно отправить на переиндексацию двумя вариантами:

• сканировать только указанный url;
• сканировать указанный url и все прямые ссылки с него.

В новой версии Search Console Google адрес страницы достаточно вставить в поле проверки URL.

Больше о возможностях вебмастера Google можно узнать на SEO курсах.

Переиндексация страниц в Яндексе

В Яндексе тоже доступна процедура принудительного вызова робота, для этого нужно зайти Индексирование – Переобход страниц.

У Яндекса нет такого расширенного функционала для ручной отправки страниц на переиндексацию. Здесь вы просто в столбец указываете все нужные страницы и отправляете. Когда робот их переобойдёт, в отчёте ниже это будет указано.

У Яндекса есть ограничение в 20 страниц в день.

Комплексная раскрутка сайтов в Днепре доступна по контактам внизу страницы.

Как проиндексировать страницы сайта в Яндексе: быстрая индексация

Написав новый сайт, в него нужно вдохнуть жизнь в сети Интернет. Для этого он подключается к поисковым системам. Как это происходит , а так же многое другое можно узнать на https://cpamafia.top/cat_cpa/ecommerce/. Однако простое добавление и регистрация ресурса в сети не обещает его продвижение и устойчивое развитие. Его следует подключить к поисковым системам, и узнать, как происходит его индексация. Расскажем, как проиндексировать сайт в Яндексе.

Что дает подключение сайта к поисковой системе

Попав в базу данных поиска, система начнет предлагать пользователям по соответствию их запросам страницы вашего сайта. Однако, не только от этого зависит продвижение сайта в выдаче. Все-таки основную роль будут играть поведенческие факторы посетителей.

При этом, индексация – это способ актуализации материалов сайта. За счет этого содержимое страниц ресурса подключаются к поисковой выдаче с минимальными задержками, и еще они все время обновляются.

Как проиндексировать сайт в Яндексе

Для того, чтобы написанный вами сайт начали индексировать поисковые системы, его нужно добавить в базу поисковиков. Для этого используются различные инструменты для вебмастеров. Одним из них является в Яндекс.Вебмастер. Для начала индексации необходимо:

• Зарегистрировать аккаунт в Яндексе.
• Добавить сайт на ресурс webmaster.yandex.
• Скопировать код подтверждения.
• Добавить код на свой сайт.

Важно! Если вы хотите иметь более точные данные, привяжите также Яндекс.Метрику к своему сайту. Сведения из нее используются при обходах.

Для проверки индексации нужно посетить ресурс www.webmaster.yandex. Откройте страницу сайта, а далее простые действия:

• Авторизуйтесь через логин/пароль.
• Откройте вкладку «Индексирование сайта».
• Выберите раздел «Страницы в поиске».
• Второй вариант из индексирования перейти в раздел «Проверить статус URL».

— новая инициатива Microsoft и Яндекс по продвижению контента в поисковые системы

Microsoft и Яндекс объявили сегодня о новой инициативе под названием IndexNow — протоколе, в котором может участвовать любая поисковая система, чтобы владельцы сайтов могли мгновенно индексировать свои страницы и контент поисковой системой. В настоящее время Microsoft Bing и Яндекс — две поисковые системы, полностью участвующие в инициативе, но другие могут принять этот открытый протокол.

IndexNow позволяет «веб-сайтам легко уведомлять поисковые системы всякий раз, когда их содержимое создается, обновляется или удаляется», — написала Microsoft в своем блоге.По словам компании, цель состоит в том, чтобы сделать Интернет «более эффективным», уменьшив зависимость от пауков поисковых систем, которые должны выходить в Интернет и сканировать каждый найденный URL. Вместо этого цель состоит в том, чтобы владельцы сайтов передавали эти сведения и изменения URL-адресов напрямую поисковым системам. «Сообщая поисковым системам, был ли изменен URL-адрес, владельцы веб-сайтов дают четкий сигнал, помогая поисковым системам определять приоритеты сканирования для этих URL-адресов, тем самым ограничивая потребность в исследовательском сканировании для проверки того, изменилось ли содержимое», — пишет Microsoft.

Как это работает. Протокол очень прост — все, что вам нужно сделать, это создать ключ на своем сервере, а затем опубликовать URL-адрес в поисковой системе, чтобы уведомить участвующие в IndexNow поисковые системы об изменении. Шаги включают:

1. Сгенерируйте ключ, поддерживаемый протоколом, с помощью онлайн-инструмента генерации ключей.
2. Разместите ключ в текстовом файле, названном со значением ключа, в корне вашего веб-сайта.
3. Начинайте отправлять URL-адреса, когда ваши URL-адреса добавляются, обновляются или удаляются.Вы можете отправить один URL-адрес или набор URL-адресов для каждого вызова API.

Отправить один URL — это просто, отправив простой HTTP-запрос, содержащий измененный URL и ваш ключ.
https://www.bing.com/IndexNow?url=url-changed&key=your-key, и то же самое будет работать при использовании https://yandex.com/indexnow?url=url-changed&key=your-key

Более подробные инструкции можно найти на сайте Microsoft Bing IndexNow или на сайте протокола IndexNow.

Они работают вместе. Если вы используете метод Bing, то и Bing, и Яндекс (или другие участвующие поисковые системы) получат обновление. Вам не нужно отправлять одновременно URL-адреса Bing и Яндекса, вам просто нужно выбрать одну, и все поисковые системы, участвующие в этой инициативе, подхватят изменение.

Поисковые системы используют эту систему IndexNow, поэтому, если вы уведомите одну из них, эта поисковая система немедленно повторно пингует друг друга в фоновом режиме, уведомляя их всех. Фактически, IndexNow требует, чтобы все поисковые системы, использующие протокол IndexNow, соглашались с тем, что отправленные URL-адреса будут автоматически передаваться всем другим участвующим поисковым системам.Microsoft сообщила Search Engine Land, что для участия поисковые системы должны иметь заметное присутствие хотя бы на одном рынке.

Похож на API отправки URL в Bing. Это похоже на API отправки URL-адресов Bing? Да, цель состоит в том, чтобы снизить требования к сканированию и повысить эффективность. Но он отличается тем, что это совершенно другой протокол. Если вы используете API отправки URL Bing или API отправки контента Bing, технически Bing сразу получит ваши URL и изменения содержимого, но эти два API не работают с протоколом IndexNow, поэтому другие поисковые системы не получат изменений.

Уйдут ли эти API-интерфейсы, если и когда инициатива IndexNow станет более популярной? Это неясно. API отправки URL-адреса будет несколько избыточным для IndexNow, но API отправки контента уникален.

Интеграции. IndexNow получает поддержку среди сторонних веб-сайтов, таких как eBay, а также принадлежащих Microsoft LinkedIn, MSN и GitHub, для интеграции с IndexNow API. Microsoft заявила, что многие приняли API отправки URL-адресов Microsoft Bing Webmaster и планируют переход на IndexNow.

Microsoft заявила, что поощряет все системы управления веб-контентом принять IndexNow, чтобы помочь своим пользователям немедленно индексировать новейшее содержимое веб-сайтов и минимизировать нагрузку сканирования на свои веб-сайты. Фактически, Microsoft предоставила код WordPress, который можно использовать для интеграции IndexNow в свою CMS. Wix, Duda и другие планируют в ближайшее время интегрироваться с IndexNow. CDN, такие как CloudFlare и Akamai, также работают с протоколом IndexNow, как и инструменты SEO, такие как Botify, OnCrawl и другие.

Насчет гугла. Нам сказали, что Google знает об инициативе IndexNow, и ее попросили принять участие. На данный момент Google не является активным участником IndexNow.

Почему нам не все равно. Мгновенное индексирование — мечта оптимизатора поисковых систем, когда речь идет о предоставлении поисковым системам наиболее актуального содержания на сайте. Google очень строго относится к API индексации своих приложений, который используется только сейчас для размещения объявлений о вакансиях и контента в прямом эфире. Таким образом, хотя кажется, что Google может не участвовать в IndexNow в ближайшем будущем, поисковые системы, такие как Microsoft Bing и Yandex, стремятся активно продвигать эту инициативу.

Протокол очень прост, и для его добавления на ваш сайт требуется совсем немного усилий со стороны разработчика, поэтому имеет смысл реализовать его, если вы заботитесь о быстрой индексации. Кажется, что все больше и больше поисковых систем будут участвовать, но с точки зрения самой большой, Google, это остается неясным.

Об авторе

Статистика поиска Google и Яндекс

The SEO Show — 1 марта 2016 г.

файлы robots.txt теперь можно обновлять быстрее в Google

Веб-мастера теперь могут попросить Google проиндексировать и обработать обновленных роботов.txt файлы.

Раньше, если веб-мастера изменяли свой файл robots.txt, им приходилось ждать, пока поисковая система в следующий раз просканирует веб-сайт, прежде чем обновления вступят в силу.

Теперь веб-мастера могут быстрее обновлять свои файлы robots.txt, отправляя их в поисковую систему для индексации и обработки.

Для этого веб-мастерам необходимо перейти в Search Console, щелкнуть раздел «Сканирование» и выбрать параметр robots.txt Tester.

Затем они могут загрузить обновленный код, проверить загруженную версию и попросить Google обновить robots.txt файл.

Google теперь индексирует HTTPS-страницы по умолчанию

Google изменил свою систему индексирования и теперь по умолчанию индексирует HTTPS-страницы.

Это означает, что если веб-сайт поддерживает протоколы HTTP и HTTPS, версия HTTPS будет предпочтительно проиндексирована и отображаться в результатах поиска.

Однако бывают исключения. При соблюдении определенных критериев страница HTTPS не будет проиндексирована:

1. Любая страница HTTPS, содержащая небезопасные зависимости.
2. Любая страница HTTPS, заблокированная вашим файлом robots.txt, метатегом noindex или даже http-заголовком X robots.
3. Любая страница HTTPS, которая перенаправляет на страницу HTTP.
4. Любая страница HTTPS, которая использует rel = ”canonical tag” для своего эквивалентного URL-адреса HTTP.
5. Любая страница HTTPS, содержащая исходящие ссылки на хосте на URL-адреса HTTP

Кроме того:

1. Ваш сертификат TLS должен быть действительным
2. В ваших картах сайта должны быть указаны URL-адреса HTTPS или, в качестве альтернативы, не должна быть указана HTTP-версия URL-адресов.

Google внес это изменение, чтобы повысить безопасность в Интернете и улучшить работу пользователей в Интернете.

Веб-мастера, которые хотят дать понять Google, что им нужна HTTPS-версия индексации своего веб-сайта, могут сделать это, перенаправив свой HTTP-сайт на свой HTTPS-сайт с помощью перенаправления с подстановочными знаками и реализовав заголовок HSTS на своем сервере.

Яндекс запускает алгоритм мобильного ранжирования Владивостока

Поисковая система Яндекс обновила свой алгоритм ранжирования, чтобы предоставить мобильным сайтам более высокую позицию в выдаче, когда пользователи ищут с мобильного устройства.

Обновление алгоритма под названием «Владивосток» в настоящее время влияет только на результаты поиска в российском индексе Яндекса, но в ближайшие месяцы будет развернуто для пользователей из Украины, Белоруссии, Казахстана и Турции.

Яндекс классифицирует веб-страницы как удобные для мобильных устройств, если они имеют вертикальную, а не горизонтальную прокрутку, и если они исключают апплеты Flash, Silverlight и Java.

Веб-мастера могут проверить, считает ли Яндекс их веб-страницы удобными для мобильных устройств, введя URL-адреса своих веб-страниц в специальный инструмент, доступный через инструментарий Яндекса для веб-мастеров.

Яндекс заявил, что сайты, не оптимизированные для мобильных устройств, по-прежнему будут отображаться в результатах поиска, если они будут лучшим ответом на очень специфический поисковый запрос.

Поисковая система также сообщила, что алгоритм учитывает скорость загрузки страницы, а медленные страницы наказываются. Веб-сайты, которые перенаправляют пользователей в приложения, также будут подвергаться штрафам.

Google обновляет формат результатов запросов о мобильных поездках

И, наконец, Google обновил формат результатов поиска для запросов о поездках, сделанных на мобильном устройстве.

Если пользователи будут искать в Google термины, связанные с путешествиями, на своих смартфонах, они теперь столкнутся с богатым набором результатов с указанием отдельных городов и туристических направлений.

Существует также опция фильтрации, которая позволяет пользователям искать такие интересы, как искусство, пляж, природа и подводное плавание с аквалангом.

Органические списки помещаются в нижнюю часть страницы, поэтому вполне вероятно, что многие пользователи вообще не будут нажимать на обычные результаты.

Звучит как плохая новость для туристических сайтов, но это может принести пользу веб-сайтам определенных направлений, поскольку это, вероятно, пострадают более крупные игроки в сфере туризма, такие как TripAdvisor или OTA.

Длиннохвостые SEO-запросы, вероятно, будут доступны для захвата, а это означает, что хорошо оптимизированные веб-сайты по-прежнему будут видны и привлекать трафик, а хорошая видимость в Интернете увеличит вероятность того, что ваша привлекательность будет указана в этих результатах «назначения».

Кирилл — специалист по поисковой оптимизации в WebSet. Кирилл работает в сфере цифрового маркетинга последние 5 лет в различных компаниях B2B и B2C. Сейчас он специализируется на проведении SEO-аудитов для глобальных компаний, чтобы улучшить их видимость в Интернете.

результатов поиска независимо от Google, Microsoft и Yandex

Благодаря нашему недавнему финансированию и более крупной команде мы планируем расширить то, что мы предлагаем, например, добавив карты и данные о компаниях.Для нас большая краткосрочная задача — лучше понять, что нужно и чего хотят пользователи. Мой вклад в это позволит Марку, в частности, сосредоточить больше времени на строительстве, и мы сможем лучше оптимизировать нашу дорожную карту.

Q: Как поисковая система, ориентированная на конфиденциальность, вы не отслеживаете своих пользователей. Поскольку вы не можете использовать сбор данных для определения вероятных потребностей пользователя, как вы справляетесь с трудностью предоставления точных результатов по запросу с неоднозначными условиями поиска?

Конечно, когда люди используют поисковую систему, они ищут информацию в различных формах.Таким образом, используемые поисковые запросы почти всегда имеют некий скрытый смысл.

Прогнозирование ваших потребностей и желаний с использованием собранных о вас данных, на наш взгляд, носит инвазивный и манипулятивный характер. Он используется компаниями, занимающимися рекламными и крупными технологиями, не столько для улучшения ваших услуг, сколько для оптимизации доходов от рекламы.

В некоторых случаях это может помочь повысить релевантность, но также может иметь последствия. Наиболее заметными из них являются пузырьковые фильтры. Мы избегаем фактов и вместо этого идем по опасному пути предвзятости подтверждения.Направление к разнообразному актуальному контенту с разных точек зрения так же важно, если не больше, чем алгоритм, делающий предположения о том, что вы ищете.

Это также касается того, почему мы считаем важным наличие независимого поискового индекса и алгоритма. Когда почти каждая поисковая система получает свои результаты из Google и Bing, тогда Google и Bing формируют большую часть информации, которую может увидеть каждый.

В: Как пользователи Mojeek могут самостоятельно убедиться, что их конфиденциальность действительно соблюдается?

Это отличный вопрос, и честный ответ — нет.В конечном итоге все сводится к вопросу доверия.

Даже с кодом с открытым исходным кодом или при проведении независимых аудитов проверка этих вопросов не является гарантией. На практике компания может использовать другую версию своего исходного кода, а функции могут быть включены или отключены во время аудита. При этом мы открыты для изучения способов, позволяющих нашим пользователям быть более уверенными в этом вопросе.

Mojeek — официальная британская компания с четкой и краткой политикой конфиденциальности.Мы точно определяем, какую очень ограниченную информацию мы регистрируем; например, мы не регистрируем IP-адреса.

В: Каким вы видите Моджика через пять лет?

Наша цель — сделать так, чтобы сервисы на базе Mojeek стали надежной альтернативой Google, Bing и Яндекс. Это единственные англоязычные поисковые системы с индексами выше нашего. Наша независимая техническая база означает, что мы и будущие партнеры можем предложить реальную альтернативу поиску, помимо тех, которые исходят от крупных технологических компаний Китая, России и США.

К тому времени мы также построим устойчивый бизнес. Это то, на что меня пригласили в прошлом месяце, и мне кажется, что время было правильным.

* * *

Вы использовали Mojeek? Какой у вас был опыт? Дайте нам знать об этом в комментариях!

Фото Ника Вессарта на Unsplash.