Как быстро проиндексировать ваш WordPress сайт в Google
Вы сделали это! После стольких принятых решений, потраченного времени и усилий, вы смогли запустить новый веб-сайт, и теперь вы хотите, чтобы его увидел весь мир. Волнующе, не правда ли? Мир стал казаться немного лучшим и полным возможностей!
Но вы, наверняка, уже поняли, что это только начало. Одной из наиболее важных вещей, которую нужно сделать после запуска сайта в интернете, это индексировать его в Google. Без индексирования, Google никогда не отобразит ваш контент в результатах поиска по ключевым словам. И ваши мечты разобьются, не успев свершиться.
Смотрите также:
И хотя Google многое изменил в SEO, но индексирование сайта осталось простым. Некоторые справятся с этим за несколько часов, другим же потребуется больше времени. Но главное результат! Давайте прекратим пустую болтовню и приступим к делу.
Вот несколько советов для быстрого индексирования вашего сайта на WordPress в Google.
Как проверить, индексирован ли ваш сайт в Google
Прежде, чем заняться индексацией сайта, стоит проверить, а не сделал ли Google это уже за вас.
Вот небольшой хак, как проверить, есть ли вы в системе. Подставьте в поисковую строку следующее:
site:yourURL.com
Вы увидите, какой контент и страницы уже индексированы. Если Google уже добавил ваш сайт, то ваш сайт появится в результатах страниц, которые Google каталогизировал:
Если ваш сайт не появился, то это значит, что вам придется делать это самостоятельно.
Подготовка контента для вашего сайта
Для того, чтобы Google заметил ваш сайт, вам нужно понять его требования. Google можно назвать онлайн библиотекой, которая содержит информацию обо всём на свете. Как любая библиотека, Google разбивает полученную информацию по категориям, чтобы её было легко найти.
Обдумайте это:
Что если библиотека получит книгу на тему дизайна, но открыв её мы увидим, что она пустая? Что нужно сделать? Наверное, отложить книгу в сторону потому, что она бесполезна.
То же самое делает Google. Если он заходит на веб-сайт, а там пусто, то он просто откладывает его в сторону. Вот почему первым шагом является заполнение сайта контентом. Все страницы и записи сайта должны иметь полезный и уникальный контент. Тогда при индексации ваш сайт будет иметь успех.
Создание и отправка карты сайта
Когда вы создадите достойный контент, придёт время привлечь внимание Google. Самым лучшим и быстрым способом будет создать карту сайта. Недавно мы публиковали подробную инструкцию, как создать карту сайта на WordPress.
Не беспокойтесь, это только звучит страшно, на самом деле создать и загрузить карту очень просто. Для этого лучше всего использовать специальный плагин. В топ таких плагинов входят Yoast, Squirrly SEO и даже Jetpack.
Перед созданием карты сайта вам стоит сделать еще несколько вещей.
Проверка вашего сайта в Google Search Console
У вас, наверняка, уже есть Google Analytics аккаунт, но многие люди забывают настроить аккаунт в Google Search Console (ранее известный как Google Webmasters).
Если вы отправляете карту сайта в Google, то начать стоит именно с проверки сайта. Если у вас пока нет аккаунта, то самое время его создать.
Отправка вашей карты сайта в Google
После подсоединения вашего сайта к Google Search Console, настало время отправить вашу карту сайта. К счастью, это очень просто.
Войдите в Search Console и найдите пункт меню Crawl → Sitemaps.
В правом верхнем углу нажмите на кнопку Add/Test Sitemap.
Появится параметр добавления URL к вашей XML карте сайта.
Потом добавьте URL (который должен выглядеть примерно так: wpcafe.org/sitemap.xml) и отправьте его.
Вот и всё! Теперь Google может внимательно осмотреть ваш сайт и определить его в какую-то категорию.
Вы можете прекратить читать уже сейчас, но наша задача в том, чтобы помочь вам индексировать ваш сайт быстро. Мы хотим поделиться несколькими советами, которые помогут привлечь внимание Google.
Начните получать трафик на ваш сайт
Даже если ваш сайт ещё не индексирован, это всё равно живой сайт, и на него могут заходить люди. Поисковая система Google становится умнее и смотрит теперь не только на контент веб-сайта.
Направление трафика на ваш сайт – это отличный способ помочь Google понять, что ваш сайт стоит индексировать как можно скорее потому, что люди уже заходят на него, а значит он им полезен.
Также есть несколько способов привлечь посетителей для более быстрой индексации.
Социальные сети
Это может прозвучать не очень современно, но использование социальных сетей и кнопок может направить на ваш сайт много трафика.
Частично это и есть причиной, почему мы настаиваем, что контент должен быть первым шагом, если вы хотите привлечь посетителей.
Facebook, ВКонтакте, Twitter, Google+ помогут вам в этом.
Комментарии
Использование комментариев для обратных ссылок практически мертво. Хотя жизнь в нём еще теплится, но этот метод не подходит для солидной SEO стратегии.
Однако, оставлять действительно полезные комментарии в топовых блогах по вашей теме — это отличный способ привлечь посетителей на ваш новый сайт.
Харш Агравал использовал этот метод на своём новом сайте, чтобы индексировать сайт за 24 часа, так что попробовать однозначно стоит.Слишком много комментариев в блогах за один присест можно рассматривать, как схему для привлечения внимания, и это может больше повредить, чем помочь.
Участие в группах в социальных сетях
Нет ограничений в количестве групп в социальных сетях, к которым вы можете присоединиться. Facebook, LinkedIn и Google Plus имеют широкий выбор.
Поищите группы на этих платформах и вступите в понравившиеся. Когда выдастся удачная возможность, вы сможете там поделиться ссылкой на ваш сайт, что привлечёт немного посетителей.
Это немного трудоемко, но может окупиться со временем.
Начните создавать собственные ссылки
Публикация гостевых записей – это отличный способ размещения высококачественных ссылок на своём сайте, пусть он даже не проиндексирован.
Если вы не очень хорошо пишете, то есть парочка других вариантов:
- Практиковаться в написании контента для вашего блога, пока не сможете писать гостевые записи для блогов вашей сферы.
- Найти писателя-фрилансера или контент-менеджера и работать с ним. Большинству писателей не платят за размещение ссылок в блогах. Но построив с ними хорошие взаимоотношения, у вас будет больше шансов получить высококачественную ссылку.
Итоги
После того, как вы направили трафик на ваш сайт и отправили карту сайта, вернитесь в Google Search и попробуйте найти ваш URL снова.
Если ваш сайт индексирован, то мы вас поздравляем, если ещё нет, то продолжайте в том же духе!
А вы когда-либо индексировали ваш сайт? Расскажите нам в комментариях!
Источник: elegantthemes.com
Смотрите также:
Как ускорить индексацию лендинга в Google
При публикации нового сайта, поста в блоге или лендинга, мы не сразу можем найти их в Google. Чтобы ваши страницы стали доступны для поиска, могут потребоваться дни. Кто хочет ждать так долго?
Хотя невозможно сразу проиндексировать новый контент, вы можете принять меры для ускорения процесса. Это особенно важно для посадочных страниц, чья ценность со временем снижается. Быстро проиндексировав свои лендинги, вы увеличите свои шансы заполучить огромную долю веб-трафика.
Помните, что ускорение индексации сайта — это не то же самое, что повышение рейтинга.
Содержание статьи
Как работает индексация Google?
1. Расшаривание ссылок через Google Search Console
2. Добавление ссылки на новую страницу на карту сайта
3. Отображение нового контента в RSS-ленте
4. Улучшение пользовательского опыта
5. Гостевые посты в блогах или на авторитетных сайтах
6. Самостоятельная отправка ссылок в поисковые системы
8. Ссылки с авторитетных сайтов
9. Блоггинг
10. Использование Google+
11. Применение Google Analytics
12. Написание пресс-релизов
13. Распространение контента через форумы и сообщества
14. Соцсети
Заключение
Как работает индексация Google?
Google получает информацию из различных источников, включая веб-страницы, отсканированные книги, общедоступные базы данных и пользовательский контент (например, в Google Мой Бизнес и Google Картах). Для этого он использует три процесса: сканирование, обслуживание и индексация.
- Сканирование (Crawling) — это процесс обнаружения новых страниц в Интернете с помощью специальных поисковых роботов, или «пауков» (Crawlers). Поскольку не существует универсальной регистрации всех страниц мировой сети, Google должен постоянно искать обновления и добавлять их в растущий список известных в настоящее время страниц. Такой процесс занимает вплоть до шести месяцев, но с помощью различных методов, приведенных ниже, это время может быть сокращено до нескольких дней.
- Обслуживание (Serving), или обслуживание и ранжирование (Serving & Ranking). Суть этого процесса сводится к поиску страниц с наиболее релевантными ответами на запрос пользователя (здесь важную роль играют ключевые слова). Таким образом Google гарантирует, что пользователь будет находить только полезную для себя информацию. В ваших силах улучшить не только сканирование своего лендинга, но и обслуживание: сделайте свои страницы мобильными, быстро загружаемыми, наполните их релевантными ключевыми словами и полезным контентом.
- Индексация (Indexing) — обеспечивает поисковой системе понимание того, что страница представляет собой и почему она актуальна. Обнаружив новую страницу, Google анализирует ее содержимое, а также каталогизирует изображения и видеофайлы. Если вы публикуете новую статью или страницу, Гугл обновит ранее проиндексированную версию вашего сайта.
Пауки проводят индексацию, анализируя код страницы и его расположение. Они также обрабатывают такую информацию, как теги заголовков, alt-текст изображений и ссылки.
Важно дать Google возможность быстро и успешно проиндексировать вашу страницу, тогда поисковик будет правильно ее обслуживать и присвоит ей высокий рейтинг в списке результатов поиска.
Четкая, ясная карта сайта (Sitemap) обычно означает быструю индексацию, а карта с плохим кодом или очевидный спам-контент будут удалены поисковой системой либо обозначены низким приоритетом.
Вы можете проверить статус индекса своего лендинга, просто введя в Google «site: ВАШЕ ДОМЕННОЕ ИМЯ». Если результаты не отображаются, значит, ваш сайт в настоящее время вообще не индексируется. Если они появляются, но результаты устарели, это означает, что он индексируется медленно и редко
К счастью, мы подготовили для вас список реальных способов ускорения индексации страниц сайта. На каких-то из них мы остановимся подробнее, другие, более очевидные, лишь упомянем.
Читайте также: Как Google индексирует ваши сайты?1. Расшаривание ссылок через Google Search Console
Google Search Console — это бесплатный онлайн-инструмент, позволяющий владельцам просматривать информацию об эффективности своих страниц. Ссылки, расшаренные через Console, появляются в результатах поиска уже через несколько часов. Чтобы настроить процесс, следуйте инструкции.
Для начала войдите в Консоль, используя свой профиль в Гугл. Затем пройдите по всем шагам, которые вам предложат, для того чтобы привязать ваш лендинг к Google Search Console. Пришло время ускорить индексацию только что опубликованного контента!
1. В Консоли переходим на вкладку «Сканирование» (Crawl), а затем на «Просмотреть как Googlebot» (Fetch As Google).
2. Введите адрес страницы, которую нужно проиндексировать.
3. Нажмите на «Получить и отобразить» (Fetch And Render).
В нижней части экрана появится ссылка на страницу с символом прогресса. Примерно через минуту появится кнопка запроса индексирования.
4. Кликните на «Запросить индексирование» (Request Indexing).
Появится всплывающее окно:
5. Поставьте отметку о том, что вы не робот.
6. Нажмите на «Сканировать только этот URL» (Crawl only this URL).
7. Нажмите на «Отправить» (Go).
Как проверить, был ли контент проиндексирован
- Введите в строку поиска точный заголовок страницы, или (лучше)
- Используйте сайт: сузьте поиск до вашего домена и имени файла страницы.
Плюсы и минусы метода
+ Самый быстрый способ проиндексировать новый контент.
+ Хорошо работает для повторной индексации обновленного контента.
— Придется повозиться с первоначальной настройкой.
— Нельзя осуществить в инструментах планирования публикаций в соцсетях.
2. Добавление ссылки на новую страницу на карту сайта
Это один из наиболее простых способов быстро проиндексировать контент.
На тот случай, если вы забыли, карта сайта (Sitemap) представляет собой список в формате XML или таблицу с содержимым всех страниц вашего сайта. Ее основная функция заключается в информировании поисковых систем о любых изменениях или обновлениях. Она также определяет, как часто поисковая система должна проверять наличие изменений.
Карты сайта редко оказывают существенное влияние на поисковый рейтинг. Но при плохой сборке они определенно оказывают негативный эффект на скорость индексации.
В блоге Google для веб-мастеров объясняется, что, если sitemap поддерживает сканирование и индексацию, то сайт может быстрее подняться на вершину результатов поисковой выдачи. То есть карта помогает Google узнавать о URL-адресах вашего сайта.
Крайне важно, чтобы карта сайта соответствовала обновлениям Google Search Console. Как правило, следует обновлять карту сайта каждые две недели или, по крайней мере, один раз в месяц.
3. Отображение нового контента в RSS-ленте
Бизнес-блоги не только приносят дополнительный SEO трафик — они также могут стать основным инструментом лидогенерации в будущем. Как превратить читателей блога в лид? Для начала сделайте их своими подписчиками.
RSS означает «очень простое распространение» (Really Simple Syndication) или «обогащенная сводка сайта» (Rich Site Summary) и представляет собой автоматическую ленту (Feed) всего вашего контента, обновляемую по мере публикации новых данных, например, постов в блоге.
Feedburner — это простой сайт, который можно использовать при создании собственной RSS-ленты (доступна регистрация с помощью аккаунта Google). Вы также можете использовать популярные RSS-ридеры вроде Feedly и Feeder. Как только вы создадите RSS, пользователи смогут подписываться на ваш канал и автоматически получать обновления.
Это выгодно как владельцу сайта, так и вашим посетителям, поскольку позволяет мгновенно распространять и получать новый контент. В то же время читатели способны подписаться на новый контент, не соглашаясь при этом на рассылку. Так вы предоставляете свободу выбора тем, кто заботится о своей конфиденциальности, то есть, в конечном счете, предлагаете улучшенный пользовательский опыт (User Experience).
RSS-каналы помогают увеличить читательскую аудиторию и коэффициент конверсии, а также проиндексировать ваши страницы.
При создании RSS-канала, решите, хотите ли вы включить полные статьи или лишь выдержки из них. Выбор зависит от характера вашего контента, но, если вы пишете в основном длинные посты, выдержки подойдут больше.
Всегда включайте изображения в свою ленту. Это простой совет, но от этого он не становится менее важным. Инфографика и высококачественные изображения не только эстетически улучшат ваш контент, но и будут хорошо восприниматься Google.
4. Улучшение пользовательского опыта
Помимо всех технических аспектов создания сайта, привлекательного для пауков, есть несколько не столь очевидных качеств, распознаваемых поисковыми системами. Одним из таких качеств является большой объем трафика.
Как собрать и сохранить большой объем трафика? В двух словах — предлагая исключительный пользовательский опыт.
Google рекомендует своим пользователям только лучшие сайты, то есть те, где присутствует хороший пользовательский опыт. Наличие последнего не только приведет к ускоренной индексации вашего лендинга, но и к повышению коэффициента конверсии за счет привлечения все большего числа пользователей. А вовлеченность пользователей является одним из наиболее ценных показателей в современной веб-среде.
В частности, обратите внимание на скорость загрузки. Рассмотрите возможность перехода на более быстрый веб-хостинг, если это необходимо, и убедитесь, что ваш лендинг имеет хорошую скорость загрузки.
Для анализа есть достаточно много различных инструментов. Ниже рассмотрим один из самых популярных сервисов — Pingdom.
1) Перейдите по ссылке https://tools.pingdom.com/
2) Введите адрес лендинга, который хотите протестировать и нажмите кнопку «Start test»:
3) В результатах стоит обратить внимание на два основных параметра: «Load time» (время загрузки) и «Page size»(вес страницы).
Желательно, чтобы общий вес лендинга был в пределах 3 мб.
Можно попробовать протестировать страницу несколько раз используя различные серверы:
Обратите внимание: мобильные версии страниц должны быть еще легче и проще. Рекомендуем не использовать на мобильных страницах интерактивные элементы такие, как: видео, сложные слайдеры, анимацию и проч.
Далее мы кратко отметим еще несколько секретов успешной индексации.
5. Гостевые посты в блогах или на авторитетных сайтах
Такие посты, включающие ссылки на ваши страницы, помогают Гуглу индексировать сайт быстрее, а вам обеспечивают дополнительный пиар.
6. Самостоятельная отправка ссылок в поисковые системы
Быстрый и простой способ ускорить процесс индексации — отправить свою ссылку поисковым системам напрямую через такие сайты, как Allweb. Таким образом вы сэкономите время и деньги, увеличив при этом шансы на высокие позиции в органической выдаче.
Читайте также: Как обеспечить SEO для страниц с товарами, которых нет в наличии7. Появление ссылок на высоко ранжируемых страницах
Если у вас уже есть какие-то страницы, которым Гугл присвоил высокий рейтинг, просто вставьте на них ссылку на новый контент.
8. Ссылки с авторитетных сайтов
Google быстро «заметит» сайт, если на него будут ссылаться известные блогеры или ресурсы.
9. Блоггинг
Создайте свой блог и регулярно загружайте на него посты (плюс обновляйте старые). Сайты с блогами имеют на 434% больше проиндексированных страниц.
10. Использование Google+
Удобный, простой в использовании, требующий минимального объема информации и, самое главное, бесплатный способ быстро проиндексировать ваш лендинг.
Читайте также: Как использовать Google+, чтобы улучшить свой поисковый трафик11. Применение Google Analytics
Google Analytics — это отличный метод отслеживания сразу нескольких маркетинговых показателей, определения роста и тенденций вашего сайта, к тому позволяющий Google более эффективно индексировать ваш контент.
12. Написание пресс-релизов
Пресс-релизы помогают поисковой системе индексировать новые страницы, а вам — сообщать публике об изменениях в вашей компании.
13. Распространение контента через форумы и сообщества
Появляйтесь в тематических сообществах — и Google увидит вас быстрее.
14. Соцсети
Социальные сети — это современная и быстро развивающаяся платформа для обмена контентом, расширения присутствия в Интернете и продвижения брендов. Размещение контента в соцсетях ускорит рост вашей компании.
Читайте также: 14 способов улучшить поисковое ранжирование с помощью видеоЗаключение
Загружая любой контент в сеть, не ждите пока Гугл сам его проиндексирует, иначе вы нескоро появитесь в результатах поиска, а ведь поисковики — это главный источник органического трафика.
Примените описанные выше способы и опередите остальных в очереди. Пока ждете индексацию, рекламируйте лендинги с помощью социальных медиа и рассылки.
Помните: люди никогда не узнают, что у вас появилось что-то новенькое, если вы не скажете им об этом сами.
Высоких вам конверсий!
По материалам: espirian.co.ukzestsms.comedgy.app Источник картинки: pexels.com
15-01-2019
Как быстро проиндексировать сайт в Google
Затратив много времени и сил, чтобы создать и запустить свой сайт, вы понимаете, что его еще нужно «продвигать» в Интернете. И одним из важнейших шагов после того, как сайт заработал, будет убедиться в том, что он индексируется в крупнейшей поисковой системе – поисковике Google.
Без индексации Google никогда не покажет ваш сайт (его содержание и страницы) в результатах поиска. И это может нивелировать все ваши усилия по созданию сайта. Поэтому, сегодня мы рассмотрим советы по быстрому индексированиию вашего сайта поисковой системой Google. И это на самом деле не сложно сделать.
Как проверить, что сайт индексируется в поиске Google
Прежде чем пройти полную индексацию вашего сайта, вам нужно убедиться в том, что сайт еще не проиндексирован. Для этого достаточно ввести в поисковую строку короткий поисковый запрос:
site:VASH-DOMEN
Замените VASH-DOMEN на адрес своего сайта (домен), введите это в поисковой строке и вы увидите, какие страницы Google уже проиндексировал. Если Google уже добавил ваш сайт в индекс, то вы увидите перечень страниц вашего сайта.
Если страницы вашего сайта не показаны в результатах поиска, это значит, что пора заняться привлечением внимания поисковой системы Google к своему сайту.
Ваш сайт имеет полезный контент
Чтобы Google заметил ваш сайт, вам нужно понять, как происходит сам поиск. Во многом Google можно сравнить с библиотекой, которая содержит большое количество информации. Как и в любой библиотеке, вся имеющаяся информация должна быть классифицирована, чтобы ее можно было легче найти.
Теперь представьте, что вы нашли в этой библиотеке книгу с красивым названием и привлекательной обложкой, но открыв ее, вы видите, что страницы книги пусты. Что вы сделаете с этой книгой? Вероятно, отложите ее в сторону и больше не будете держать ее на полках, ведь такая книга абсолютно бесполезна.
То же самое касается и поисковой системы Google. Если речь идет о веб-сайте, который не содержит контента (пустой), поисковая система «отложит» его подальше от полок библиотеки.
Поэтому первым шагом после создания сайта должно быть наполнение его контентом. Все страницы сайта должны иметь уникальную и полезную информацию (контент). И когда Google будет сканировать ваш сайт, он найдет этот контент и с большей вероятностью добавит его в результаты поиска.
Создание и отправка файла Sitemap
После того, как вы наполните сайт содержимым, которое нужно просканировать и проиндексировать, наступит время привлечь внимание поисковика Google к своему сайту. Лучший и самый быстрый способ сделать это – отправить карту сайта в Google.
Карта сайта – это файл sitemap.xml, в котором перечислены все ссылки вашего сайта. Пример этого файла:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"> <url> <loc>https://sebweo.com/</loc> </url> … </urlset>
Создать его можно вручную, копируя и вставляя блоки <url> ... </url> и изменяя ссылки в ноде <loc> ... </loc>. Это довольно просто будет сделать, если сайт имеет небольшое количество страниц. Если же сайт имеет большое количество страниц, тогда лучше использовать специальные инструменты, например, такие как онлайн-генераторы Google XML Sitemaps, XML-Sitemaps.com и подобные. После этого файл sitemap.xml нужно разместить в корне сайта.
Добавление сайта в Google Search Console
Если у вас есть почта GMail, тогда у вас есть доступ и к инструменту Google Search Console (ранее этот инструмент назывался Google Webmasters).
Откройте ссылку https://www.google.com/webmasters/tools/ и нажмите кнопку «Добавить ресурс» и введите адрес вашего сайта. После этого нужно будет подтвердить свои права на сайт: это можно сделать с помощью специального кода, который нужно будет добавить на все страницы сайта, или же, проще, загрузить специальный файл в корень сайта.
После того, как вы пройдете эту верификацию, вы можете отправить свою карту сайта (sitemap.xml) в Google.
Войдите в Search Console и откройте там страницу своего сайта. Затем перейдите в левом меню по адресу Сканирование > Файлы Sitemap.
В верхнем правом углу нажмите кнопку с надписью «Добавление/проверка файла Sitemap». Добавьте URL-адрес нахождения файла sitemap.xml (в формате VASH-DOMEN/sitemap.xml) и нажмите кнопку Отправить.
После этого боты Google будут знать, какие ссылки нужно будет просканировать и проиндексировать, чтобы потом их классифицировать.
В принципе, предыдущих шагов уже будет достаточно для быстрого индексирования вашего сайта, но мы приведем еще несколько советов, которые помогут привлечь внимание Google к вашему сайту.
Начните генерировать трафик на свой сайт
Не стоит ждать, пока Google проиндексирует ваш сайт, вы уже можете получать посетителей. Вот 3 способа получить трафик на свой сайт, которые также помогут быстрому индексированию сайта.
Социальные сети
Делитесь ссылками на страницы своего сайта в социальных сетях и вы сможете получить определенный поток трафика на свой сайт. Здесь очень важно, чтобы контент вашего сайта был полезен и интересен.
Используйте популярные социальные сети, такие как Facebook, LinkedIn, Google+, Instagram и другие. Это может быть немного трудоемким, но эти действия окупятся со временем.
Рассылки
Если это возможно, добавьте на свой сайт форму с подпиской на Рассылку. Опять же, если контент сайта интересен, вы сможете получить большое количество подписчиков и фанов. Почтовые рассылки – это отличный способ получить дополнительный трафик на сайт.
Реклама
Если вы можете позволить себе платную рекламу – это также добавит вам посетителей и бонусов для индексирования.
Теперь, когда вы получаете трафик на свой сайт, и отправили карту сайта, попробуйте через несколько дней найти свой сайт в результатах поиска Google. Если ваш сайт индексируется поисковой системой Google, тогда вы увидите свой сайт в результатах. Если нет, попробуйте проверить это чуть позже.
Как быстро проиндексировать 250к страниц в Google — Devaka SEO Блог
Эта статья является переводом заметки Давида Кюннена «How to get 250k+ pages indexed by Google», разработчика из Германии, который нашел способ лучшей индексации сайтов, написанных на JavaScript.
При создании проекта Devsnap, Давид был очень наивным. Он использовал Create React App для фронтенда и язык Go с GraphQL для бэкенда. Классический SPA-сайт с клиентским рендерингом.
Давид знал, что гуглу на job-сайте придется индексировать множество страниц, но не переживал, так как известно, что Google обрабатывает JavaScript и, по идее, должен все нормально проиндексировать.
— О нет, я ошибался
David Künnen
Сначала все казалось идет норм. Шаг за шагом Google индексировал странички и сайт получал первый органический трафик. На графике ниже показано количество обрабатываемых поиском страниц сайта.
Почему-то индексация проходила очень медленно, Google сканировал примерно по 2 страницы в минуту. Давид думал, что гугл ускорится в ближайшее время, но этого не случилось. Поэтому, нужно было что-то предпринять.
1. Внедрение SSR
Сначала Давид внедрил SSR (серверный рендеринг), так как где-то слышал от гуглоидов, что SPA-сайты с клиентским рендерингом индексируются дважды. Сначала Googlebot смотрит на HTML и следует по ссылкам, которые находит. А после того, как контент отправляется рендереру, получается окончательный HTML. Это не слишком затратно для Google, но происходит очень медленно. Поэтому, было решено, чтобы гугл сразу видел все нужные ссылки в коде.
SSR внедрялся по этому мануалу. И казалось, что понадобится несколько дней, но работа заняла всего несколько часов. А результаты получились крутыми.
Без SSR сайт застрял на 20к страницах в индексе, а сейчас этот показатель растет к значению 100к и больше. Но этого тоже было недостаточно.
Google до сих пор не индексировал кучу страниц, плюс сканирование происходило медленно. Если нужно проиндексировать 250к страниц, плюс все новые листинги с резюме и вакансиями, нужно было сделать что-то еще.
2. Внедрение динамического Sitemap
Сайт про работу очень объемный и нужно гуглу как-то помогать в сканировании, поэтому Давид сделал небольшой скрипт на Go, который генерировал sitemap.xml два раза в день и загружал его на CDN.
Так как размер сайтмапов ограничен 50к урлами, пришлось сделать несколько карт, добавляя в них только релевантный контент.
После отправки сайтмапов, Google стал быстрей индексировать сайт, но это по-прежнему было недостаточно. Скорость сканирования увеличились примерно до 5-10 страниц в минуту. Сравнительного графика здесь нет, так как автор почти сразу же начал внедрять следующий пункт.
3. Удаление JavaScript
Почему сайт сканировался так медленно? Ведь есть множество других сайтов с кучей страниц и гугл как-то с ними справляется.
Логично, что поисковик выделяет ограниченное количество ресурсов для индексации конкретного сайта, и сканирование Devsnap было до сих пор затратным, так как, несмотря на то, что Google видел все ссылки в начальном HTML, но он все равно отправлял все в свой рендерер, чтобы убедиться, ничего ли не осталось для индексации. Он просто не знал из-за наличия в коде JavaScript, все ли находится в начальном HTML.
Поэтому, Давид решил удалить для ботов весь JavaScript.
if(isBot(req)) {
completeHtml = completeHtml.replace(/Сразу же после этих изменений Google стал сумасшедшим. Сейчас он краулил 5-10 страниц, но не в минуту, а в секунду.
И это текущий результат!
Так как изменения были внедрены недавно, то многие страницы пока только просканировались, но еще не проиндексировались (серые значения на графике). Тем не менее, Давид достиг цели. Трафик сайта тоже начал расти.
Если вы хотите, чтобы Google проиндексировал ваш большой сайт, отдавайте ему сразу финальный HTML, и удалите весь JavaScript (конечно же, за исключением Schema-JS).