Как проверить 100 тысяч страниц на вхождение в индекс Google — инструкция — Маркетинг на vc.ru

О скрипте, который проверяет, проиндексировал ли бот Google нужные страницы огромного сайта, рассказывает SEO-специалист новостного проекта info-kurs.com Андрей Верстаков в своем материале для ppc.world.

1015 просмотров

Для специалиста по поисковой оптимизации понимание того, как Google и другие поисковые системы сканируют и индексируют веб-сайт, является одним из главных приоритетов. Однако получить необходимые данные для анализа сотен тысяч страниц не так просто, как хотелось бы.

Первое, о чем подумает опытный SEO-гуру, — это автоматическая обработка лог-файла визитов сайта, чтобы отследить посещения робота Google. Но само посещение еще не гарантирует добавление страницы в индекс. У нас сотни тысяч страниц находятся в индексе, поэтому мы задумались о разработке надежного способа получения данных о статусе индексации Google.

В этом материале мы поговорим:

• почему важно знать статус индексации сайта;
• какие проблемы чаще всего возникают при сборе данных об индексации Google;
• о решении этой задачи с помощью кастомного инструмента проверки индексации;
• как проверить индексацию сайта самостоятельно.

Почему важно знать статус индексации сайта

Если вы крупный издатель, то наверняка хотите привлечь потенциальных пользователей или клиентов на сайт из поиска Google. Если веб-сайт (или его часть) не проиндексирован, вы не будете отображаться в результатах поиска и потеряете любой потенциальный органический трафик, конверсии или рекламный инвентарь останется невостребованным.

Но может быть и обратная проблема. Если веб-сайт создает URL-адреса в геометрической прогрессии (обычная проблема на сайтах электронной торговли) или допускает неконтролируемый пользовательский контент, то Google может сканировать и индексировать больше, чем следовало бы. Это может быстро привести к огромной неэффективности в ущерб основной архитектуре сайта. В этом случае страницы, которые представляют пользу для издателя будут отдаваться сервером медленнее, именно потому что сервер тратит много времени на отработку запросов бота Google. Поэтому реальный человек, когда зайдет на сайт, получит контент медленнее или вообще не получит, так как сервер сбросит его соединение по таймауту.

Распространенные проблемы при сборе данных об индексации Google

Скорее всего, для сбора данных индексации вы используете Google Search Console или стороннее решение. Однако оба варианта имеют свой набор недостатков, когда дело доходит до проверки индексирования сотен тысяч страниц. Обычно они связаны с доступностью данных и точностью результатов. Это те проблемы, с которыми столкнулись мы.

Ограничения Google Search Console

Google Search Console (GSC) — достоверный и точный источник данных о статусе индексации, ведь он подключен к системе индексирования Google. В GSC есть три суперполезных отчета, которые предоставляют данные о статусе индексации: инструмент URL Inspector, отчет о покрытии и отчет о файлах Sitemap.

Однако ни один из этих отчетов не подходит для крупномасштабных веб-сайтов, поскольку GSC ограничивает количество URL-адресов, которые вы можете проверять в день (50 URL для инспектора, и по 1000 URL в остальных отчетах).

Мы хорошо знаем об этом, потому что нам приходилось автоматизировать работу браузера для работы с URL Inspector Tool. Возможно, мы поделимся этим драгоценным опытом в новой статье.

Теоретически отчет о покрытии и отчет о файлах Sitemap могут помочь, но, к сожалению, Google Search Console ограничивает отчет об экспорте до 1000 строк данных, и сейчас нет доступа к API для извлечения большего количества.

GSC ограничивает экспорт до 1000 URL, но у нас сотни тысяч страниц… Спасибо Google 🙂

Наверное, единственный способ обойти это ограничение — разделить всю архитектуру сайта на XML-карты объемом не более 1000 URL-адресов. Следовательно, если на сайте есть 100 000 (известных / важных) URL-адресов, потребуется создать 100 XML-файлов Sitemap. Но этим было бы очень сложно управлять, и поэтому не вариант.

Кроме того, это не даст вам необходимых данных для индексации неконтролируемых URL-адресов, созданных с помощью фасетной навигации или пользовательского контента.

Ограничения URL Profiler

В некоторых случаях профилировщик URL был подходящим вариантом для сбора данных индексации. Хотя нам нравится этот инструмент для решения других задач, мы поняли, что у него много проблем с получением точных данных для «нечистых» URL.

Некоторые примеры включают параметризованные URL-адреса, URL-адреса с закодированными символами, URL-адреса с различным регистром букв и URL-адреса с небезопасными символами.

Решение: кастомный инструмент проверки индексации

Чтобы обойти ограничения, с которыми сталкиваются большинство SEO-специалистов, работающих с крупными проектами, мы разработали специальный скрипт для проверки индексации.

Он может проверять неограниченное количество URL-адресов с любыми типами проблемных символов: параметры, кодировка, зарезервированные символы, небезопасные символы, разные алфавиты — если Google проиндексировал страницу, наш скрипт подтвердит это.

Как настроить скрипт

Вам понадобятся начальные знания о командной строке и немного о node. js. Скорее всего, этого будет достаточно.

Сначала установите последнюю версию Node.js на свой компьютер. Затем загрузите или клонируйте наш репозиторий с GitHub.

Откройте командную строку и перейдите в папку, которую вы только что скачали. Затем установите необходимые зависимости, используя следующую команду:

npm install

Раньше, если бы вам приходилось парсить результаты поиска Google, понадобилось бы много прокси-серверов, но благодаря ребятам из ScraperAPI это больше не проблема. У них есть тысячи прокси по всему миру, поэтому всё, что вам нужно сделать, — это отправить запрос, используя вызов через их API, они будут выполнять ротацию прокси в фоновом режиме. Как это сделать, читайте дальше.

Перейдите на сайт ScraperAPI и создайте учетную запись. Первые 1000 запросов в месяц бесплатны, этого более чем достаточно для тестирования нашего скрипта, а за $29 можно проверить 250 000 страниц.

Зайдите в свой аккаунт и получите свой API-ключ.

Добавьте свой ключ API в файл APIKEY.

js, который находится в папке, которую вы скачали с нашего репозитория.

Пора запускать скрипт

Теперь добавьте список URL-адресов, которые вы хотите проверить на индексирование Google и сохраните его без заголовков в виде CSV с именем urls.csv в папке, которую скачали. Обязательно используйте полные URL-адреса с протоколом.

Если у вас нет списка, вы можете использовать наш список сложных URL. Мы подготовили его, когда разрабатывали скрипт, и он включает почти все проблемные типы URL-адресов, а также несколько поддельных URL-адресов, чтобы проверить, не было ли ложных срабатываний.

Перейдите в обратно в командную строку и запустите скрипт с помощью следующей команды:

npm run start

Работа скрипта началась. Теперь вы должны увидеть URL-адреса из вашего CSV, появляющиеся в командной строке с кодом ответа сервера.

Поскольку скрипт использует прокси, иногда вы будете получать код состояния 500. Ничего страшного:, скрипт повторно обработает эти ошибки и повторно запустит список, пока не будут проверены все URL-адреса.

По завершении сценария вы получите сообщение об успешном выполнении и новый файл с именем results.csv. Внутри вы найдете список URL-адресов с указанием статуса индексации.

В среднем проверка 2500 URL-адресов занимает около часа, поэтому если вы планируете использовать этот скрипт для тысяч URL-адресов, имейте это в виду.

Больше материалов по digital-маркетингу читайте на ppc.world.

Почему бывает сложно попасть в индекс Google? ❓Причины плохой индексации страниц

Содержание

• Почему Google не индексирует ваши страницы?
• Как проверить индексацию сайта
• Как повысить шансы страниц на индексацию
• Интернет разрастается слишком быстро

Нет времени читать?

Отправить статью на почту

Перевод статьи с портала MOZ.   

Каждый сайт стремится попасть в индекс Google. Ведь пользователи смогут найти ваши страницы, только если они будут проиндексированы поисковой системой. По крайней мере, все ожидают от поисковика именно этого.

Однако на практике дело обстоит немного иначе. Многие страницы вообще не индексируются Google.

Если вы когда-либо работали с крупным сайтом, то могли заметить, что далеко не каждая его страница попадает в индекс Google. Многим страницам приходится ждать неделями, прежде чем поисковый робот обратит на них внимание.

Отсутствие индексации зависит от различных факторов, многие из которых тесно связаны с ранжированием, например, качество контента и внутренние ссылки. Другие факторы обусловлены техническими сложностями. Сайты, активно использующие современные технологии, в прошлом испытывали серьезные проблемы с индексацией (а некоторые страдают до сих пор).

Многие по-прежнему считают, что иногда Google не может индексировать контент по сугубо техническим причинам, но это не более чем миф. Да, поисковый робот проигнорирует ваши страницы, если вы не отправляете технические сигналы о том, какие именно страницы требуют индексации. К аналогичному результату может привести и недостаточный краулинговый бюджет. Однако не менее важным критерием для попадания в индекс является качество вашего контента.

На большинстве сайтов, как  крупных, так и совсем небольших, есть много контента, который нужно проиндексировать. Но почему-то этого не происходит. И хотя такие вещи, как JavaScript, действительно усложняют задачу, но в индекс могут не попадать даже сайты, написанные на чистом HTML. В этой статье мы рассмотрим наиболее распространенные проблемы и предложим способы их решения.

Почему Google не индексирует ваши страницы?

Используя специальный инструмент проверки индексации, я проанализировал большое количество популярных в США интернет-магазинов. Оказалось, что в среднем 15% продуктовых страниц не были проиндексированы.

Меня удивили такие результаты. Поэтому на следующем этапе я решил выяснить причины, по которым Google решает не индексировать страницы, технически для этого пригодные.

Google Search Console позволяет узнать статус таких страниц, например, Crawled — currently not indexed (Просканировано — на данный момент не проиндексировано) или Discovered — currently not indexed (Обнаружено — на данный момент не проиндексировано). Хотя подобные сведения не помогают напрямую решить проблему, их можно использовать для дальнейшей диагностики.

Почитайте наш перевод статьи о том, как сделать запрос к API Search Console, чтобы получать более согласованные данные, а также увеличить экспорт на 400%  (примеч. Ant-team.ru).

Главные проблемы с индексированием

На основе большой выборки сайтов, а также отчетов Google Search Console, я выделил следующие распространенные проблемы, связанные с попаданием в индекс:

1. Crawled — currently not indexed (Просканировано — на данный момент не проиндексировано).

В этом случае поисковый робот посетил страницу, но не проиндексировал ее.

Обычно проблема заключается в качестве контента. Учитывая, что сейчас мы наблюдаем стремительный рост числа интернет-магазинов, Google вполне ожидаемо стал более избирательным в вопросах качества. Поэтому, если ваши страницы помечены как Crawled — currently not indexed, убедитесь, что их контент обладает достаточной ценностью:

• Используйте уникальные теги title, description и уникальный текст на всех индексируемых страницах.
• Не копируйте описания продуктов из внешних источников.
• Используйте канонические теги для объединения дублированного контента.
• Запретите поисковому роботу сканировать или индексировать некачественные разделы сайта с помощью файла robots.txt или тега noindex.

Ознакомьтесь с нашим переводом статьи Криса Лонга про статус “Просканировано, но не проиндексировано”: что он означает и как от него избавиться (примеч. Ant-team.ru).

2. Discovered — currently not indexed (Обнаружено — на данный момент не проиндексировано).

Это моя любимая проблема, поскольку она охватывает практически все аспекты: от задержки сканирования до низкого качества контента. Особенно подвержены этой проблеме крупные интернет-магазины. Мне встречались случаи, когда на одном сайте десятки миллионов URL-адресов были отмечены как Discovered — currently not indexed.

Рисунок 1. Discovered — currently not indexed

Продуктовым страницам поисковый робот присваивает такой статус по следующим причинам:

• Проблема с краулинговым бюджетом. В очереди на сканирование слишком много URL-адресов. Они могут быть просканированы и проиндексированы позже.
• Проблема с качеством. На основе закономерностей в URL-адресах поисковая система решает, что некоторые страницы в этом домене не стоит сканировать, и не посещает их.

Чтобы справиться с этой проблемой, необходимы определенные знания и опыт. Если вы обнаружили, что страницы помечены как Discovered — currently not indexed, выполните следующие действия:

1. Определите, есть ли закономерности между страницами, попадающими в эту категорию. Возможно, проблема связана с определенной категорией товаров, и при этом отсутствуют внутренние ссылки. Или ваши страницы уже находится в очереди на индексацию.

2. Оптимизируйте краулинговый бюджет. Найдите некачественные страницы, на сканирование которых поисковый робот тратит много времени. Как правило, к ним относятся страницы фильтрации и страницы внутреннего поиска. На сайте стандартного интернет-магазина количество таких страниц достигает десятков миллионов. И если Googlebot может свободно сканировать такие страницы, то у него просто не останется ресурсов для доступа к ценным материалам на других страницах вашего сайта.

Во время вебинара Rendering SEO Мартин Сплитт (Martin Splitt) из Google дал несколько ценных советов по решению проблемы Discovered not indexed.

3. Duplicate content (Дублированный контент).

Дублированный контент может возникать по самым разным причинам:

• Варианты языка (например, английский язык в Великобритании, США или Канаде). Если у вашей страницы есть несколько версий, ориентированных на пользователей из разных стран, некоторые из них могут остаться непроиндексированными.
• Дублированный контент, используемый вашими конкурентами. Часто несколько интернет-магазинов используют одно и то же описание продукта, предоставленное производителем.

Почитайте наш перевод статьи о том, как найти и удалить дубли страниц на сайте (примеч. Ant-team.ru).

Помимо rel=canonical, 301 редиректа или уникального контента, можно сосредоточиться на действительно полезных для клиента функциях. В качестве примера я приведу сайт fast-growing-trees.com. Вместо скучных описаний и советов по посадке и поливу, вы найдете здесь подробный раздел вопросов и ответов с полезной информацией по многим продуктам.

Кроме того, можно легко сравнивать похожие товары по целому ряду параметров.

Рисунок 2. Сравнение

Помимо уже имеющегося раздела FAQ, каждый покупатель может задать вопрос о том или ином растении и получить подробный ответ от сообщества.

Рисунок 3. Ответ от сообщества

Как проверить индексацию сайта

Вы можете легко проверить количество непроиндексированных страниц вашего сайта, открыв соответствующий отчет в Google Search Console (Index Coverage report).

Рисунок 4. Index Coverage report

Первое, на что следует обратить внимание, — это количество исключенных страниц. Затем попробуйте найти закономерность и понять, какие категории страниц не индексируются.

Если вы владелец интернет-магазина, то, скорее всего, увидите непроиндексированные продуктовые страницы. Хотя это всегда является тревожным знаком, но не стоит ожидать, что в индекс попадут все продуктовые страницы вашего сайта (особенно если он достаточно большой). Например, на сайтах крупных интернет-магазинов обязательно будут дублирующие страницы, а также товары с истекшим сроком годности или отсутствующие на складе. Как правило, у таких страниц недостаточно высокое качества, чтобы оказаться в самом начале очереди на индексацию (если поисковый робот вообще решит их сканировать).

Кроме того, крупные интернет-магазины обычно имеют проблемы с краулинговым бюджетом. Мне встречались случаи, когда в интернет-магазине с миллионом товаров в ассортименте 90% страниц были классифицированы как Discovered — currently not indexed. Но если вы заметили, что из индекса Google начали пропадать важные страницы, это действительно повод для беспокойства.

Как повысить шансы страниц на индексацию

У разных сайтов могут быть разные проблемы с попаданием в индекс. Тем не менее существует ряд советов, которые в большинстве случаев дают положительный результат.

1. Избегайте сигналов Soft 404.

Убедитесь, что на ваших страницах нет ничего, что могло бы выдавать ложную ошибку 404. Это относится даже к фразам «не найдено», «недоступно» в тексте страницы или к числу 404 в URL-адресе.

2. Используйте внутренние ссылки.

Внутренние ссылки — один из ключевых сигналов для поисковой системы, что данная страница является важной частью сайта и заслуживает попадания в индекс. Не оставляйте страницы без ссылок, а также включите все индексируемые страницы в карту сайта.

3. Разработайте надежную стратегию сканирования.

Не позволяйте Google сканировать на сайте все подряд. Если на сканирование менее ценных частей сайта уходит слишком много ресурсов, поисковый робот может очень нескоро добраться до действительно важных страниц. Анализ журналов сервера поможет понять, что именно сканирует Googlebot и как оптимизировать процесс.

4. Устраните некачественный и дублированный контент.

На каждом крупном сайте в конечном итоге появляются страницы, которые не нужно индексировать. Убедитесь, что такие страницы отсутствуют в картах сайта, и при необходимости используйте тег noindex и файл robots.txt. Если Google проводит слишком много времени на менее качественных страницах, он может недооценить общее качество вашего домена.

5. Отправляйте правильные SEO-сигналы.

Один из распространенных примеров отправки неправильных SEO-сигналов в Google — это изменение канонических тегов с помощью JavaScript. Как заявил Мартин Сплитт из Google во время JavaScript SEO Office Hours: «Нельзя быть уверенным в действиях Google, если один канонический тег находится в исходном HTML, а другой появляется после рендеринга JavaScript».

Интернет разрастается слишком быстро

За последние пару лет Google совершил гигантский скачок в обработке JavaScript, упростив работу SEO-специалистов. В наши дни нечасто можно увидеть сайты на JavaScript, которые не индексируются по причине сложности использованных технологий.

Устранит ли Google таким же образом и другие проблемы с индексацией? Не думаю.

Интернет постоянно расширяется. Каждый день появляются новые и разрастаются уже существующие сайты.

Сможет ли поисковая система справиться с этой задачей?

Вопрос становится все более актуальным. Я бы хотел процитировать представителей самой компании:

«У Google ограниченное количество ресурсов. Поэтому, сталкиваясь с практически бесконечным количеством доступного в интернете контента, Googlebot способен найти и просканировать только определенный его процент. И только определенная часть просканированного контента сможет попасть в индекс Google».

Другими словами, Google может посещать только часть всех страниц в интернете, и еще меньшую часть — индексировать. И даже если у вас очень крутой сайт, необходимо помнить это правило.

Google, скорее всего, не будет просматривать все страницы вашего сайта, даже если он относительно небольшой. Поэтому ваша задача — убедиться, что поисковая система сможет обнаружить и проиндексировать действительно важные страницы.

Автор: Томек Рудски

P.s. Подписывайтесь на наш телеграм-канал t.me/seoantteam, чтобы первыми узнавать о выходе новых материалов. Мы публикуем только полезный контент по SEO, например, как использовать Google Indexing API для мгновенного сканирования страниц.

Спасибо, что подписались на рассылку!

Мы будем отправлять вам только полезный контент не чаще 2 раз в месяц.

Остались вопросы или хотите заказать продвижение?

Имя

Phone

E-mail

Я ознакомлен и согласен с Политикой в отношении обработки персональных данных

Спасибо, что подписались на рассылку!

Мы будем отправлять вам только полезный контент не чаще 2 раз в месяц.

Подпишитесь на рассылку

Мы будем отправлять вам письма с самыми интересными и полезными статьями 2 раза в месяц.

Имя

E-mail

Я ознакомлен и согласен с Политикой в отношении обработки персональных данных

Как проверить, что ваш сайт хорошо индексируется в Google?

В настоящее время в мире насчитывается более 1,6 миллиарда веб-сайтов, и это число продолжает расти, так как ежедневно публикуется более 2 миллионов блогов. С этими числами присутствие на первой странице результатов Google — непростая цель . Но стоит ли сдаваться, когда вы размещаете свой сайт в Интернете? Точно нет! Действительно, первое, что нужно сделать, это убедиться, что ваш сайт появляется в результатах поиска. С технической точки зрения, это проверка того, что это было хорошо индексируется поисковыми системами . Обычно этот шаг автоматически выполняется роботами, и вам часто не нужно ничего делать. Однако иногда возникают проблемы или ошибки, такие как индексация бесполезных или устаревших страниц, которые могут повлиять на вашу производительность. Итак, в дополнение к тому, что я покажу вам шаги для выполнения этой проверки , я дам вам несколько хороших практик, которым стоит следовать.

Индексация веб-сайта

Глоссарий

В этом видео

я покажу вам, как проверить, хорошо ли проиндексированы страницы вашего сайта в Google:

Что такое индексация?

Индексирование — это процесс, посредством которого программа или робот поисковых систем проходит через веб-сайт, сканирует его и индексирует его содержимое. Поэтому, когда мы говорим, что ваш сайт был проиндексирован, это означает, что роботы поисковой системы посетили его, скопировали его содержимое и сохранили его на серверах поисковой системы.

Обратите внимание, что термин «индексирование», который я здесь использую, относится к индексированию Google с его роботом Googlebot

И это потому, что это наиболее часто используемая поисковая система пользователями Интернета с мировой долей 90,6 %. Тем не менее, имейте в виду, что принцип работы очень похож на принцип работы других поисковых систем, таких как Yahoo, Bing и многих других.

Функционирование индекса Google

Основная цель обхода или сканирования роботом Google состоит в том, чтобы понять характер, содержание и качество веб-сайта . Это позволяет связать эту страницу с одним или несколькими намерениями поиска.

Но что касается рейтинга страницы по запросам или поисковым намерениям, обратите внимание, что он зависит от большого количества критериев, определенных алгоритмы гугла .

Помимо роботов поисковых систем, существует еще два типа индексирующих роботов. Вам не обязательно интересоваться последним, так как первый уже может в полной мере помочь вам улучшить вашу видимость. Это:

• Роботы веб-служб: они исследуют определенный тип страницы, чтобы извлечь определенные данные. Это, например, обратные ссылки для majesticseo.
• Роботы-взломщики: они проверяют дыры в безопасности сайтов, которые просматривают, и пытаются взломать их.

Размер индекса Google и краулинговый бюджет

Размер индекса Google

база данных для индексации . Это означает, что бренд проиндексировал так много веб-страниц, и хотя статистики за этот год нет, нетрудно догадаться, что эта цифра была значительно превышена.

Важно отметить, что Google индексирует только индексируемые страницы, а не весь Интернет, тем более, что Интернет слишком велик. Более того, с такой впечатляющей статистикой фирма обязана управлять ежедневным бюджетом, который посвящен исследованию новых страниц: краулинговый бюджет.

Бюджет сканирования веб-сайта

Бюджет сканирования – это число страниц, индексируемых в день для каждого сайта , и зависит от его важности. Очень полезно знать этот бюджет, чтобы позиционировать наиболее релевантные страницы вашего сайта.

Для этого необходимо использовать очень мощный инструмент, разработанный фирмой Google Search Console . Если вы не знаете, как настроить Search Console, вы можете ознакомиться с этой статьей, которая также знакомит вас с другим мощным инструментом 9.0003 Google Analytics .

После настройки учетной записи вам просто нужно щелкнуть вкладку «Сканирование», чтобы просмотреть данные. Однако имейте в виду, что краулинговый бюджет постоянно меняется, но у вас все еще может быть среднее значение, которое будет полезно при анализе.

Кроме того, существует два типа сканирования, связанных с индексацией веб-сайта Google:

• Легкое сканирование выполняется ежедневно и учитывает только самые важные страницы, такие как домашняя страница. 9поэтому проверка 0003 является поверхностной и поэтому распознается как облегченная версия;
• Глубокое сканирование выполняется примерно каждый месяц, и выделяет гораздо больший бюджет глубокое сканирование: выполняется примерно каждый месяц и выделяет гораздо больший бюджет, поэтому это тяжелая версия, поскольку она также с учетом новых страниц.

Помимо этих типов сканирования, важно знать, что у Google есть предпочтения, когда речь идет об индексации веб-страниц.

Индекс Mobile-First Google

Процесс индексации Google претерпел реальные изменения по сравнению с 2016 и 2017 годами. Действительно, фирма внедрила новый метод индексации под названием Mobile-first index .

Этот метод рекомендует использовать мобильную версию страницы для страницы, чтобы индексировать и позиционировать ее. И как указывает сама компания, большинство интернет-пользователей заходят в Google через свои мобильные устройства.

Следовательно, отзывчивые веб-сайты — это те, которые в настоящее время имеют хорошую индексацию и, следовательно, хорошие ссылки. Это означает, что у вас тоже должен быть адаптивный веб-сайт, который автоматически адаптируется к экранам мобильных устройств, если вы хотите улучшить индексацию и количество ссылок.

Зачем проверять индексацию страниц в Google?

Знание индексации страниц в Google позволяет выявить возможные проблемы для того, чтобы быстро найти адекватные решения.

Определите страницы, которые не должны появляться в результатах поиска

Иногда бывают страницы, которые не должны появляться в результатах поиска по нескольким причинам. К ним относятся страницы с личной информацией или совершенно бесполезные страницы , так как они не содержат никакой актуальной информации. В последнем случае мы различаем, например, страницы, полученные в результате импорта демонстрационной темы.

Определение неиспользуемых изменений

При перемещении, переименовании каталогов или изменении постоянных ссылок может случиться так, что индекс Google по-прежнему будет указывать на старое место назначения. И если вы не обнаружите эти ситуации быстро и не исправите их, вы рискуют потерять органический трафик , который могут генерировать эти страницы.

Определите источники ошибок 404

Иногда существуют страницы или медиафайлы, такие как видео, изображения…, которые остаются в индексе Google даже после того, как вы удалили их со своего веб-сайта. Эти страницы или медиа, скорее всего, будут генерировать ошибки 404, которые лучше быстро исправить.

Проверьте представление ваших страниц в результатах Google

Проверка индексации ваших страниц довольно интересна, так как вы увидите, что пользователи найдут при поиске информации о вашем сайте.

Прежде всего, вы можете оценить, как они отображаются в результатах, принимая во внимание заголовков и мета-теги описания . Кроме того, вы можете щелкнуть по каждому из них, чтобы убедиться, что вы попали на нужную страницу и что изменения, которые вы, возможно, недавно сделали, были учтены.

Лучшие практики для улучшения индексации

В результатах поиска 75% пользователей Интернета никогда не прокручивают до первой страницы по данным alioze. Очевидно, это означает, что веб-страницы, которые появляются на первой позиции, получают большую часть трафика.

Чтобы появиться в этом очень ограниченном списке, вы должны настроить свой сайт, чтобы облегчить его индексацию и улучшить SEO. Я предлагаю вам принять во внимание эти различные практики, которые, вероятно, помогут вам.

Хорошая структура контента

Этот фактор позволит вашим посетителям и поисковым роботам плавно и логично перемещаться по вашему веб-сайту . Поэтому не забудьте создать свою структуру, не забывая выделять наиболее релевантные страницы, последние статьи… чтобы облегчить задачу роботам.

Безупречная внутренняя связь

Ваше содержимое должно быть доступно для индексации. В связи с этим страницы, ссылки на которые не отображаются непосредственно на вашей домашней странице, скорее всего, не будут быстро проиндексированы роботом Google.

Действительно, Google иногда может занять некоторое время, чтобы рассмотреть ваши различные модификации. Но, улучшив свою внутреннюю связь, вы сможете легко привести ее к ним, и я рекомендую в этом случае:

• Создать систему связанных статей или связанных продуктов;
• Чтобы создать страницу карты сайта, на которой перечислены все ваши материалы;
• Для создания модуля наиболее комментируемых сообщений или статей на главной странице и т. д.

Не забудьте также интегрировать ссылки на ваши старые статьи в новые статьи, особенно когда это уместно. Это позволит вам вернуть их к жизни, особенно если они слишком зарыты на вашем сайте.

Создание файла карты сайта

Он собирает все URL-адреса вашего веб-сайта, и, отправляя его в Google, этот файл может значительно облегчить индексацию всех страниц вашего сайта . Тем более, что он будет знать их все и сможет получить к ним доступ автоматически.

Обратите внимание, однако, что этот файл не заменяет хорошую структуру и хорошую внутреннюю связь. С другой стороны, хорошее сочетание трех элементов, вероятно, будет очень эффективным, особенно если у вас большое количество веб-страниц.

Избегайте дублирования внутреннего контента

На этом уровне речь идет об идентичном контенте на нескольких страницах вашего сайта. Действительно, дублирование контента имеет отрицательно влияет на индексацию разных ваших разных страниц, даже если она внутренняя.

На самом деле ваши посетители и Google сочтут ваше содержание избыточным и менее актуальным, что приведет к неэффективному индексированию. Кроме того, ваша внутренняя перелинковка будет довольно плохой, так как самая важная информация не выделена.

Избегайте неправильных форматов для вашего контента

Некоторые форматы не всегда читаются Google и вы должны их знать, чтобы использовать те, с которыми поисковая система легко справится. Это, например:

• Flash: практически нечитаемый для Google и которого я советую вам избегать;
• Javascript: который не всегда интерпретируется оптимальным образом;
• PDF: формат этого типа индексируется, но менее эффективен, чем реальная страница с текстовым содержимым;

Хорошие внешние ссылки

Даже если вы придерживаетесь предыдущей практики, я предлагаю вам добавить эту. Действительно, это создание ссылок на страницы вашего веб-сайта, чтобы извлечь выгоду из:

• Улучшенная индексация ;
• Достоверность;
• Популярности;
• Трафик и, следовательно, клиенты..

После наблюдения за этими методами улучшения вашей индексации Google часто необходимо убедиться, что различные страницы вашего веб-сайта правильно индексируются.

Чтобы четко показать вам шаги, которые необходимо выполнить, я буду использовать веб-сайт моего SEO-агентства, Twaino.com.

Обратите внимание, что шаги довольно просты и что вы можете сделать эту проверку за несколько секунд или даже минут, если у вас несколько страниц.

Кроме того, моему сайту уже несколько недель, и роботы Google успели его просканировать и проиндексировать.

1) Показать все веб-страницы, проиндексированные в Google

Чтобы проверить индексацию, зайдите в поисковик Google и введите сайт: + имя домена.

Мой дает вам: site:twaino. com.

Затем нажмите кнопку «Поиск», и на странице результатов вы увидите все проиндексированные страницы, связанные с вашим сайтом.

2) Перейдите к анализу различных ссылок

Первая ссылка, которую вы увидите в результатах поиска, — это ссылка из Google Search Console, мощного инструмента от Google, который позволяет вам получить более точную информацию об индексации. .

Тогда у вас есть все страницы, которые были проиндексированы Google, и если вы хотите пойти дальше, проверьте каждую из них.

Например, вы можете проверить заголовки и теги мета-описания и щелкнуть каждый из них, чтобы убедиться, что вы попали на нужную страницу.

Также воспользуйтесь возможностью выявить устаревшие или бесполезные страницы, которые не имеют отношения к пользователям Интернета, но тем не менее индексируются и появляются в результатах поиска.

3) Примите меры к своим проиндексированным страницам

Если ни на одной из ваших страниц нет проблем, значит, все работает правильно. Но когда на одной из страниц возникает малейшая проблема, принимайте все возможные меры, и это, сразу, чтобы не потерять трафик, который скорее всего будет генерировать эта страница.

На моем уровне, например, у меня есть страницы, которые появляются в результатах Google и которые мне не нужны. Действительно, это страницы из демонстрационной темы, которые у меня была возможность импортировать. Среди них:

• Нью-Авада Сео-Твайно;

• Карьера — Avada SEO

Их появление в результатах может вызвать путаницу, и чтобы убедиться, что они больше не появляются в SERPS, просто удалите их или деиндексируйте.

И все! Вы только что видели страницы вашего сайта, которые были проиндексированы Google.

Но когда вы не находите свои страницы, вы можете выполнить некоторые действия.

Может случиться так, что ваш сайт не проиндексирован роботами Google, потому что он новый. Вместо того, чтобы ждать, пока ваш веб-сайт будет проиндексирован, вы можете ускорить процесс, приняв один или оба из следующих вариантов:

• Иметь ссылку на сайт, который уже известен Google;
• Сообщите Google о своем существовании с помощью Google Search Console.

Ссылка на сайт, о котором Google уже знает

Роботы поисковых систем работают, переходя с одного сайта на другой или с одной страницы на другую благодаря ссылкам. Таким образом, вы можете использовать этот принцип в своих интересах , разместив одну или несколько ссылок, указывающих на ваш веб-сайт на сайтах, уже известных или проиндексированных Google.

Имейте в виду, что у вас больше шансов быть быстро проиндексированными, если рассматриваемые сайты важны и имеют хорошие ссылки.

Сообщите Google о своем существовании

Взять дело в свои руки иногда может быть полезнее, чем ждать, пока Google просканирует другие сайты, чтобы попасть на ваш. Все дело в представлении вашего веб-сайта поисковой системе с помощью одного из ее мощных инструментов Google Search Console .

Кроме того, чтобы гарантировать, что Google будет посещать страницы вашего веб-сайта, я рекомендую вам отправить также свою карту сайта . С помощью плагина Yoast SEO вы можете легко создать карту сайта.

После его создания вам просто нужно вставить адрес, полученный в результате операции, в поле, зарезервированное для этой цели в Search Console. Эта онлайн-форма также может позволить вам отправить URL-адрес в Google.

После того, как вы отправили свой сайт в Google через консоль поиска, вы можете вернуться на несколько дней назад, чтобы проверить, правильно ли он был проиндексирован на этот раз

На домашней странице инструмента домашней странице вы увидите график, вам количество проиндексированных URL-адресов по отношению к тем, которые присутствуют в карте сайта.

Некоторые факторы, которые могут блокировать индексацию вашего веб-сайта

Даже если вы выполнили все необходимые настройки, может случиться так, что ваш веб-сайт все еще не проиндексирован . Действительно, есть некоторые настройки, которые могут помешать поисковым системам индексировать ваш сайт или некоторые из ваших страниц.

Настройки WordPress

Проверьте, запрещаете ли вы поисковым системам индексировать ваш сайт с помощью параметров WordPress. Для этого войдите в свою панель управления и нажмите на раздел «Настройки» на левой боковой панели.

Затем выберите опцию Читать и проверьте, установлен ли флажок Запросить поисковые системы не индексировать этот сайт или нет. Если это так, снимите флажок, чтобы разрешить индексацию.

Веб-сайт на обслуживании

Некоторые плагины, такие как подключаемые модули, которые скоро появятся, предлагают параметры, предотвращающие параметры, которые предотвращают индексацию вашего веб-сайта поисковыми системами, когда он находится на обслуживании. И пока продолжается техническое обслуживание, индексация не может быть выполнена

Так что, если у вас есть такие плагины, не стесняйтесь отключить их или правильно настроить

Другие факторы, препятствующие индексации

Также возможно, что вы манипулировали некоторые файлы, такие как:

• robots. txt блокирует доступ роботов;
• .htaccess блокирует доступ роботов.

Если эти файлы целы, у вашего сайта не должно быть проблем с индексацией. И вам просто нужно подождать еще несколько дней чтобы все страницы вашего сайта были корректно проиндексированы поисковыми системами

Заключение

Когда вы создаете сайт иметь гораздо большую видимость очень важно что он появляется в первых результатах поисковых систем. Но все же он должен уметь эффективно присутствовать в результатах. на самом деле его индексация , которая обеспечивается роботами поисковых систем в автоматическом режиме. Тем не менее, очень полезно проводить частые проверки , чтобы обнаружить возможные проблемы или убедиться, что проиндексированы только наиболее релевантные страницы вашего веб-сайта. Кроме того, если у вас есть амбиции оказаться в первых результатах , вы не должны ничем пренебрегать

Как узнать, когда Google впервые проиндексировал сайт

Автор радость Окумоко

Опубликовано 11 января 2022 г.

Если вы когда-либо проводили исследование и хотели знать, когда Google впервые проиндексировал веб-сайт, ответ не всегда очевиден. Вот как это узнать.

Google использует надежный процесс, с помощью которого он может автоматически находить, сканировать и индексировать определенные веб-страницы или целые веб-сайты, делая их доступными для поисковых систем. Но как узнать, когда сайт был впервые проиндексирован Google?

В этой статье мы кратко расскажем об индексации, а затем покажем, как определить, когда веб-сайт был впервые проиндексирован.

Что означает для Google индексация страницы

Считается, что страница проиндексирована Google, если поисковый робот Google обнаружил страницу, посетил ее, проанализировал ее содержимое и занес ее в свою базу данных веб-страниц.

Всякий раз, когда пользователь что-то ищет, Google просматривает свою базу данных проиндексированных страниц в поисках ответов, наиболее точно соответствующих запросу. После обнаружения Google выдает их в качестве результатов, ранжированных по релевантности.

Связано: все, что вам нужно знать о панелях знаний Google

Таким образом, только проиндексированные страницы могут отображаться в результатах поиска и в избранных фрагментах.

Как узнать дату, когда Google впервые проиндексировал страницу или сайт

По данным Google, индексация вашего нового сайта может занять от часа до нескольких недель. Другие утверждают, что это может занять до года, в зависимости от того, насколько легко сканировать ваш сайт и количество задействованных страниц.

Чтобы узнать дату первого индексирования сайта, необходимо убедиться, что он действительно был проиндексирован.

1. Как проверить, был ли сайт проиндексирован Google

Чтобы узнать, был ли сайт уже проиндексирован Google, просто выполните поиск сайта, набрав site:yourdomain.com.

Если он был проиндексирован Google, вы получите URL-адрес с точным соответствием в результатах поиска, как показано выше.

Если, с другой стороны, сайт не был проиндексирован, вы либо получите другие результаты с похожими URL-адресами и ключевыми словами, как показано выше, либо вообще ничего, как показано ниже.

После того, как вы определили, что сайт был проиндексирован Google, вы можете перейти к проверке даты его первой индексации.

Связано: Как получить результаты поиска Google по дате

2. Как проверить дату первого индексирования сайта Google

Информация о том, когда ваш сайт был впервые проиндексирован, может дать вам приблизительное представление о том, когда он стал популярным и как далеко вы продвинулись. Вы также можете использовать эту информацию и инструмент поиска WHOIS, чтобы проверить, действительно ли подозрительный онлайн-объект так стар, как он утверждает.

Вот как проверить дату первого индексирования сайта:

1. Запустите поиск доменного имени в Google, используя функцию site: yourdomain.com.
2. Нажмите кнопку с тремя точками справа от URL-адреса сайта.
3. Прокрутите до раздела «Источник» в поле «Об этом результате», где вы можете просмотреть месяц и год, когда сайт был впервые проиндексирован.
4. Сайты, впервые проиндексированные более десяти лет назад, просто помечаются как «… впервые проиндексированы Google более 10 лет назад».
5. Вы также можете сделать это на своем мобильном телефоне, выполнив точно такие же шаги, описанные выше, и используя любую страницу веб-сайта.

Связано: Лучшие альтернативы CMS WordPress с открытым исходным кодом

Стоит отметить, что эта функция все еще находится в стадии бета-тестирования, и записи для некоторых популярных или новых веб-сайтов могут еще не быть общедоступными или отображаться.

Обнаружение, сканирование и индексация вашего сайта необходимы для возможности обнаружения и ранжирования в результатах поиска. Информация о том, когда он был впервые проиндексирован, может помочь вам осмыслить свой путь и оценить возраст домена в дополнение к поиску в WHOIS.