seo-zona.ru

Что такое индексация сайта (Как улучшить индексацию в Google)

Индексация сайта — это процесс сбора информации поисковой системой о содержимом вашего сайта. Во время индексации поисковые роботы (пауки) сканирую и обрабатывают web страницы, изображения, видео и другие доступные для сканирования файлы. Чтобы поисковая система быстро проиндексировала сайт: создайте карту сайта и добавьте ее в Google Search Console.

Сайт должен быть проиндексирован чтобы отображаться в поиске

Страницы, которые прошли сканирование и обработку, сохраняются в базу данных. Такая база называется «поисковой индекс». Именно в этой базе данных поисковая система ищет результаты, отвечающие на запросы пользователей.

Важно понимать:

• Если страницы нет в поисковом индексе — ее невозможно найти в поисковой системе.
• Индексация нужна чтобы участвовать в поиске.
• У каждой поисковой системы свой поисковой индекс, свои поисковые боты.
• Поисковой бот от Google называется Googlebot.
• Настройка индексации сайта, это базовый уровень работ по SEO.

Содержание статьи

Как проверить индексацию страницы?

Самый быстрый способ — написать в строку поиска команду site:[адрес страницы]. Такой поиск найдет все проиндексированные страницы сайта. Для того, чтобы просмотреть дату последнего сканирования страницы, напишите в строку поиска cache:[адрес проверяемой страницы]. Если вам нужно проверить индексацию конкретной страницы просто скопируйте ее адрес и введи в поиск запрос site:[адрес страницы]. Этот метод будет работать как в Google так и в Yandex или Bing.

Совет: Сравните количество проиндексированных страниц с реальным количеством страниц на сайте. Это поможет быстро оценить есть ли у вашего сайта проблемы с индексацией. К примеру: если на сайте 100 товаров, 10 разделов и 10 информационных страниц (в сумме 120), а в индексе только 50 страниц, это означает, что поисковая система не знает о большей части вашего сайта.

Как проверить индексацию всего сайта

Для проверки индексации сайта нужно выполнить 2 простых шага:

1. Узнать сколько страниц на сайте. Для этого просканируйте свой сайт специальными инструментами. Если ваш сайт до 500 страниц вам подойдет бесплатная версия Screaming Frog , если этого недостаточно используйте, бесплатный Site Analyzer. В разделе «HTML» вы увидите общее количество страниц вашего сайта.
2. Зайдите в инструменты для вебмастеров или Google Search Console (Что такое Google Search Consol )  откройте отчет «Покрытие» и просмотрите количество страниц в статусе «Без ошибок». Количество страниц в сканере Site Analyzer и страниц в Google Search Console должно приблизительно совпадать. Это, будет означать, что основные страницы сайта сканируются. Если часть страниц попала в группу «Исключено» вы можете изучить причины исключения страниц. В этом же отчете вы можете познакомиться с историей индексации вашего сайта за последние 3, 6 или 12 месяцев.
3. Довольно часто в отчете «Покрытие» вы можете увидеть большое количество страниц в статусе «Страница просканирована, но пока не проиндексирована» — это означает, что поисковая система уже получила данные о ваших страницах но пока не обработала их до конца. Так же, страницы могут находиться в этом статусе по причине низкого качества: пустые страницы или страницы с повторяющимся содержанием. Если количество «пока не проиндексированных» страниц не сокращается попробуйте уникализировать, добавить содержание или увеличить количество качественных внешних ссылок на свой сайт.
4. Если вам нужно массово проверить индексацию страниц вашего сайта, воспользуйтесь онлайн инструментом https://indexchecking.com
5. Хорошая идея проверить свой сайт с помощью инструментов https://en.ryte.com — это поможет вам понять какие страницы закрыты от индексации. А так же, обнаружить страницы на которых есть технические проблемы.

Проверяем не закрыта ли отдельная страница от индексации

Если перед вами появилась задача, проверить запрет индексации конкретной страницы проще всего использовать инструменты для вебмастеров. Скопируйте адрес страницы которую вы хотите проверить и вставьте в инструмент «Проверка URL на ресурсе».

В результате проверки вы получите информацию о запретах индексации. Обратите внимание на информацию о запретах, статусе страницы и канонический адрес.

Как добавить новый сайт в индекс поисковиков?

Сообщите поисковой системе о своем сайте в специальном инструменте Google или Yandex. Поделитесь своим сайтом в социальной сети или создайте на него ссылку с другого, уже проиндексированного сайта.

Узнайте больше о работе поисковой системы

Что делать, если сайт плохо индексируется?

Прежде всего нужно проверить не закрыт ли сайт от индексации. Это можно сделать по инструкции в этой статье чуть выше. Основные способы улучшить индексацию:

• Создайте карту сайта и загрузите в инструменты для вебмастеров.
• Обновите старые страницы.
• Удалите пустые страницы.
• Поставьте дополнительные ссылки на сайт с сторонних сайтов и соц. сетей.

Как происходит индексация сайта

Для решения проблем нужно разобраться в процессе индексации подробнее. С технической точки зрения “индексацию сайта” правильнее рассматривать как два отдельных процесса:

1. Сканирование страниц.
2. Обработка страниц.

Этап 1: Сканирование

Сканирование или “обход” страниц — это основная задача, которую выполняет поисковой бот. Попадая на новую страницу, бот получает со страницы два набора данных:

1. Содержание самой страницы, информацию о сервере и служебные данные. А именно: ответ сервера, html код страницы, файлы css стилей, скриптов, изображений.
2. Перечень ссылок, которые находятся на странице.

Полученное содержание передается для дальнейшей обработки и сохранения в базу. Просканированные ссылки так же сохраняются в специальный список — “очередь сканирования”, для дальнейшей обработки.

Когда бот добавляет в очередь индексации страницу, которая уже есть в очереди, эта страница занимает более высокое место в списке и индексируется быстрее. А это значит, что

Создавая очередь сканирования, google bot, как и другие поисковые боты, изучает карту сайта sitemap и добавляет в очередь ссылки из этой карты. Второй способ улучшить индексацию — создать карту сайта sitemap.xml и сообщить о ней поисковой системе. Карта сайта — самый простой способ отправить на индексацию все страницы в рамках нашего домена.

Есть несколько способов создать карту сайта:

• Бесплатный онлайн инструмент для сайтов до 500 страниц www.xml-sitemaps.com.
• Программа для сканирования сайта, с возможностью создания sitemap — xenu links.
• Библиотека приложений для создания sitemap.
• Самый популярный плагин для создания карты сайта для WordPress.

Чтобы Google узнал о вашем sitemap, нужно добавить ссылку на карту сайта в инструментах search console или файле robots.txt

Добавление карты сайта в Search Console:

1. Зайдите в https://search.google.com/search-console/
2. Добавьте свой сайт или выберите из списка.
3. Перейдите в раздел Сканирование — Файлы Sitemap.
4. Выберите “добавить файл sitemap”, вставьте ссылку и добавьте карту сайта.

Добавление sitemap в robots.txt:

1. Зайдите в корневой каталог сайта через ftp.
2. Откройте файл robots.txt
3. Добавьте в конец файла строку “Sitemap: [адрес сайта]/sitemap.xml” и сохраните файл.

Третий способ ускорить индексацию — сообщить поисковому боту о дате последнего изменения страницы. Для получения даты и времени изменения страницы боты используют данные из заголовка ответа сервера lastmod. Сообщить наличие изменений на странице можно с помощью кода ответа not modify.

Инструмент проверки заголовка lastmod и ответа сервера not modify.

Наличие настроек lastmod и not modify позволяют поисковой системе быстро получить информацию о том, изменилась ли страница с даты последнего сканирования. Благодаря этому поисковой бот ставит в приоритет новые и измененные страницы, а новые страницы быстрее индексируются.

Для настройки lastmod и not modify вам нужно будет обратиться к веб разработчику.

Этап 2: Обработка данных

Перед тем как сохранить информацию в базу данных, она проходит обработку и структуризацию, которая необходима для ускорения дальнейшего поиска.

В первом шаге обработки программа-индексатор формирует страницу с учетом всех стилей, скриптов и эффектов. В этот момент программа-индексатор понимает расположение элементов на странице, определяет видимые и невидимые пользователю части, разделяет страницу на навигацию и содержание.

Важно чтобы google bot имел полный доступ к css и js файлам, ведь без них индексатор не сможет понять структуру страницы. Для проверки доступности всех служебных файлов зайдите в Google Search Console, отчет “Посмотреть как Googlebot” в разделе “Сканирование”. Проверьте с помощью этого инструмента основные страницы сайта, обратите внимание на различия между тем, как вашу страницу видит поисковой бот и как ее видит пользователи. Изучите таблицу из отчета. Все ресурсы, которые размещены на вашем домене, должны быть открыты для сканирования.

Сейчас Google использует алгоритм индексации, который называется Caffeine. Он был запущен в 2009 году. Основные задачи этого алгоритма:

• Обработка современных страниц, использующих сложные js и css элементы.
• Максимально быстрое сканирование всех страниц в Интернете.

Анализ текста при индексации

После разделения страницы на зоны и определения их важности, алгоритм

Стоит отметить, что перед расчетом частоты упоминания слова, индексатор проводит упрощение слов к элементарной форме. Этот процесс называется стеминг. Такое упрощение позволяет учитывать слово в разных словоформах как одно слово.

Частота упоминания (Term frecency, ТА) слова рассчитывается как отношение упоминания слова к общему количеству слов страницы. Пример: если на странице 100 слов и слово “машина” встречалось на ней 2 раза — частота упоминания слова “машина” будет равна TF=0,02

Самый простой поисковой индекс легко представить в виде огромной таблицы, в столбцах которой перечислены все слова языка, а в строках — адреса всех страниц. При этом в ячейках указаны частоты слов на соответствующих страницах.

Именно такая таблица позволяет поисковой системе быстро находить страницы, которые содержат нужные слова. Конечно современные поисковые системы учитывают не только частоту упоминания слов, но и более сложные факторы. Поисковой индекс Google значительно сложнее чем приведенный пример.

Анализируя содержание поисковая система проверяет уникальность страницы. Тексты и прочее содержание, которое уже было проиндексировано на других страницах, не несет ценности для системы, так как не добавляет в базу новой информации. А это значит, что страницы с низкой уникальностью могут быть не проиндексированы. Проверить уникальность достаточно просто с помощью бесплатных инструментов.
Старайтесь создавать максимально уникальный и полезный контент и он точно будет проиндексирован.

От чего зависит индексация сайта?

1. Доступность сайта для индексации — если сканирование сайта запрещено поисковая система не сможет получить его страницы. Подробнее о инструментах управления индексацией: youtube.com Внутренняя оптимизация: robots.txt, sitemap
2. Количество ссылок на ваш сайт — ссылки, это пути которые приводят поисковых роботов к вам на сайт. Чем больше ссылок с популярных ресурсов вы получаете, тем чаще будут сканироваться страницы вашего сайта.
3. Частота обновления сайта. Поисковые системы всегда ищут новый интересный контент, чем чаще вы публикуете новое уникальное содержание, тем быстрее поисковая система будет его сканировать.
4. Наличие сайта в инструментах поисковых систем. Видео в тему: Как зарегистрировать сайт в Google Search Console.

Подведем итоги

• Индексация — это процесс сканирования и обработки содержания для хранения в базе данных поисковой системы.
• Ускорить индексацию можно с помощью ссылок, карты сайта и настроек сервера.
  Чтобы поисковая система понимала ваши страницы, все ресурсы вашего сайта должны быть доступны поисковому боту.

Мы можем проверить и настроить индексацию вашего сайта за вас.

SEO аудит с рекомендациями за 10 дней.

Надеюсь у вас больше не возникнет вопрос: “Что такое индексация сайта”.

seo7.com.ua

Как быстро проиндексировать сайт в Гугл

Нередко возникает такая ситуация, когда нужно как можно быстрее проиндексировать сайт в Гугл. Также часто возникает необходимость проверки индексации сайта в поисковой системе Google.

Дело в том, что имеет место такое явление, как «выпадение страниц». Это способно спровоцировать потерю трафика, что, мягко говоря, негативно повлияет на ряд факторов. Для того, чтобы избежать подобных проблем, необходимо проверять, проиндексирован ли сайт. И это даже не рекомендация вебмастеру, а вынужденная мера и призыв к действию.

Особенности индексации в Google

Интернет – это необъятный океан различной информации, которая обязательно строго структурирована и находится на отведенном ей месте. Такая безупречная каталогизация возможна благодаря работе поисковых систем. В них хранятся важные данные о каждой странице всех имеющихся сайтов, что позволяет быстро находить пользователю нужную ему информацию.

Так как Интернет ежедневно пополняется огромным количеством новой информации на страницах сайтов, даже самые продвинутые поисковые системы не могут сразу выполнить их индексацию. На наиболее посещаемых сайтах обновление данных в поисковых системах производится ежедневно, а на всех остальных – еженедельно.

Индексация сайта в Гугле – самая быстрая индексация среди всех остальных. В зависимости от ряда параметров, Гугл способен вносить в свою поисковую базу данные о произошедших обновлениях на сайтах даже в течение нескольких часов. Индексация включает добавление ряда важной информации о материалах сайта: ключевые слова, ссылки и пр.

Все web ресурсы индексируются с разной скоростью. На то, как быстро поисковая машина посетит сайт и внесет в свою базу данных информацию об изменениях на страницах, влияет ряд факторов. Предположим, если Гугл определит, что сайт посвящен новостям, то он будет регулярно индексироваться быстроботом – буквально каждые несколько часов. Существуют разные способы, при помощи которых можно добавить сайт на индексацию в Гугл. Например, для того, чтобы ускорить попадание сайта в индекс, часто используется один из действенных способов – размещение внешних ссылок на страницах, которые уже проиндексированы.

Когда поисковая машина Google посетила сайт, отметила все необходимые данные и внесла информацию в базу данных, системой осуществляется ранжирование авторитетности. Что оно из себя представляет? Ранжирование авторитетности – это выполнение сортировки по определенным параметрам. Авторитетность (PageRank), в свою очередь, определяется количеством и качеством ссылок, ведущих на сайт с других ресурсов. Выходит, что тот сайт, на который ведет большее количество ссылок, является более авторитетным. Чем выше авторитетность, тем выше и важность ресурса, определяемая ранжированием.

Непосредственное влияние на индексацию сайта оказывает:

• количество посетителей;
• релевантность страницы – соответствие поисковым запросам пользователей, достигаемое определенной пропорцией ключевых слов в тексте или мета-тегах;
• внутренняя оптимизация.

Показатель PageRank может быть от 0 до 10. Для наиболее «продвинутых» сайтов обычно соответствует показатель 4-5. А вот сам Google имеет по шкале авторитетности 10. На данный момент тулбарный показатель PR отключен.

Те сайты, которые обладают высоким показателем авторитетности, располагаются в поисковой выдаче как можно выше. Следует учесть, что каждая страница одного сайта имеет свой показатель авторитетности, поэтому и место в выдаче будет для каждой страницы свое.

Как проверить индексацию сайта в Гугле с оператором «site:»

Мы уже разобрались с тем, что индексация сайта очень важна. С помощью определенных действий можно проверить проиндексирован ли сайт в Гугл. Существует много программ и сервисов, которые помогают в этом.

Один из способов проверки индексации в Гугл – это выполнить установку тулбара Google в браузер, после чего в правой верхней странице будет видна специальная диаграмма. Она выводит показатель авторитетности страницы сайта.

Еще один надежный способ для google – оператор «site:». Не забываем, что индексация Гугл является зависимой от географического положения, что влияет на количество страниц в индексе для google.ru и google.com.

Итак, как пользоваться данным оператором для проверки индексации:

• К оператору «site:» нужно добавить url интересующего домена. Между ними не должно быть пробелов. Выглядит это так: site:google.ru.
• Поиск по всему домену или отдельному каталогу: site: google.com/webmasters.
• Можно осуществлять и избирательный поиск. Для того, чтобы исключить ненужные страницы, перед оператором нужно поставить знак «-». Выглядит это следующим образом: site:google.ru -site: adwords. google.com.

Для того, чтобы определить индексацию страницы со ссылкой на главную сайта с помощью www.google.ru, можно воспользоваться запросами link:google.ru или link:www. Первый поиск всегда выдает гораздо больше результатов.

Поиск ссылок на определенные страницы сайта можно выполнить по запросу: link:google.ru/webmasters.

Оператор «cache:» и индексация страниц

Оператор «cache:» предоставляет информацию проиндексированной Гуглом архивированной копии страницы. С помощью запроса cache:google.ru можно увидеть самую последнюю проиндексированную версию главной страницы сайта и информацию, отображающую дату создания КЭШа. В ней можно посмотреть ту версию страницы, в которой имеется обычный текст, а это очень удобно потому, что дает возможность увидеть ресурс так, как его видит Googlebot.

С помощью команды «метатег noarchive» есть возможность ограничить доступ пользователей к результатам поиска КЭШ-версии любой страницы сайта. Тем не менее, индексация Гуглом будет продолжаться.

Оператор «related:» и поиск ресурсов, подобных сайту

С помощью оператора «related:» есть возможность быстро отыскать ресурсы, которые подобны определенному сайту. Обычно применяется для ресурсов, по разным критериям пересекающихся.

Несмотря на то, что по различным показателям можно выявить схожие ресурсы, их качество не повлияет на саму индексацию страниц Гуглом.

Таким образом, мы разобрали несколько наиболее популярных, быстрых и надежных способов проверки индексации сайта. Пользоваться можно тем, который наиболее предпочтительный для вебмастера. Каждый из представленных методов проверенный и эффективный.

masterproseo.ru

Как быстро проиндексировать сайт в Google при помощи Webmaster Tools

Опубликовано 5 Сен, 2011 в Google, SEO | 55 комментариев

В Августе Google продолжал удивлять новшествами. После закрытия Google Directory и Wonder Wheel, в прошлом месяце поисковой гигант решил добавить новые функции в Google Webmaster Tools, а именно возможность ускорить индексацию или переиндексацию уже существующих страниц сайта в Google. Об этом пишет официальный блог Google Webmaster и у вас есть возможность прочитать оригинальный текст на английском тут.

Как ускорить индексацию в поисковой системе?

Данная возможность будет очень полезна тем, кто:

• провел внутреннюю перелинковку
• изменил контент на странице, который должен помочь улучшить ранжирование по определенным запросам.
• добавил новую страницу
• изменил мета-тэги Title, Description

После приведенных выше изменений, многие оптимизаторы и вебмастера задавались вопросом: «А как же попасть в индекс как можно быстрее?».

По данной теме было написано большое множество статей, давались разные советы, даже я писал о том как попасть в индекс Google быстрее скорости звука, но большинство данных примеров работает только для новых страниц. Так что же делать со старыми страницами, на которых изменился контент? Ведь старые страницы на блоге или сайте поисковые машины могут посещать раз в месяц или того реже… Как же ускорить переиндексацию уже существующих страниц сайта? Решением данного вопроса занялся Google и добавил такую возможность для вебмастеров в Google Webmaster Tools с помощью функции «Просмотреть как Googlebot».

Функция «Просмотреть как Googlebot» позволяла раньше увидеть страницу такой, как её видит поисковая машина. Теперь же в данной функции появилась возможность ускорить индексирование новых или переиндексацию уже существующих страниц.

Теперь вы можете попросить поисковик обратить внимание на определенную страницу или группу страниц и сказать ему: «Google смотри, у меня появился новый контент или я улучшил уже существующий».

При добавлении страниц на индексирование существует разделение на две категории:

• индексация через функцию «Просмотреть как Googlebot» для сайта, владельцем которого являетесь вы. То есть данный сайт внесен в список ваших сайтов в Google Webmaster Tools
• индексация  с помощью публичной формы добавления страниц (индексация страниц сайтов, не принадлежащих вам).

Сейчас я расскажу более подробно о каждом из типов добавления страниц на индексацию.

Альтернативой, выше указанному способу, может послужить обновление списка пинг-сервисов для WordPress, который поможет быстро индексировать ваш блог не используя посторонних сервисов.

Индексация URL сайта, который принадлежит вам

Во-первых, вам необходимо зайти в Инструменты для вебмастеров от Google с помощью вашего Google аккаунта,  где вы найдете список сайтов принадлежащих вам. Потом выбрать из списка тот сайт, на котором вам необходимо проиндексировать страницы.

Во-вторых, перейти в меню Диагностика→Просмотреть как Googlebot. Там вы можете добавить URL новой или уже существующей страницы, которою необходимо проиндексировать.

В первое поле помеченное красным, вы добавляете страницу, которою необходимо проиндексировать в Google (для индексации главной страницы поле необходимо оставить пустым) и  жмем на кнопку «Получить содержание».

После нажатия на кнопку «Отправить в индекс» вы увидите всплывающее окно

В данном окне вы можете выбрать: индексировать только один заданный URL или все страницы, на которые ссылается данный URL. Решать вам, но второй вариант будет очень полезен тем, у кого проблемы с общей индексацией сайта. Данная возможность позволит вам добавить в индекс как можно большее количество страниц.

Каждую неделю у вебмастера есть возможность добавить 50 страниц на индексацию в Google. И только 10 раз в месяц вы можете добавить заданный URL и все страницы, на который он ссылается. Если же вам необходимо проиндексировать видео или картинки, то Google рекомендует добавлять на индексацию сайтмапы.

Индексация URL сайта, который не принадлежит вам

Вы обменялись ссылками или купили ссылку на сайте? И хотели, чтобы ваша ссылка была обнаружена Гуглом как можно быстрее, то вам поможет публичное добавление на индексацию. Найти форму добавления URL можно в Google Webmaster Tools . Это лучший способ быстро проиндексировать любой URL в Google.

Если говорить о практике, то я ее уже успешно провел. Были статьи со ссылками, которые я купил в Getgoodlinks (читайте о том как выбирать англоязычных доноров ссылок) и которые не могли попасть в индекс Google более 15 дней. Особых усилий для попадания их в индекс я не предпринимал, но прогон через Pingexpert не помог. После использования формы добавления страниц на индексацию в Google Webmaster Tools, страницы попали в индекс в течении дня.

Однако, не стоит забывать о словах источника в Google, который утверждает, что добавление на индексацию через форму в Webmaster Tools не гарантирует попадание страницы в индекс. Так же индексация страниц сайтов, которые принадлежат вам может пройти быстрее, чем добавление на индексацию страниц сайтов, которые не принадлежат вам. Этим самым Google дает преимущество на индексацию сайтов владельцам, а не случайным пользователям.

Всем тестировать новшества, о ваших результатах и впечатлениях рассказывайте в комментариях.

Сегодня же хотелось бы напомнить всем о том как не нужно меняться ссылками об этом я писал тут, но сегодня еще встретил похожую запись о неэффективных методах обмена ссылками. Всем советую прочитать обе статьи и выбрать главное из двух источников.

Читайте также:

dneprolab.com

Как ускорить индексацию сайта в Google

Для Google всё элементарно, когда-то компания Google выпустила в Панели для веб-мастера специальный раздел «Индексация GoogleBot, где Вы вставляете url адрес своей новой странички и тем самым направляете робота к Вам на сайт, который эту страницу и добавит в индекс.

Для этого переходим в Панель веб-мастера Google.

По этой ссылке Вы сможете прочитать разного рода документацию, новости, руководства и даже пройти обучающие курсы по оптимизации сайта для поисковых систем.

Далее нажимаем Войти, если нужно «залогиниться», то заполняем форму входа и попадаем в Search Console.  Если у Вас ещё не добавлен Ваш ресурс в этой консоли, то Вы можете сделать это нажав кнопку «Добавить ресурс«.

В графе «Все сообщения» нашему виду откроются рекомендуемые советы, которые помогут улучшить позиции сайта, в которых мы также можем отслеживать трафик и эффективность сайта, просмотреть статистику самых популярных страниц в Google поиске, посмотреть по каким запросам переходят пользователи на сайт и отследить ошибки на страницах сайта.

Перейдём к индексации страниц:

Нам нужно снова перейти в Search Console и кликнуть на иконку сайта или на его название. В итоге мы перейдём в Панель инструментов, где нам нужно выбрать Сканирование — Просмотреть как Googlebot. Перед Вами откроется специальная форма для ввода адреса. Обратите внимание, что если Вы хотите просканировать / проиндексировать одну из страниц, то вставляем ссылку от слэша (без доменного адреса). и нажимаем «Сканировать«.

После этого страница была загружена к Вам в Панель инструментов и теперь мы можем добавить её в индекс — нажимаем «Запросить индексирование«.

После чего нам выводится окно, где нам напишут «Повторное сканирование произойдет в течение нескольких минут после нажатия кнопки «Отправить». Проходим проверку «Я не робот», и в данном случае я поставил отметку «Сканировать только этот URL«. Нажимаем Отправить.

И теперь мы видим надпись «Отправлен запрос на индексирование«. В итоге за считанные минуты, Вашу страницу Google должен будет проиндексировать.

Кстати проверить индексацию можно таким способом:

Вводим в поиск Google адрес страницы и перед ним пишем info: (см. скрин).

info:https://lenium.ru/ustanovka-lokalnogo-web-servera-xampp-sozdanie-pervogo-php-skripta/

Таким вот образом и можно быстро передать информацию Google поиску, чтобы он индексировал страницы. Вручную конечно всегда быстрее, чем ждать пока Googlebot придёт на Ваш сайт, особенно если Ваш сайт ещё пока на первых порах и не совсем раскручен.

lenium.ru

Ускорение индексации сайта в поисковых системах Яндекс и Гугл

Есть несколько методов ускорить индексацию сайтов и отдельных страниц поисковиками.Суть их сводится к тому, что надо как можно быстрее скормить поисковым роботам ссылку на наш ресурс. Стало быть наша цель найти сайты, которые часто посещают «быстроботы» в поисках свежего контента, и разместить там свою ссылку.

1. Где часто бывает новый контент? На новостниках. Новостники продают ркламу. Покупаем в разумных пределах, если сайт новый, то 1-й хорошей ссылки будет достаточно. Через несколько часов, после появления ссылки на доноре, страница (не весь сайт) как правило, в индексе, ссылку можно снять.

2. Задействуем Твиттер. Хорошо работают популярные аккаунты. Просто делаем твит с ссылкой. Как правило в течение часа страница появляется в Яндексе (даже с нового, неиндексированного сайта). Можно купить десяток рекламных твитов — ориентируемся не на количество, а на качество аккаунтов) — относительно недорогое удовольствие.

3. Пинг сервисы  + сделать карту сайта и добавить её, как и сам сайт в Яндекс Вебмастер и аналогичный сервис Гугла, поставить Аналитику и Метрику.

Здесь ускорение индексации сайта в поисковых системах происходит благодаря прямому пингу и пингу через сервисы-посредники поисковых систем с тем, чтобы указать на появление новых страниц на вашем сайте или указать на обновление старых.

Почему Яндекс или Гугл не индексирует сайт?

Нормальный сайт, уникальный контент, десяток твитов, несколько ссылок в GGL. Уже месяц прошёл, а в индексе 0.

Знакомая ситуация?

В чём причины того, что сайт не индексируется поисковиками Google и Yandex?

1. Сайт просто еще не найден поисковиками Яндекс и Гугл.

Что делать?

• добавить сайт в Яндекс и Google вебмастер, а также в поисковые системы (Add url).

После этого сайт появится в выдаче в течение нескольких часов или дней.

2. Сайт закрыт от индексации в мета тегах (noindex).

Поисковики могут не видеть сайт или отдельные его страницы по той причине, что он закрыт мета тегом. Проверьте код основных страниц. Выглядит это так: <meta name=»robots» content=»no index, nofollow»>

Такой код может быть внедрён, например, через шаблон. Или оставлен на время разработки сайта, чтобы ничего лишнего не попало в выдачу. Ещё вариант — такой код может автоматически добавляться CMS, если указаны соответствующие настройки.

3. Сайт заблокирован от поисковых ботов через в .htaccess

Найдите в корне сайта файл с названием .htaccess и в его коде посмотрите, не закрыт ли сайт. Пример кода: SetEnvIfNoCase User-Agent «^Googlebot» search_bot

4. Ошибки сканирования.

Поисковым роботам сложно дойти до нужных страниц, если возникает много ошибок при сканировании сайта. Это легко проверить. Заходим в Google Webmaster Tools: сканирование – ошибки сканирования.

5. Проблемы с индексацией JavaScript и AJAX.

Google индексирует JavaScript и AJAX, но нужны правильные настройки.

6. Страницы сайта или веб-ресурс закрыт в robots.txt
7. Бан домена.

Такое бывает, что можно сделать:

• В случае с Яндексом направить запрос на пересмотр блокировки, и узнать в чем была ее причина.
• В случае с Google постараться выяснить причину, написав на форуме.
• Развивать и дальше свой проект в надежде, что он выйдет из бана. Бывает ли такое? Да, бывает — в частности adne.info был в бане поисковых систем и вышел оттуда.

8. Нестабильная работа сервера или очень медленная загрузка сайта.

adne.info

13 причин почему Google не индексирует сайт | TheWebLand.NET

«Почему мой сан не индексируется?!»

Индексация сайта наиболее важная особенность SEO во все времена. Для органического поиска индексация, жизненно необходима. Если ваш сайт не индексируется, вы теряете органический трафик, что немаловажно для SEO. Так же никто не сможет найти и посмотреть ваш контент, если вы им не даете прямую ссылку, например, на визитке.

Первый шаг к индексированию это понимание проблем индексации вашего сайта.

Я примерно организовал список из наиболее общих причин.

1. Ваш сайт проиндексирован под www или non-www доменом.

Технически www является под доменом. Таким образом http://example.com не то же самое, как http://www.example.com. Убедитесь, что вы добавили оба адреса и уверены что они индексируются. Обязательно установите основной домен, но подтвердите право собственности на оба.

2. Google не нашел ваш сайт

Как правило, это проблема новых сайтов. Дайте ему несколько дней (по крайней мере), но если Google до сих пор не индексирует ваш сайт, убедитесь, что ваша карта сайта загружается и работает нормально. Если вы еще не создали представления для карты сайта, это может быть ваша проблема. Вы должны также потребовать Google что бы он «ходил» по вашему сайту. Как это сделать:

• В Webmaster Tools выберете нужный сайт.
• На панели инструментов-> Сканирование -> Посмотреть как Googlebot.
• В текстовом поле введите путь к странице, которую вы хотите проверить.
• В раскрывающемся списке выберите ПК. (Вы можете выбрать другой но это неважно.)
• Нажмите сканировать. Google будет получать URL вашего сайта. Это может занять до 10 минут. Потом страница обновится.
• Как только вы увидите отчет о успешном выполнении, нажмите кнопу Отправить. Таким образом вы отправите урл в индекс.
  • Чтобы отправить одиночный URL в индекс, выберите URL и нажмите отправить. Вы можете представить до 500 адресов в неделю таким способом.
  • Чтобы отправить URL и все страницы, связанные с ней, нажмите URL и все связанные страницы. Вы можете представить до 10 таких запросов в месяц.

3. Сайт или страницы блокируются в robots.txt

Еще одной проблемой может являться блокировка сайта в robots.txt. Это легко исправить. Просто удалите запись из файла и через некоторое время сайт появится в индексе.

      4.  У вас нет sitemap.xml

Каждый веб-сайт должен иметь sitemap, которая дает поисковикам перечень направлений, куда они должны следовать. Создать карту сайта для поисковиков довольно просто.

Если у вас возникли вопросы по индексации в любой части вашего сайта, я рекомендую вам повторно пересмотреть карту.

5. У вас есть ошибки обхода

В некоторых случаях, Google не будет индексировать некоторые страницы вашего сайта, потому что он не может сканировать их. Даже при том, что он не может сканировать их, он все еще может видеть их.

Чтобы определить ошибки обхода, зайдите в Google Webmaster Tools -> Site -> Нажмите на кнопку «Сканирование» -> «Ошибки сканирования». Если у вас есть какие-либо ошибки, то есть, не проиндексированные страницы, вы увидите их в списке.

6. У вас дублируется контент

Слишком много страниц с одинаковым контентом может запутать поисковики и они перестанут индексировать сайт.

Если на нескольких URL-адресах на вашем сайте дублируется контент то это влияет на выдачу. То есть, поисковик не знает на какую страницу вести пользователя и соответственно удаляет их из поиска. Чтобы устранить эту проблему, выберете страницу, которую вы хотите сохранить, а на остальные пропишите 301 редирект в htaccess. Или же закройте от индекса через файл robots.txt.

Иногда имеет смысл канонизировать страницы, но будьте осторожны. На некоторых сайтах канонизация мешает индексации.

7. Настройки приватности

У большинства популярных движков есть функция разработки. При которой контент на сайте может видеть только авторизированный пользователь.

Если у вас WordPress, перейдите к администрированию –> настройки -> конфиденциальность.

8. Сайт заблокирован .htaccess

Ваш файл .htaccess является частью существования вашего сайта на сервере, что позволяет ему быть доступным во всемирной сети. Файл .htaccess написан для Apache. .htaccess можно использовать для различных задач, также для блокировки сканеров и предотвращение индексации.

9. Сайт имеет NOINDEX в мета-теге

Еще один способ сказать «нет» роботам и таким образом, не дать им вас индексировать. Хотя не всегда их останавливает. Выглядит так:

<meta name= ” robots “ content = “noindex, nofollow”>

Это один из тех проблем когда вы говорите: «О, черт, я не могу поверить, что не видел этого!».

Удалите эту строку кода, и вы сможете вернутся в индекс в кратчайшие сроки.

         10. У вас есть AJAX / JavaScript решения

Google индексирует JavaScript и AJAX не так как HTML. Так что, если вы неправильно настроите страницы AJAX и выполните JavaScript, Google не будет индексировать страницу.

            11. Слишком долгая загрузка страницы

Поисковика не нравится когда ваш сайт грузится целую вечность. Как вы думаете сколько пользователь будет ждать, пока загрузится ваша страница? Вот и поисковики думают также.

          12. Время простоя хостинга

Если роботы не могут получить доступ к сайту, они не будут индексировать его. Это достаточно очевидно, но почему это происходит? Проверьте качество хостинга.

           13. Вы получили Deindexed

Это действительно плохо.

Если вы получили пенальти от поисковика, за какой то «незаконный» контент. Или же по причинам его «качества». Вернуть его в индекс будет очень сложно.

Эта статья не является попыткой обсудить все причины не идексации сайта. Индексация является залогом хорошего SEO. Если ваш сайт или отдельные страницы вашего сайта не индексируются, вы должны выяснить, почему. Желаю всем страниц в индексе, да поменьше пенальти.

thewebland.net