Систематизация информации – Как работает Google Поиск
Систематизация данных
в Google Поиске
Чтобы найти интересующую вас информацию, Google проверяет сотни миллиардов веб-страниц и других источников контента, сохраненных в поисковом индексе, – это больше, чем во всех библиотеках мира, вместе взятых.
Поиск информации с помощью сканирования
Основная часть индекса Google Поиска создается специальным ПО – поисковыми роботами. Они автоматически открывают общедоступные веб-страницы и переходят по ссылкам на них, как это делают пользователи интернета. Поисковые роботы изучают каждую страницу и сохраняют найденные данные и другой общедоступный контент в индексе Google Поиска.
Систематизация информации с помощью индексирования
Во время сканирования наши системы обрабатывают контент страниц так же, как это делают браузеры. Мы регистрируем данные по ключевым словам и новизне контента, а затем создаем на их основе поисковый индекс.
Индекс Google Поиска включает сотни миллиардов веб-страниц.
Постоянный поиск новой информации
Интернет непрерывно меняется. Чтобы гарантировать актуальность данных в поисковом индексе, сканирование не должно прекращаться ни на минуту. Поисковые роботы оценивают, как часто меняется уже просмотренный контент, и при необходимости возвращаются к нему. Они также проверяют информацию при появлении новых ссылок или материалов.
Google предлагает бесплатный набор инструментов Search Console, который помогает владельцам сайтов повышать эффективность сканирования своего контента. Им также доступны традиционные инструменты, например файлы Sitemap и robots.txt. С их помощью можно задать частоту сканирования контента или вообще исключить его из индекса Google Поиска.
Google не увеличивает частоту сканирования отдельных ресурсов за плату. Чтобы результаты поиска были максимально полезными для пользователей, владельцы сайтов получают одни и те же инструменты.
Больше, чем просто веб-страницы
Помимо информации из интернета, в индексе Google Поиска содержатся полезные данные из других источников.
Google поддерживает несколько индексов с данными разных типов. Они собираются с помощью сканирования, предоставляются партнерами, берутся из фидов и из нашей собственной энциклопедии фактов – сети знаний.
Благодаря разным индексам можно искать информацию в миллионах книг из крупнейших библиотек, узнавать расписание общественного транспорта у местных перевозчиков или находить данные в открытых источниках, таких как Всемирный банк.
Ранжирование результатов
Узнайте, как определяется порядок выдачи результатов поиска.
Тщательное тестирование
Узнайте о процессах и инструментах Google, которые помогают находить полезную и актуальную информацию.
Обнаружение спама
Узнайте о мерах, которые предпринимает Google, чтобы сделать поиск безопаснее.
Как Google индексирует и обновляет страницы веб-сайта?
«Привет, Эрван,
Находясь сейчас немного на стажировке, а не больше на практике, я немного смотрю на свою индексацию в Google, которая некоторое время не менялась: 74 проиндексированных страницы.
Тем временем я внес на сайт много изменений, особенно на уровне категорий.
Итак, есть некоторые страницы, которые еще не проиндексированы, а другие, которые ведут на страницу 404, например:
https://www.ibimane.com ›Корпуса и защита› Другие бренды
Мне интересно, есть ли способ временно заблокировать индексацию, пока я заканчиваю магазин? Это хорошая идея ?
Ваши мнения и советы приветствуются,
Спасибо за вашу помощь 🙂
Амин »
Напоминание о том, как работает Google:
Его робот, Google Bot:
- Исследуйте Интернет: это ползать.
- Затем он проиндексирован интересные страницы (у нас может быть сайт из 80 страниц и только 30 проиндексированных страниц, например, если они очень похожи).
- Наконец, он определяет положение (ранжировать) страницы, проиндексированные в соответствии с алгоритмом его поисковой системы.
Следите за индексацией его сайта:
Вы можете отслеживать индексацию сайта в Search Console:
Или прямо в Google, набрав site: ibimane.com:
Вы видите, что Google теперь указывает 610 страниц … против 74, когда был задан вопрос.
В большинстве случаев, чтобы сайт обновился … вам просто нужно подождать!
Стоит ли блокировать индексацию через файл robots.txt?
Официально: да; сайт не должен работать, пока он не будет готов. В частности, это предотвращает индексацию элементов, не представляющих интереса.
Личный ответ: я не думаю, что это необходимо для большинства сайтов.
Период индексации на новый сайт обычно составляет от 4 дней до 4 недель.
Для «небольшого» сайта у разработчика обычно есть время, чтобы придумать согласованную первую версию.
Индексирование и заказ Google сайт: позволит обнаруживать любопытные страницы и исправлять их до того, как сайт действительно обнаружится пользователями Интернета.
Я часто вижу сайты:
- Где некоторые страницы / категории все еще блокируются файлом robots.txt.
- Если после проверки клиентом сайт переводится в оперативный режим … и Google начинает индексировать страницы забытых тем либо на английском языке, либо в «lorem ipsum».
Как ускорить индексацию вашего сайта?
Вопрос мне кажется по сути теоретическим.
Действительно, если ваш сайт запустится, он может быть просканирован и проиндексирован Google. У него с другой стороны мало шансов на «ранжирование».
SEO в значительной степени основывается на внешних ссылках, которые приходят с других веб-сайтов.
Получение ссылок позволяет Google быть замеченным вами с этих других сайтов и, следовательно, ускоряет индексацию … и ранжирование, поскольку ссылки являются мощным фактором ранжирования.
Google предлагает инструмент для отправки новой страницы: https://www.google.com/webmasters/tools/submit-url
Но использование этого часто сводится к тому же результату, что и естественное проявление: » мы не можем предсказать или гарантировать, когда или даже если они будут включены в наш индекс. »
Новую страницу популярного сайта с большим количеством ссылок можно проиндексировать за 30 минут!
Google Bot может посещать старую страницу, на которую также много ссылок.
Фактически, Google очень быстро индексирует даже небольшие сайты; пример с блогом, преобразованным в электронную коммерцию:
От 100 до 25 страниц за несколько дней, по мере добавления …
Обратное не следует той же логике: удаленные страницы могут исчезнуть из поиска Google («кеш») через несколько недель.
Затем вы можете попросить Google больше не принимать это во внимание: https://support.google.com/webmasters/answer/1663419?hl=fr
Я получил свой первый доход в Интернете в 2012 году, развивая и монетизируя трафик своих сайтов (AdSense …).
С 2013 года, когда я получил первые профессиональные услуги, у меня была возможность участвовать в разработке более 450 сайтов в более чем +20 странах.
Систематизация информации – Как работает поиск Google
Как Google
Поиск систематизирует информацию
Когда вы выполняете поиск, Google просматривает сотни миллиардов веб-страниц и другого контента, хранящегося в нашем поисковом индексе, чтобы найти полезную информацию – больше информации, чем во всех библиотеках мира.
Поиск информации путем сканирования
Большая часть нашего поискового индекса создается с помощью программного обеспечения, известного как сканеры. Они автоматически посещают общедоступные веб-страницы и переходят по ссылкам на этих страницах, как если бы вы просматривали контент в Интернете.
Организация информации путем индексирования
Когда поисковые роботы находят веб-страницу, наши системы отображают содержимое страницы так же, как это делает браузер. Мы принимаем к сведению ключевые сигналы — от ключевых слов до свежести веб-сайта — и отслеживаем все это в поисковом индексе.
Индекс поиска Google содержит сотни миллиардов веб-страниц и имеет размер более 100 000 000 гигабайт. Это похоже на индекс в конце книги — с записью для каждого слова, увиденного на каждой веб-странице, которую мы индексируем. Когда мы индексируем веб-страницу, мы добавляем ее в записи для всех слов, которые она содержит.
Постоянный поиск новой информации
Поскольку Интернет и другое содержимое постоянно меняется, наши процессы сканирования постоянно работают, чтобы не отставать. Они узнают, как часто контент, который они видели раньше, меняется и пересматривается по мере необходимости.
Они также обнаруживают новый контент по мере появления новых ссылок на эти страницы или информацию.
Google также предоставляет бесплатный набор инструментов под названием Search Console, который авторы могут использовать, чтобы помочь нам лучше сканировать их контент. Они также могут использовать установленные стандарты, такие как карты сайта или robots.txt, чтобы указать, как часто контент следует посещать или его вообще не следует включать в наш поисковый индекс.
Google никогда не принимает плату за более частое сканирование сайта — мы предоставляем одни и те же инструменты для всех веб-сайтов, чтобы обеспечить наилучшие результаты для наших пользователей.
Больше, чем веб-страницы
Наш поисковый индекс содержит не только информацию из Интернета, поскольку полезную информацию можно найти в других источниках.
На самом деле, у нас есть несколько указателей различных типов информации, которая собирается путем сканирования, через партнерские отношения, через потоки данных, отправляемые нам, и через нашу собственную энциклопедию фактов, Граф знаний.
Эти многочисленные указатели означают, что вы можете выполнять поиск среди миллионов книг из крупных библиотек, узнавать время в пути в местном агентстве общественного транспорта или находить данные из общедоступных источников, таких как Всемирный банк.
Узнать больше
Результаты рейтинга
Строгие испытания
Узнайте о процессах и инструментах Google, позволяющих находить полезную и актуальную информацию.
Обнаружение спама
Узнайте о шагах, которые Google предпринимает для защиты ваших поисковых запросов.
Как заставить Google проиндексировать ваш сайт
Поисковым роботам Google может потребоваться от четырех дней до нескольких недель, чтобы просканировать и проиндексировать новые или обновленные веб-страницы. Хотя эти сроки варьируются, существует множество тактик и стратегий SEO, которые вы можете использовать, чтобы ускорить процесс индексации Google. Вот восемь способов заставить Google быстрее индексировать контент вашего веб-сайта.
Проверьте файл Robots.txt
Файл Robots.txt, который находится в корневом каталоге вашего сайта, предназначен для того, чтобы сообщить роботам поисковых систем, как сканировать ваш сайт и как индексировать содержимое вашей веб-страницы.
Это также будет первое место, где сканеры попадут на ваш сайт. Хотя файл robots.txt по умолчанию разрешает сканирование страниц, важно перепроверить и удалить любые блокировки ботов с незавершенных страниц, которые могут повлиять на то, как сканеры индексируют веб-сайт в Google.
Создать карту сайта
Вы можете показать поисковым системам, как содержание вашего веб-сайта связано с помощью карты сайта. Поисковые системы считывают визуальные карты сайта, карты сайта в формате XML и карты сайта в формате HTML, чтобы находить страницы и контент для индексации. Файлы Sitemap также могут информировать Google о времени показа видеоконтента и возрастных рейтингах, времени последнего обновления каждой веб-страницы, альтернативных языковых версиях вашего контента, тематике изображений и многом другом.
Включить внутренние ссылки
Внутренние ссылки позволяют сканерам поисковых систем быстро находить и индексировать веб-страницы. Будь то карта сайта, меню навигации, хлебные крошки или связанный текст в копии страницы, внутренние ссылки позволяют поисковым роботам обнаруживать все веб-страницы и лучше понимать иерархию информации вашего веб-сайта.
Если на вашем сайте не используется стратегия внутренних ссылок, Google может затруднить индексацию вашего контента.
Уменьшить раздувание индекса
Если на вашем веб-сайте слишком много страниц для сканирования и индексации в рамках бюджета сканирования, сканеры поисковых систем не смогут просмотреть или ранжировать их все. Установив теги noindex, вы можете запретить Google индексировать повторяющиеся, некачественные, незавершенные или тестовые страницы на вашем веб-сайте, что фактически может уменьшить раздувание индекса и вместо этого направить робота Googlebot на сканирование наиболее ценных страниц.
Правильная настройка канонических тегов
Канонические теги, в том числе междоменные канонические теги, отлично подходят для того, чтобы сообщить Google, какой веб-контент должен быть приоритетным, когда существует дублированный или похожий контент, совместно используемый через несколько внутренних или внешних URL-адресов. Настроив эту канонизацию, вы можете указать Google, какой контент веб-страницы следует индексировать, что может ускорить процесс и помочь вам избежать того, чтобы Google по умолчанию использовал неправильную страницу при индексировании.
Добавление замещающего текста к визуальным объектам
Благодаря оптимизации изображений на вашем веб-сайте с описательным замещающим текстом поисковые роботы с большей вероятностью обнаружат и проиндексируют содержимое вашего изображения. Эти описания должны быть адаптированы к изображениям на странице с ценными ключевыми словами, чтобы Google мог лучше понять, что представляет собой контент и почему он имеет отношение к странице. Включение замещающего текста для изображений может даже предоставить дополнительный контекст о ваших веб-страницах для Google, что может помочь правильно проиндексировать сами страницы.
Используйте Google Indexing API
Если на вашем веб-сайте есть недолговечные страницы, такие как объявления о вакансиях, прямые трансляции и объявления о событиях, Google Indexing API может обеспечить свежее сканирование и индексацию страниц. Вы можете деиндексировать URL-адреса, просмотреть запрос статуса или отправить запрос на повторное сканирование.