Переиндексация
Перегенерация поискового индекса может потребоваться в самых различных ситуациях, например, после импорта товаров в каталог или после загрузки файлов по FTP. Пока индекс поиска не создан заново после подобных операций, новые страницы не будут выводиться в результатах поиска.
Форма Переиндексация (Настройки > Поиск > Переиндексация) позволяет пересоздать поисковый индекс, задав требуемые параметры и ограничения.
Закладка «Переиндексация»
Закладка предназначена для ручной переиндексации сайта.
| Поле | Описание |
|---|---|
| Переиндексировать только измененные | Если эта опция включена, при создании индекса будет обновляться/добавляться информация о модифицированных/созданных с момента последней индексации документах и страницах.
Если вы хотите переиндексировать сайт полностью, отключите эту опцию. |
| Шаг | Интервал между шагами индексации, в секундах. Если поле оставлено пустым или указано значение |
| Сайт | Сайт, документы которого требуется переиндексировать. |
| Модуль | Список позволяет выбрать, какую информацию следует переиндексировать:
Примечание: Переиндексацию Социальной сети необходимо производить только из публичной части сайта с помощью соответствующей кнопки на панели инструментов (см. ниже). Опция [socialnetwork] Социальная сеть в данном случае не даст нужного эффекта. |
| Удалить поисковые фразы для подсказки | При отмеченной опции будут удалены все фразы, отображающиеся в виде интерактивных подсказок при поиске. |
Для того чтобы начать переиндексацию, нажмите кнопку Переиндексировать. Для остановки переиндексации — кнопку Остановить, а для продолжения Продолжить.
Внимание! После выполнения переиндексации модуль Социальная сеть должен быть переиндексирован отдельно из публичного раздела.
Для этого:
- Перейдите в разделы социальной сети (где установлены компоненты socialnetwork, socialnetwork_group, socialnetwork_user).
- Нажмите кнопку Индексация на панели управления:
Смотрите также:
© «Битрикс», 2001-2019, «1С-Битрикс», 2019
Наверх
dev.1c-bitrix.ru
1С-Битрикс Разработчикам — SEO и robots.txt в 14 версии 1С-Битрикс Управления Сайтом
Разбирать принципы работы мы будем на работающем проекте, на который были установлены последние обновления: http://teatome.ruМодуль: Поисковая оптимизация (SEO) – версия 14.0.2
В разделе «Сервисы» появился новый пункт «Поисковая оптимизация», в котором собраны возможности по SEO, влияющие на весь сайт:
Разберем раздел «Настройка robots.txt». В данном разделе вы можете управлять, создавать и следить за файлом robots.txt вашего сайта:
Мы продолжаем применять новый функционал на работающем магазине, видим в правой части скриншота содержимое файла robots.txt, который используется в данный момент. Подведя курсор к строке, вы увидите крестик и сможете удалить строку.
Удаляем файл robots.txt, который используется в данный момент, и входим в настройку заново:
У нас нет файла, 1С-Битрикс предлагает нам его создать. Справа у нас есть кнопочки с действиями, которые нам помогут. Давайте разберём их:
«Стартовый набор» — создаст рекомендованный набор от Битрикса для вашего сайта. Во время создания система запросит у вас главное зеркало, для текущего сайта мы будем пользоваться главным зеркалом http://teatome.ru, стартовый набор создался и отобразился в окне:
«Запретить файл/папку (Disallow)» — если вы хотите дополнить рекомендованный список и точно знаете те файлы и папки, которые нужно закрыть на вашем проекте, вы сможете это сделать через эту кнопку.
Добавим несколько папок и файлов в исключения, для поисковых роботов:
Сохраняем и видим, что в конце списка добавились новые записи:
«Разрешить файл/папку (Allow)» — данная кнопка может добавить определённые файлы или целые папки в индексацию, чтобы робот не забыл туда зайти.
«Главное зеркало (Host)» — нажатие данной кнопки инициирует появление диалога, в котором вы можете гибко указывать главное зеркало вашего сайта. При создании рекомендованного набора, система предлагает указать главное зеркало, но если у вас уже был файл, в котором не было указано главное зеркало сайта, вы сможете его добавить:
«Интервал между запросами (Crawl-delay)» — настройка для слабых хостингов или для магазинов с сотнями тысяч страниц, задаёт интервалы обработки между страницами.
Подробнее можно почитать по ссылке на Яндекс: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#crawl-delay
«Карта сайта (sitemap)» — вы можете указать путь к файлу карты сайта:
Нажатие на «Сохранить» добавляет запись в файл robots.txt:
Настройки, сделанные на вкладке «Общие правила», действуют для всех поисковых систем (ботов).
Но вы можете задать определённые правила для определённых поисковых систем и их ботов, например Яндекса:
На скриншоте показан список ботов, для которых вы можете задавать специальные правила, разбирать подробно этот момент мы не будем, можно почитать документацию, указанную внизу страницы:
Вы можете дописать нужные команды и строки вручную, перейдя на вкладку «Редактировать»:
Все изменения или настройки, которые мы осуществляли, делались только на экране и не были записаны в файл. Мы внесли все нужные изменения, жмём на «
Набрав в браузере: http://www.teatome.ru/robots.txt вы должны увидеть файл, который вы сохранили:
На момент публикации данной статьи обновление находится в статусе beta. Отследить статус обновления можете на странице истории версий.
Спасибо, ждём вопросов и замечаний по новому функционалу.
dev.1c-bitrix.ru
16 причин почему сайт не индексируется в Яндекс и Google
Многие вебмастера сталкиваются с проблемами индексации сайта, которые негативно влияют на его SEO-продвижение, трафик. Они постоянно совершенствуют сайт, оптимизируют, добавляют новый контент, а число страниц в индексе не растет, либо и вовсе весь ресурса там отсутствует.
Чтобы предпринять соответствующие меры по предотвращению данной проблемы, нужно выяснить, почему сайт не индексируется поисковыми роботами. Сегодня мы и поговорим об основных причинах, которые приводят к тому, что материалы с ресурса не вносятся в базу данных поисковиков.
1. Яндекс и Google еще не заметили ваш ресурс
Это одна из самых возможных причин. Вы недавно создали свой сайт и выложили его в интернет, но не предприняли никаких мер, чтобы поисковики побыстрее нашли его. Тогда индексацию и вправду можно ждать очень долго.
Чтобы этого не допустить, обязательно добавьте проект в Addurl (Аддурилку), а также в панель вебмастера Google и Яндекс. Проделав эти несложные шаги, можно ожидать попадания сайта в индекс уже через пару часов, но бывает, что приходится ждать и несколько дней.
2. Настройки приватности в WordPress
Если вы используете готовую CMS, обязательно проверьте приватные настройки, которые нередко установлены по умолчанию, и именно из-за них сайт может не индексироваться.
Например, если у вас WordPress зайдите в «Настройки», а затем в «Чтение». Там вы найдете опцию «Видимость для поисковиков», напротив которого нужно убрать галочку возле «Попросить поисковые машины не индексировать сайт».
Если вы используете другую CMS, то обязательно проверьте стоит ли у вас в настройках подобная опция. Как ни странно, но ситуации, когда сайтостроители элементарно забывают снять эту галочку, случаются довольно регулярно.
3. Веб-ресурс или отдельные его файлы заблокированы в robots.txt
Еще одна распространенная причина, которая остается без внимания вебмастеров. Но и эту проблему легко исправить. Если на сайте нет мусорных страниц и технических разделов, то достаточно создать файл robots с таким правилом, которое разрешает индексировать весь ваш сайт:
User-agent: * Disallow:
Что такое robots.txt и как правильно его настроить читайте в этой статье.
4. На сайте много повторяющихся материалов
Как правило, зачастую дублируются страницы и мета-теги. Это грозит не только непопаданием вашего сайта в индекс, но и применением по отношению к нему санкций от Google Panda (алгоритм, который борется с некачественным контентом). Узнать, какие основные проблемы существенно снижают качество и эффективность проекта, вы можете в разделе «Вид в поиске» –> «Оптимизация HTML» в Google Вебмастере.
Сегодня это одна из распространенных причин, по которой сайты попадают под санкции, и разработчикам становится сложнее их продвигать.
5. Мета-тег name, content
Скрыть веб-ресурс от поисковиков можно и мета-тегом:
<meta name=”robots” content=”noindex, nofollow”>
Иногда это правило может быть прописано и для определенных роботов:
<meta name="googlebot" content="noindex" />
Чтобы проверить его наличие, откройте исходный код сайта и проверьте содержимое. Если найдете вышеупомянутую строку, просто удалите ее, или «nofollow» и «noindex» замените на «follow» и «index» соответственно.
Да, бывали и такие случаи, когда данный мета-тег присутствовал в коде, а вебмастера даже не догадывались об этом и искали совершенно другие проблемы.
6. Мета-тег noindex
Заодно проверьте в коде тег <noindex></noindex>, не обрамлен ли им ваш контент. Этот тег служит для поисковой системы Яндекс, который указывает, что этот контент не следует индексировать. То есть если у вас часть текста закрыта этим тегом, то у вас страница будет индексироваться, а сам контент который им обрамлен не будет.
7. Использование HTTP-заголовка X-Robots-Tag
Этот способ закрывает от индексации страницы только для Google. В коде этот метатег не найти, так как он работает на уровне заголовков сервера. Проверить его можно с помощью плагина для браузера Web Developer: Chrome, FireFox
Или с помощью онлайн инструмента http://tools.seobook.com/server-header-checker/
8. Перебои в работе хостинга или сервера
Если робот посетил ваш сайт, чтобы проиндексировать его содержимое, а в это время он оказался недоступным, то страницы так и не будут внесены в базу данных поисковых систем. Поэтому очень важно выбрать надежный хостинг и сервер с хорошим up time.
Чтобы всегда быть в курсе доступности ресурса, созданы самые разные сервисы. Найти их можно, введя в поиск запрос «uptime checker». Рекомендуем Яндекс.Метрика – он совершенно бесплатный.
9. Ошибки при сканировании
Если их возникает в изобилии, то боты не имеют возможности полноценно обойти сайт и добраться до необходимых страниц. Проверить наличие ошибок можно в Google Webmaster Tools. Зайдите в раздел «Сканирование» и выберите «Ошибки сканирования». Если они будут обнаружены, сервис предложит их исправить.
10. Ранее используемый домен
Если вы зарегистрировали сайт на старое доменное имя, потому что оно легко читается и хорошо звучит, будьте готовы к тому, что его предыдущий владелец занимался черными методами SEO-продвижения, и теперь вам придется «разгребать» все те проблемы, к которым привела его деятельность.
Поправить ситуацию можно:
- Отправив в Яндекс и Google запрос на пересмотр и узнав, почему страницы не индексируются.
- Продолжая продвигать проект и работать над
webmasterie.ru