как узнать количество страниц на сайте

Как узнать количество страниц и статей на сайте

Узнать количество страниц и количество опубликованных статей на своем или чужом сайте бывает необходимым по разным причинам. Например,

• При покупке сайта важно знать полный объем, чтобы оценить выгодность его приобретения.
• Вам, как начинающему блогеру, интересно узнать количество статей на популярном сайте, чтобы понять масштабы будущей работы.
• Вы хотите сравнить с сайтами конкурентов.
• Рассчитать, индексируются ли страницы на сайте и есть ли они в базе данных поисковой системы, потому что иногда может быть неиндексируемые страницы.

Существует возможность кликнуть по ссылке автора поста и увидеть другие написанные им материалы. Но такой метод не всегда подходит. Причины могут разные:

• на сайте может быть несколько авторов, и найти и провести суммарную калькуляцию далеко не всегда возможно, да и времени на это порой требуется много.
• на сайте отсутствует пагинация, поэтому не отображается количество страниц с размещенными на них анонсами статей. Соответственно их посчитать затруднительно.
• некоторые веб-мастера и блогеры скрывают выбранные категории, анонсы которых не отображаются в общем списке. Следовательно, подсчёт статей будет ошибочен.

Самый простой способ — это добавить к адресу сайта ?s=.

Например, если вы открыли адрес site.ru и хотите узнать на нем количество статей, просто добавьте приведённый выше хвостик. В итоге должно получиться так:

http://site.ru/?s=

Вы увидите список всех анонсов, вам останется только подсчитать, сколько анонсов имеется на одной странице и умножить это число на количество остальных страниц с анонсами в результатах поиска.

К примеру, на странице высветилось 10 анонсов, и всего появилось 16 страниц в результатах поиска. Тогда 16×10=160 записей всего на просматриваемом вами сайте, который работает на движке WordPress.

Для того, чтобы точно узнать количество страниц на сайте, проще всего воспользоваться автоматически генерируемой картой сайта (Sitemap). Чтобы посмотреть XML-файл карты сайта, в адресной строке добавьте sitemap.xml.

Например, если вы открыли адрес site.ru и хотите узнать на нем количество страниц, просто добавьте приведённый выше хвостик. В итоге должно получиться так:

http://site.ru/sitemap.xml

Если это популярный или развивающийся сайт, то карта сайта у него в любом случае будет. Так как наличие карты сайта в формате XML является преимуществом при ранжировании в поисковых системах. Если в ходе аудита сайта обнаружится, что у вас нет карты сайта, то этот факт будет помечен как критическая ошибка.

Нередко перед владельцем сайта или seo-специалистом стоит вопрос о том, сколько страниц  сайта индексируется в той или иной поисковой системой.
Это можно проверить набрав в Google или Яндексе «site:[url вашего сайта]».

Например, результаты индексирования на момент написания статьи:

Зная, сколько страниц на веб-сайте, вы можете рассчитать, индексируются они и есть ли они в базе данных поисковой системы, потому что иногда могут быть неиндексируемые страницы. Найдите все страницы на сайте, и вы поймете, если у вас много дублирующихся страниц, что негативно влияет на рейтинг вашего сайта в сети. Важно знать, на каких страницах могут быть ошибки, чтобы вы могли их обнаружить и исправить. 

Ошибки на страницах вашего сайта значительно снижают ваш рейтинг в поисковых системах. Проводите регулярные аудиты и находите все URL-адреса в домене, чтобы узнать статус своего сайта и обнаружить слабые места.

Как узнать общее количество страниц на сайте? — Метабюст

—   Арьян К 19 января 2022 г.

Последнее изменение : 29 января 2023 г.

Хотите узнать количество страниц на веб-сайте? Ну, есть много причин, по которым вы можете захотеть подсчитать количество страниц, может быть в целях SEO или просто для того, чтобы следить за конкурентом. Какова бы ни была причина, я расскажу вам технику, чтобы вы могли легко найти количество страниц на веб-сайте.

Теперь, если вы являетесь владельцем веб-сайта, вы никогда не будете беспокоиться об этом, так как у вас уже есть много вариантов, вы можете посмотреть прямо на своей панели инструментов или в консоли поиска Google. Теперь, в этом посте, я бы поделился с вами ровно четырьмя способами определения общего количества страниц или сообщений на любом веб-сайте, который вы хотите. Также вы можете комбинировать все эти методы для более точного и точного результата.

Использование поиска Google

Поиск Google, как вы знаете, является очень мощным инструментом для поиска информации в Интернете. Вы можете искать множество вещей, используя ключевые слова, но это еще не все. Если вы когда-нибудь замечали, функция расширенного поиска намного мощнее обычного поиска. Вы можете ограничить информацию, используя различные поисковые фильтры. Итак, в нашем случае мы специально ограничим результаты только одним веб-сайтом.

Также обратите внимание, что вы можете напрямую использовать сайт : 9Префикс 0017 перед именем домена, как показано ниже, для поиска и поиска страниц на данном веб-сайте. Например. site:metabust.com покажет все страницы этого сайта, как вы можете видеть ниже.

Обратите внимание, что этот метод хоть и быстрый, но даст вам только приблизительное представление о количестве страниц, поскольку часто бывают случаи, когда Google не индексирует или не может индексировать все страницы на веб-сайте. В нем указано только количество страниц, которые были проиндексированы и доступны в результатах поиска.

Использование ссылок на страницы

Ссылки на страницы — это самый простой способ узнать общее количество страниц на веб-сайте. Эти ссылки указывают на последовательность связанных страниц или сообщений и помогают просматривать список опубликованного контента на веб-сайте. Вы можете использовать ссылки на страницы, чтобы получить представление о том, сколько постов или всего страниц на веб-сайте. Эти ссылки дают вам точное количество страниц, но обязательно используйте нумерацию страниц на индексной или домашней странице, поскольку фильтры категорий ограничивают сообщения.

При первом посещении веб-сайта проверьте, есть ли ссылка на разбиение на страницы, как показано выше. Теперь посчитайте количество опубликованных постов на первой странице. Предположим, что на странице 10 сообщений, теперь продолжайте навигацию до конца разбиения на страницы. После этого просто умножьте количество сообщений на странице на длину ссылок на страницы. Затем вы получаете общее количество опубликованных сообщений или страниц статей на веб-сайте.

Некоторые веб-сайты имеют сложную навигационную структуру с одними и теми же сообщениями, появляющимися в разных категориях, поэтому определить фактическое количество страниц может быть непросто. В этом случае используйте следующие методы.

Использование карты сайта

Карта сайта — это индекс всех уникальных страниц веб-сайта. Эти файлы используются, чтобы дать поисковым системам и (в некоторых случаях) пользователям представление о том, какие страницы существуют на конкретном веб-сайте. Эти страницы обычно обслуживаются в формате XML и могут быть доступны и прочитаны любым желающим.

Итак, чтобы получить доступ к карте сайта веб-сайта, перейдите в нижний колонтитул веб-сайта и найдите ссылку на карту сайта XML или просто добавьте к основному домену префикс 9. 0016 /sitemap.xml или / sitemap или / post_sitemap.xml попробуйте каждую из комбинаций и посмотрите, что получится. Обратите внимание, что не на всех веб-сайтах есть карты сайта, а на некоторых они расположены не так, как обычно. В этом случае используйте поиск по сайту Google , как мы делали ранее, но на этот раз добавьте дополнительный запрос «карта сайта».

В некоторых картах сайта указано количество доступных ссылок, но в большинстве случаев вам придется вручную подсчитывать ссылки в карте сайта. Нелегко подсчитывать URL-адреса в файле карты сайта, поэтому я бы рекомендовал использовать анализатор карты сайта или экстрактор. Вы можете использовать этот экстрактор карты сайта. Он будет подсчитывать все URL-адреса в карте сайта и точно знать количество страниц на веб-сайте.

Использование генераторов карты сайта и средств проверки ссылок

Если ни один из вышеперечисленных методов не работает для вас, я думаю, это должно помочь. Существует множество генераторов карт сайта и средств проверки неработающих ссылок, которые сканируют веб-сайт и отображают список доступных уникальных URL-адресов. Вы можете использовать их, чтобы узнать количество страниц на веб-сайте.

Существует множество таких сервисов, и вы можете легко найти их с помощью поиска в Google. Как только вы найдете их, войдите на веб-сайт, который вы хотите изучить, а затем дайте инструменту несколько минут для сканирования, и все. После завершения операции вы будете иметь представление об общем количестве страниц на веб-сайте.

Вот некоторые из инструментов, которые вы можете использовать: Генератор XML Sitemap, Средство проверки неработающих ссылок. Используйте их, и вы обязательно узнаете общее количество страниц.

Final Words

Большинство веб-сайтов в наши дни имеют карты сайта, которые вы можете просмотреть напрямую и выяснить все URL-адреса. Эти карты сайта обычно находятся в нижнем колонтитуле или обычно в файле robots. txt. Вы тоже можете это проверить. Если вы знаете какие-либо другие способы, не стесняйтесь, дайте нам знать в комментариях ниже.

Включите JavaScript для просмотра комментариев с помощью Disqus.

просмотр веб-страниц — поиск количества страниц с помощью Python BeautifulSoup

спросил 4 года 11 месяцев назад

Изменено 4 года, 11 месяцев назад

Просмотрено 6к раз

Я хочу извлечь общее количество страниц (в данном случае 11) со страницы Steam. Я считаю, что следующий код должен работать (вернуть 11), но он возвращает пустой список. Лайк если не находит paged_items_paging_pagelink класс.

 запросов на импорт
импортировать повторно
из bs4 импортировать BeautifulSoup
r = request. get('http://store.steampowered.com/tags/en-us/RPG/')
с = р.контент
суп = BeautifulSoup(c, 'html.parser')
total_pages = суп.найти_все("диапазон",{"класс":"paged_items_paging_pagelink"})[-1].текст
 

• питон
• парсинг
• красивый суп

0

Если вы проверите источник страницы, нужный контент будет недоступен. Это означает, что он генерируется динамически через Javascript.

Номера страниц расположены внутри тега , но в исходном коде страницы HTML показывает только это:

Самый простой способ справиться с этим — использовать Selenium.

Но, если вы посмотрите на исходный код страницы, текст Показывает 1-20 из 213 результатов доступен. Итак, вы можете очистить это и рассчитать количество страниц.

Требуется HTML:

 

    Показаны
    1
    -
    20
    из
    213
    Результаты

 

Код:

 запросы на импорт
из bs4 импортировать BeautifulSoup
r = request.