Сайт для парсинга – Правда про парсинг сайтов, или «все интернет-магазины делают это» / Habr | Дропшиппинг

Содержание

Осваиваем парсинг сайта: короткий туториал на Python

Постоянно в Интернете, ничего не успеваете? Парсинг сайта спешит на помощь! Разбираемся, как автоматизировать получение нужной информации.

Чтобы быть в курсе, кто получит кубок мира в 2019 году, или как будет выглядеть будущее страны в ближайшие 5 лет, приходится постоянно зависать в Интернете. Но если вы не хотите тратить много времени на Интернет и жаждете оставаться в курсе всех событий, то эта статья для вас. Итак, не теряя времени, начнём!

Доступ к новейшей информации получаем двумя способами. Первый – с помощью API, который предоставляют медиа-сайты, а второй – с помощью парсинга сайтов (Web Scraping).

Использование API предельно просто, и, вероятно, лучший способ получения обновлённой информации – вызвать соответствующий программный интерфейс. Но, к сожалению, не все сайты предоставляют общедоступные API. Таким образом, остаётся другой путь – парсинг сайтов.

Парсинг сайта

Это метод извлечения информации с веб-сайтов. Эта методика преимущественно фокусируется на преобразовании неструктурированных данных – в формате HTML – в Интернете в структурированные данные: базы данных или электронные таблицы. Парсинг сайта включает в себя доступ к Интернету напрямую через HTTP или через веб-браузер. В этой статье будем использовать Python, чтобы создать бот для получения контента.

Последовательность действий

Получить URL страницы, с которой хотим извлечь данные.
Скопировать или загрузить HTML-содержимое страницы.
Распарсить HTML-содержимое и получить необходимые данные.

Эта последовательность помогает пройти по URL-адресу нужной страницы, получить HTML-содержимое и проанализировать необходимые данные. Но иногда требуется сперва войти на сайт, а затем перейти по конкретному адресу, чтобы получить данные. В этом случае добавляется ещё один шаг для входа на сайт.

Пакеты

Для анализа HTML-содержимого и получения необходимых данных используется библиотека Beautiful Soup

. Это удивительный пакет Python для парсинга документов формата HTML и XML.

Для входа на веб-сайт, перехода к нужному URL-адресу в рамках одного сеанса и загрузки HTML-содержимого будем использовать библиотеку Selenium. Selenium Python помогает при нажатии на кнопки, вводе контента и других манипуляциях.

Погружение в код

Сначала импортируем библиотеки, которые будем использовать:

# импорт библиотек
from selenium import webdriver
from bs4 import BeautifulSoup

Затем укажем драйверу браузера путь к Selenium, чтобы запустить наш веб-браузер (Google Chrome). И если не хотим, чтобы наш бот отображал графический интерфейс браузера, добавим опцию headless в Selenium.

Браузеры без графического интерфейса (headless) предоставляют автоматизированное управление веб-страницей в среде, аналогичной популярным веб-браузерам, но выполняются через интерфейс командной строки или с использованием сетевых коммуникаций.

# путь к драйверу chrome
chromedriver = '/usr/local/bin/chromedriver'
options = webdriver.ChromeOptions()
options.add_argument('headless')  # для открытия headless-браузера
browser = webdriver.Chrome(executable_path=chromedriver, chrome_options=options)

После настройки среды путём определения браузера и установки библиотек приступаем к HTML. Перейдём на страницу входа и найдём идентификатор, класс или имя полей для ввода адреса электронной почты, пароля и кнопки отправки, чтобы ввести данные в структуру страницы.

# Переход на страницу входа
browser.get('http://playsports365.com/default.aspx')
# Поиск тегов по имени
email = browser.find_element_by_name('ctl00$MainContent$ctlLogin$_UserName')
password = browser.find_element_by_name('ctl00$MainContent$ctlLogin$_Password')
login = browser.find_element_by_name('ctl00$MainContent$ctlLogin$BtnSubmit')

Затем отправим учётные данные в эти HTML-теги, нажав кнопку «Отправить», чтобы ввести информацию в структуру страницы.

# добавление учётных данных для входа
email.send_keys('********')
password.send_keys('*******')
# нажатие на кнопку отправки
login.click()

После успешного входа в систему перейдём на нужную страницу и получим HTML-содержимое страницы.

# После успешного входа в систему переходим на страницу «OpenBets»
browser.get('http://playsports365.com/wager/OpenBets.aspx')
# Получение HTML-содержимого
requiredHtml = browser.page_source

Когда получили HTML-содержимое, единственное, что остаётся, – парсинг. Распарсим содержимое с помощью библиотек Beautiful Soup и html5lib.

html5lib – это пакет Python, который реализует алгоритм парсинга HTML5, на который сильно влияют современные браузеры. Как только получили нормализованную структуру содержимого, становится доступным поиск данных в любом дочернем элементе тега html. Искомые данные присутствуют в теге

table, поэтому ищем этот тег.

soup = BeautifulSoup(requiredHtml, 'html5lib')
table = soup.findChildren('table')
my_table = table[0]

Один раз находим родительский тег, а затем рекурсивно проходим по дочерним элементам и печатаем значения.

# получение тегов и печать значений
rows = my_table.findChildren(['th', 'tr'])
for row in rows:
    cells = row.findChildren('td')
    for cell in cells:
        value = cell.text
        print (value)

Чтобы выполнить указанную программу, установите библиотеки Selenium, Beautiful Soup и html5lib с помощью pip. После установки библиотек команда #python <program name> выведет значения в консоль.

Так парсятся данные с любого сайта.

Если же парсим веб-сайт, который часто обновляет контент, например, результаты спортивных соревнований или текущие результаты выборов, целесообразно создать задание

cron для запуска этой программы через конкретные интервалы времени.

Используете парсинг сайта?

Для вывода результатов необязательно ограничиваться консолью, правда?

Как вы предпочитаете отображать данные подобных программ: выводить на панель уведомлений, отправлять на почту или иначе? Делитесь полезными находками 🙂

Надеемся, вам понравилась статья.

Оригинал

proglib.io

ТОП 20 поисковых ботов для быстрого парсинга сайтов

Наша компания занимается парсингом сайтов в России уже более трёх лет, ежедневно мы парсим около 400 крупнейших сайтов в РФ. На выходе мы просто отдаем данные в формате Excel/CSV. Но существуют и другие решения — готовые сервисы для парсинга без программирования. Ниже их список и краткая аннотация к каждому. Сегодня интернет-краулинг (также известный как парсинг или сканирование веб-сайтов) широко применяется во многих областях. До появления парсинг-сервисов эта область была недоступна людям, далёким от программирования. Сложность разработки парсера с нуля закрывала простым пользователям путь к Big Data. Инструмент парсинга — это технология автоматического сканирования, которая открывает для всех дорогу к таинственным Big Data.

В чём же преимущества использования готовых инструментов для парсинга?

Это избавит вас от рутинных и монотонных операций “копипаста” (копирования и вставки).
Полученные данные автоматически сохраняются в выбранном вами формате, включая, помимо прочего, Excel, HTML и CSV.
Это избавит вас от необходимости нанимать профессионального аналитика и сэкономит ваши средства.
Это панацея для маркетологов, продавцов, журналистов, видеоблогеров, исследователей — для всех, кому не хватает технических навыков.

Ниже перечислены 20 ЛУЧШИХ сервисов парсинга. Ознакомьтесь со всеми преимуществами!

Octoparse

Пусть вас не смущает эта милая картинка. Octoparse — это надежный веб-краулер для извлечения практически всех видов данных, которые вам могут понадобиться с веб-сайтов. С помощью Octoparse вы можете скопировать сайт со всеми его функциями и возможностями. Он имеет два режима работы — “Режим мастера” и “Расширенный режим”, упрощающие выбор для непрограммистов. Удобный интерфейс «укажи и кликни» сам проведёт вас через весь процесс извлечения данных. В результате вы можете легко извлекать содержимое веб-сайта и быстро сохранять его в структурированных форматах, таких как: EXCEL, TXT, HTML или сохранять в ваши базы данных. Кроме того, он поддерживает запланированный “облачный” парсинг, позволяющий вам извлекать динамические данные в режиме реального времени и вести лог-файл обновлений сайта. Вы также можете парсить тяжелые сайты со сложной структурой, используя встроенную конфигурацию Regex и XPath для точного определения местоположения нужных элементов. Вам больше не нужно беспокоиться о блокировке IP. Octoparse предлагает IP-прокси-серверы, которые будут автоматизировать IP-адреса, оставаясь незамеченными агрессивными веб-сайтами. В заключение, Octoparse в состоянии удовлетворить большинство потребностей как начинающих, так и продвинутых пользователей, не обладающих навыками программирования.

Cyotek WebCopy

WebCopy полностью оправдывает свое название. Это бесплатный сканер веб-сайтов, который позволяет частично или полностью копировать веб-сайты на ваш жесткий диск для офлайн-использования. Вы можете изменить настройки, чтобы сообщить боту, как именно вы хотите сканировать сайт. Кроме того, вы можете настроить доменные алиасы, строки User-Agent, документы по умолчанию и многое другое. Тем не менее, WebCopy не включает в себя виртуальную DOM (от англ. Document Object Model — «объектная модель документа») или любую другую форму синтаксического анализа JavaScript. Если веб-сайт для работы активно использует JavaScript, то может получиться так, что WebCopy не сможет сделать полную копию сайта. Скорее всего, из-за использования JavaScript он не будет правильно обрабатывать динамические макеты сайта.

HTTrack

HTTrack — это бесплатное ПО для парсинга сайтов, которое отлично подходит для загрузки всех данных сайта и доступа к нему в офлайне. Доступны версии для Windows, Linux, Sun Solaris и других Unix-систем, которые охватывают большинство пользователей. Интересно, что HTTrack может сохранять как один сайт, так и несколько сайтов вместе (при наличии общих ссылок). В «Настройках» вы можете выбрать количество подключений, активных одновременно при загрузке веб-страниц. Вы можете скачивать фотографии, файлы, HTML-код, обновлять существующее зеркало и возобновлять прерванные закачки. Кроме того, для увеличения скорости парсинга доступна поддержка прокси. HTTrack работает как через командную строку, так и через графическую оболочку; подходит и для простых пользователей (копирование веб-страницы), и для профессионалов (полное онлайн-зеркалирование). Учитывая всё вышесказанное, HTTrack предпочтительнее использовать пользователям с продвинутыми навыками программирования.

Getleft

Getleft — это бесплатный и простой в использовании офлайн-браузер. Он позволяет загружать весь сайт или любую отдельную веб-страницу. После запуска Getleft вы можете ввести URL-адрес и перед загрузкой выбрать файлы, которые вы хотите загрузить. В процессе загрузки все ссылки заменяются на новые для локального просмотра. Кроме того, Getleft предлагает мультиязычную поддержку. Теперь он поддерживает 14 языков! Тем не менее, он предоставляет только ограниченную поддержку FTP, доступна и загрузка файлов, но не рекурсивно. В целом, если не требуются какие-либо специфические функции, то Getleft сможет удовлетворить основные потребности пользователей в парсинге.

Scraper

Scraper — это расширение для Chrome с функционалом урезанного парсера, но оно вполне подойдёт для онлайн-исследований. Расширение позволяет экспортировать данные в Google-таблицы. Этот инструмент подходит как начинающим пользователям, так и специалистам своего дела. Вы можете легко скопировать данные в буфер обмена или сохранить в электронных таблицах с помощью OAuth. Scraper может автоматически генерировать XPath, чтобы определить URL-адрес для парсинга. Это не является полноценным парсинг-сервисом, но и большинству пользователей не требуется решать проблемы, связанные с неупорядоченными конфигурациями.

OutWit Hub

OutWit Hub — это расширение для Firefox с десятками функций извлечения данных, упрощающих поиск в интернете. Этот инструмент для парсинга может сканировать страницы и сохранять извлеченную информацию в выбранном формате. В зависимости от ваших требований, OutWit Hub предлагает единый интерфейс для сбора как небольших, так и огромных объемов данных. OutWit Hub позволяет парсить любую веб-страницу прямо из браузера. Он даже может создавать автоматические сценарии для парсинга. OutWit Hub — один из самых простых инструментов для парсинга сайтов, который можно использовать бесплатно и который дает вам возможность парсить данные без единой строчки кода.