1. Mozenda

Mozenda помогает компаниям в сборе и организации данных наиболее экономичным и эффективным способом. Компания предлагает облачную архитектуру, которая обеспечивает масштабируемость, простоту использования и быстрое развертывание. Внедрить Mozenda можно довольно быстро, к тому же развернуть это ПО можно за считанные минуты, на уровне бизнес-подразделения, без какого-либо участия ИТ-отдела. Его простой point-and-click интерфейс помогает пользователям создавать проекты и быстро экспортировать результаты, самостоятельно или по расписанию. Благодаря простоте интеграции пользователи могут публиковать полученные результаты в формате CSV, TSV, XML или JSON.

Лучшая функция: безопасная облачная среда

Сайт: https://www.mozenda.com/

Минусы: крутая кривая обучения

Рейтинг Capterra: 4.5/5

Рейтинг G2 Crowd: 4/5

Рейтинг TrustRadius: 9.5/10

Награды: один из «200 лучших программных продуктов для бизнес-аналитики» от FinancesOnline

Что говорят пользователи (упоминания в социальных сетях): «Мне понравилось, как быстро можно настроить программу и собрать данные с сайтов. Я мог бы начать новый проект, задать параметры и начать собирать данные за несколько часов. Данные почти всегда собираются в правильном формате, без каких-либо пробелов. Инструмент прост в использовании и ограничен только тарифным планом».

2. Automation Anywhere

Компания Automation Anywhere состоит из группы экспертов, которые сосредоточены на предоставлении полностью понимаемых и гибких процессов создания ботов, предназначенных для автоматизации задач. Такие боты не только просты в использовании, но и достаточно мощны, чтобы автоматизировать задачи любого уровня сложности. Это единственная роботизированная платформа, разработанная для современных предприятий, которая может создавать программных ботов для автоматизации задач от начала и до конца.

Лучшая особенность: гибкие инструменты автоматизации процессов

Сайт: https://www.automationanywhere.com/in/

Минусы инструмента: сложный процесс проектирования

Рейтинг Capterra: 4.5/5

Рейтинг G2 Crowd: 4.5/5

Рейтинг TrustRadius: 8.3/10

Награды: Frost and Sullivan Award

3. Beautiful Soup

Предоставляя вам простые шаги и идиомы Python для навигации, Beautiful Soup дает доступ к инструментам извлечения любой необходимой информации. Программное обеспечение для парсинга веб-страниц автоматически преобразует входящие документы в Unicode и исходящие документы в UTF-8. Это позволяет вам использовать различные стратегии парсинга или изменять скорость и гибкость процессов.

Лучшая особенность: Python-идиомы для работы и извлечения информации

Сайт: https://www.crummy.com/software/BeautifulSoup/

Рейтинг G2 Crowd: 4.5/5

Рейтинг Capterra: нет

Рейтинг TrustRadius: нет

4. Webharvy

Интерфейс Web Harvy позволяет легко выбрать элементы с нужной информацией. Извлеченные данные могут быть сохранены в файлы CSV, JSON, XML или в базе данных SQL. В этом программном обеспечении имеется многоуровневая система парсинга категорий, которая может отслеживать ссылки на категории любых уровней и извлекать данные со страниц со списками. Инструмент предлагает вам большую гибкость и дает возможность использовать регулярные выражения.

Лучшая функция: очень простой в использовании интерфейс

Сайт: https://www.webharvy.com

Минусы: скорость работы

Рейтинг Capterra: 4.5/5

Рейтинг G2 Crowd: 4.6/5

Рейтинг Predictive Analysis Today: 8.1/10

Рейтинг TrustRadius: нет

Что говорят пользователи: «Мне нравится, как они сделали короткие обучающие видео. Это делает инструмент очень простым в использовании. Компания даже помогает использовать регулярные выражения для извлечения определенных текстов».

5. Content Grabber

Простой интерфейс Content Grabber имеет прекрасную возможность автоматического обнаружения и настройки команд. Он мгновенно создает списки контента, обрабатывает нумерацию страниц и веб-форм, а также сам скачивает или закачивает файлы. Content Grabber может извлекать контент с любого сайта, а затем сохранять его в виде структурированных данных в нужном вам формате, будь то таблицы Excel, XML, CSV или большинство из используемых сейчас баз данных. Его высокая производительность и стабильность обеспечивается оптимизированными браузерами, а также отлаженным процессом парсинга.

ПРИМЕЧАНИЕ: компания также разрабатывает и продает Content Grabber Enterprise (CG Enterprise), который является премиальным продуктом для извлечения данных с сайтов, и он сегодня считаем самым современным инструментом на рынке.

Лучшая функция: настраиваемый пользовательский интерфейс

Сайт: https://contentgrabber.com/

Минусы инструмента: мало поддержки

Рейтинг Predictive Analysis Today: 9.5/10

Рейтинг Software Advice: 5/5

Рейтинг G2 Crowd: 4/5

Рейтинг Capterra: нет

Рейтинг TrustRadius: нет

Что говорят пользователи: «Прост в использовании, не требует специальных навыков программирования. Возможность получения данных с целевых сайтов за считанные минуты. Отлично подходит для создания списка потенциальных клиентов».

6. FMiner 

FMiner поддерживает как Windows, так и Mac, он имеет интуитивно понятный интерфейс и чрезвычайно прост в использовании. У этой программы мощный инструмент визуального дизайна, который фиксирует каждый ваш шаг и моделирует процесс сбора информации, когда вы взаимодействуете с целевыми страницами сайта. FMiner позволяет собирать данные с различных веб-сайтов, включая онлайн-каталоги продукции, объявления о недвижимости и каталоги желтых страниц.

Лучшая функция: несколько вариантов обхода сайтов

Сайт: http://www.fminer.com

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

7. Import.io

Import.io – признанный инструмент парсинга, который позволяет без проблем извлекать данные с сайтов. Все, что вам нужно сделать, это ввести URL-адрес, и система немедленно превратит страницы в данные. Это программное обеспечение является идеальным решением для мониторинга цен, чтобы определить ожидания рынка и найти наиболее оптимальную цену. Он помогает вам генерировать качественные лиды и предоставляет ежедневные или ежемесячные обновления, чтобы помочь отслеживать действия конкурентов.

Лучшая функция: гибкая настройка обхода сайтов

Сайт: https://www.import.io/

Минусы: не очень удобный интерфейс

Рейтинг Capterra: 4/5

Рейтинг G2 Crowd: 4/5

Рейтинг TrustRadius: 2.9/10

Рейтинг Predictive Analysis Today: 7.3/10

Полученные награды: Лучший новичок в Londata Awards 2012

Что говорят пользователи: «С помощью интеллектуального извлечения данных легко начать работу, можно сделать многое и без регулярных выражений или настройки запросов – Масштабируемость – Отличная поддержка».

8. Visual Web Ripper

Visual Web Ripper – это продвинутый парсер для веб-страниц, который позволяет извлекать данные с динамических страниц, из каталогов продуктов, сайтов с объявлениями или финансовых сайтов. После извлечения данных он помещает их в удобную и структурированную базу данных, электронную таблицу, файл CSV или XML. Поскольку он может обрабатывать сайты с поддержкой AJAX и многократно отправлять формы со всеми возможными значениями, он может работать там, где остальные парсеры пасуют.

Лучшая функция: работа через командную строку

Сайт: http://visualwebripper.com/

Минусы инструмента: высокая цена

Рейтинг Capterra: 4/5

Рейтинг G2 Crowd: 5/5

Рейтинг Predictive Analysis Today: 7.1/10

Рейтинг Scraping Pro: 4.7/5

Рейтинг TrustRadius: нет

Что говорят пользователи: «Visual Web Ripper сэкономил мое время, помог собрать нужную информацию со многих веб-сайтов. Если вы захотите получить информацию, Visual Web Ripper вас не подведет».

9. Webhose.io

Webhose.io по запросу предоставляет вам доступ к структурированным веб-данным. Это позволяет создавать, запускать и масштабировать операции с большими данными независимо от того, являетесь ли вы исследователем, предпринимателем или руководителем компании. Программное обеспечение структурирует, хранит и индексирует миллионы веб-страниц в день в разных вертикалях, таких как новости, блоги и онлайн-обсуждения.

Лучшая функция: доступен на 80 языках

Сайт: https://webhose.io/

Рейтинг Capterra: 5/5

Рейтинг G2 Crowd: 4/5

Рейтинг Predictive Analysis Today: 4.3/10

Рейтинг TrustRadius: нет

Что говорят пользователи: «Сервис позволяет вам обращаться к множеству общедоступных данных, которые можно просто использовать для создания бизнес-инструментов».

10. Scrapinghub Platform

Scrapinghub Platform известна тем, что создает, разворачивает и запускает веб-краулеры, обеспечивая получение новейшей информации. Данные можно легко просмотреть в красивом интерфейсе. Программное обеспечение также предоставляет вам платформу с открытым исходным кодом под названием Portia, которая предназначена для парсинга веб-сайтов. Вы можете создавать шаблоны, нажимая на элементы на странице, а Portia обработает все остальное. Компания также создает автоматизированную утилиту, которая удаляет похожие страницы с веб-сайта.

Лучшая функция: база данных обнаружения банов

Сайт: https://scrapinghub.com/platform

Минусы: недостаточно документации

Рейтинг Capterra: 4.5/5

Рейтинг G2 Crowd: 4/5

Рейтинг Predictive Analysis Today: 8.1

Рейтинги от TrustRadius: нет

Что говорят пользователи: «Четкий, подробный и прозрачный процесс. Удаленная и гибкая рабочая среда. Чрезвычайно дружелюбная обстановка для работы и прекрасный менеджмент».

11. Helium Scraper

Helium Scraper предлагает гибкий, интуитивно понятный интерфейс, который чрезвычайно прост. У этого инструмента широкий выбор настроек, так что вы можете выбрать те, которые необходимы вам. Вы можете просматривать сайты, извлекать и сохранять данные. Уникальное предложение Helium Scraper – функция «укажи и щелкни», которая позволяет быстро и с минимальными нагрузками проводить извлечение данных. Helium Scraper позволяет своим пользователям выбрать то, что нужно извлечь, с помощью нескольких простых кликов. У инструмента есть возможность добавлять собственные расширения, написанные на .NET.

Лучшая функция: поддерживает несколько форматов экспорта

Сайт: https://www.heliumscraper.com/eng/

Рейтинг Capterra: Рейтинги не предоставлены

Рейтинг SoftPedia: 4.6/5

Рейтинг CrowdReviews: 4/5

Рейтинг Scraping Pro: 4.5 / 5

12. GNU Wget

GNU Wget помогает получать данные с использованием HTTP, HTTPS и FTP, наиболее используемых интернет-протоколов. Он может легко извлекать большие файлы, а также выполнять зеркалирование целых веб- или FTP-сайтов. Программное обеспечение работает хорошо, даже если соединение медленное или нестабильное.

Лучшая функция: поддерживает HTTP куки

Сайт: https://www.gnu.org

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

Рейтинги от Predictive analysis Today: 8.4/10

Рейтинг SoftPedia: 3.1/5

13. Web Scraper 

Web Scraper предлагает два варианта: расширение для Google Chrome и облачную платформу. Программное обеспечение создает карты сайтов и перемещается по ним для извлечения необходимых файлов, изображений, текстов и ссылок. Оно может выполнять несколько операций парсинга и извлечения больших объемов данных одновременно, а также позволяет экспортировать очищенные данные, например в CSV.

Лучшая функция: извлечение данных из документов современных веб-форматов

Сайт: https://webscraper.io/

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

Рейтинг Predictive Analytics сегодня: 8.2/10

14. IEPY

IEPY поставляется с инструментом анализа текстов и веб-интерфейсом. Его главная ценность – извлечение информации с пониманием взаимоотношений внутри нее в большом масштабе. 

Лучшая функция: инструмент для аннотаций естественного языка

Сайт: https://buildmedia.readthedocs.org/media/pdf/iepy/latest/iepy.pdf

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

15. ScrapingExpert

Если речь идет об извлечении информации о потенциальных клиентах, ценах, конкурентах и поставщиках, то ваш выбор – ScrapingExpert. Этот инструмент помогает расширить знания о вашей целевой аудитории, доле рынка, ценовой политике и поставках сырья, предоставляя вам информацию, связанную с вашими конкурентами и их продуктами, а также с доступными дилерами. Его уникальные функции включают поддержку на сайте, панель управления на одном экране, управление прокси и настройку учетных данных на нужных сайтах.

Лучшая функция: опции «Пуск», «Стоп», «Пауза» и «Сброс»

Сайт: https://scrapingexpert.com/

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

16. Ficstar 

Благодаря мощной технологии парсинга веб-страниц, Ficstar позволяет вам делать более осмысленные шаги в области создания и реализации компетентных бизнес-стратегий. Он помогает в сборе больших данных, достигая даже самых дальних уголков Интернета. Помимо того, что Ficstar безопасен и надежен, он прекрасно интегрируется в любую базу данных, и собранные данные можно сохранять в любом формате.

Лучшая функция: мониторинг социальных сетей

Сайт: https://ficstar.com/

Минусы: из-за принципа действия этого парсера, внешние факторы, которые находятся вне вашего контроля, могут замедлять доставку результатов.

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

Рейтинг Predictive Analytics Today: 8.3/10

17. QL2

QL2 помогает своим пользователям управлять бизнес-процессами, ценами и доходами. Используя свою технологию поиска в реальном времени, это программное обеспечение помогает компаниям ежедневно выполнять многочисленные запросы. Оно предоставляет своим пользователям всесторонние и актуальные данные о текущем рынке и целевой аудитории. QL2 получает информацию с разных платформ и помогает вам выполнять более глубокие и интенсивные исследования.

Лучшая функция: предоставляет информацию о рынке

Сайт: https://www.ql2.com/

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

Рейтинг Predictive Analytics Today: 8.4/10

18. Frontera

Система парсинга веб-страниц Frontera состоит из инструмента обхода сайтов и примитивов распространения/масштабирования. Платформа заботится обо всей логике и политиках, которые необходимо соблюдать во время процесса парсинга. Она хранит и задает приоритеты в извлеченных данных, чтобы решить, какую страницу посетить в следующий раз, и делает все это осмысленным образом.

Лучшая особенность: поддержка Python 3

Сайт: https://github.com/scrapinghub/frontera

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

19. Apify 

Apify предлагает специальные функции, а именно RequestQueue и AutoscaledPool. Он позволяет начать с нескольких URL-адресов, а затем переходить по ссылкам на другие страницы и запускать задачи извлечения данных с максимальной производительностью. Доступные форматы данных – JSON, JSONL, CSV, XML, XLSX или HTML с CSS. Он поддерживает любой тип сайтов и имеет встроенную поддержку Puppeteer.

Лучшая функция: RequestQueue и AutoscaledPool

Сайт: https://apify.com/

Рейтинг Capterra: 5/5

Рейтинг G2 Crowd: 4/5

Рейтинг TrustRadius: нет

Что говорят пользователи: «Я запустил все буквально в течение нескольких минут. Нет необходимости изучать новые языки программирования или навыки».

20. WebSundew

WebSundew, с его инструментами получения и очистки данных, позволяет пользователям извлекать информацию с сайтов быстрее. Программное обеспечение для сбора данных получает данные с веб-сайтов с чрезвычайно высокой точностью и скоростью. Сотрудники компании помогут вам настроить агента для извлечения данных, который будет работать над парсингом страниц.

Лучшая особенность: ориентированная на клиента профессиональная поддержка

Сайт: http://www.websundew.com/

Рейтинг Scraping Pro: 4/5

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

21. Grepsr 

Grepsr помогает вам просто управлять процессом извлечения данных с веб-страниц. Компании могут использовать получаемую информацию для поиска потенциальных клиентов, мониторинга цен, исследований рынка или агрегации контента. Это удобное программное обеспечение для поиска в Интернете имеет такие функции, как неограниченная скорость сканирования, однократное извлечение, глубокий и поэтапный обход, API и пользовательские интеграции. Grepsr предоставляет компаниям удобные для заполнения онлайн-формы, чтобы помочь им уточнить свои требования к данным, а также позволяет планировать сканирование в календаре.

Лучшая функция: неограниченная скорость сканирования

Сайт: https://www.grepsr.com

Рейтинг Capterra: 4.5/5

Рейтинг GetApp: 4.66/5

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

Что говорят пользователи: «Это как щелкать выключателем или отвечать на телефонные звонки – все работает надежно и точно».

22. BCL 

BCL – это специальное программное обеспечение для сканирования веб-страниц, которое сокращает не только время, необходимое для сбора данных, но и общее время рабочих процессов. Решения BCL для извлечения данных и обработки информационных потоков помогают упростить процесс парсинга для каждой организации, которая решит его использовать.

Лучшая функция: преобразование PDF

Сайт: http://www.bcltechnologies.com

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

23. Connotate Cloud 

Connotate Cloud достаточно эффективен для извлечения данных с сайтов, использующих JavaScript и Ajax. Это программное обеспечение для поиска в Интернете легко внедрить, к тому же оно использует передовые алгоритмы машинного обучения. Connotate Cloud не зависит от языка, что означает, что он может извлекать данные на любых языках. Connotate Cloud анализирует содержимое и выдает предупреждения в случае необходимости каких-либо изменений. Его point-and-click интерфейс обладает мощными возможностями обработки, которые могут нормализовать контент сразу на нескольких сайтах. Кроме того, это ПО помогает автоматически связывать контент с соответствующими метаданными.

Лучшая особенность: независимость от языка

Сайт: https://www.connotate.com/

Минусы: выявление пробелов и их устранение может занять много времени

Рейтинг Каптерры: 4/5

Рейтинг Predictive Analytics Today: 8.7/10

Рейтинг TrustRadius: нет

Рейтинг G2 Crowd: нет

Что говорят пользователи: «Connotate является гибким и интеллектуальным и позволяет моей команде еженедельно контролировать десятки тысяч веб-сайтов».

24. Octoparse

Будучи визуальным инструментом, Octoparse обладает point-and-click интерфейсом и позволяет легко выбирать данные, которые нужно получить с веб-сайта. Программное обеспечение может управлять как статическими, так и динамическими сайтами с помощью AJAX, JavaScript, файлов cookie и т.д. Оно также предлагает расширенные облачные сервисы, позволяющие извлекать большие объемы данных. Извлеченные данные можно экспортировать в форматы TXT, CSV, HTML или XLSX.

Лучшая функция: извлечение данных в любом формате

Сайт: https://www.octoparse.com

Минусы: достаточно сложный инструмент

Рейтинг Capterra: 4.5/5

Рейтинг TrustRadius: 9.4/10

Рейтинги от G2: 3.5/5

Рейтинг Software Advice: 4.63/5

Рейтинг Predictive Analytics Today: 9.6/10

Что говорят пользователи: «Он простой, дружелюбный, интуитивно понятный и имеет линейный процесс взаимодействия».

25. Scrapy 

Scrapy позволяет пользователям эффективно извлекать данные с сайтов, обрабатывать их и хранить в любом формате или структурах, которые они предпочитают. Одной из его уникальных особенностей является то, что он построен на основе асинхронной сетевой структуры Twisted. Среди других интересных особенностей Scrapy – простота использования, подробная документация и активное сообщество.

Лучшая функция: встроенные расширения и промежуточное программное обеспечение (middleware)

Сайт: https://scrapy.org/

Рейтинг Predictive Analysis Today: 8.4/10

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

26. Parsehub

Функции Parsehub для парсинга веб-страниц позволяют сканировать как один, так и сразу несколько веб-сайтов с поддержкой JavaScript, AJAX, файлов cookie, сеансов и редиректов. Он может анализировать и получать данные с разных веб-сайтов и преобразовывать их в значимую информацию. Программное обеспечение использует технологию машинного обучения для распознавания наиболее сложных документов и создает выходной файл в формате JSON, CSV, Google Sheets или отдает данные через API.

Лучшая особенность: технология машинного обучения

Сайт: https://www.parsehub.com

Минусы: не слишком удобный

Рейтинг Capterra: 4.5/5

Рейтинг TrustRadius: нет

Рейтинг G2 Crowd: 3.5/5

Что говорят пользователи: «Извлекает информацию с большинства веб-страниц и не требует от вас глубоких знаний. Базовая функциональность проста в использовании, а расширенной можно научиться и она очень сильна».

27. OutwitHub 

OutwitHub – лучший вариант, если вы хотите собирать данные, которые не всегда доступны. Он использует свои функции автоматизации для последовательного просмотра страниц, а затем выполняет задачи извлечения данных. Информация может быть экспортирована в различных форматах, включая JSON, XLSX, SQL, HTML и CSV. OutWitHub можно использовать как в качестве расширения, так и в качестве отдельного приложения.

Лучшая функция: может экспортировать данные в различных форматах

Сайт: http://www.outwit.com/

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

Рейтинг Scrapingpro: 4.5/5

Рейтинг Softpedia: 4.9/5

28. Dexi.io

Ранее известный как CloudScrape, Dexi.io предоставляет различные типы роботов для выполнения операций в вебе – сканеры, экстракторы, автоботы и т.п. Роботы-экстракторы являются наиболее продвинутыми, так как они позволяют вам выбрать любое действие, которое вы хотите, чтобы выполнил робот, например, нажатие кнопок или получение скриншотов. Программное обеспечение для поиска также предлагает несколько интеграций со сторонними сервисами.

Лучшая особенность: роботы-экстракторы

Сайт: https://dexi.io

Минусы инструмента: “рваный” пользовательский опыт

Рейтинг Capterra: 4.5/5

Рейтинг GetApp: 4.6/5

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

Что говорят пользователи: «Я рад решению, которому легко научиться, а кроме того благодарен команде Dexi за помощь в настройке первой пары операций».

29. PySpider 

PySpider обладает распределенной архитектурой, которая поддерживает JavaScript-страницы и позволяет иметь сразу несколько сканеров. Он может хранить данные в выбранном вами бэкэнде, таком как MongoDB, MySQL, Redis и т.д. RabbitMQ, Beanstalk и Redis могут использоваться в качестве очередей сообщений. Пользовательский интерфейс PySpider прост в использовании и позволяет редактировать сценарии, отслеживать текущие задачи и просматривать результаты.

Лучшая особенность: простой в использовании интерфейс

Сайт: http://docs.pyspider.org/en/latest/

Рейтинг Capterra: нет

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

30. Spinn3r

Если вы хотите собрать целую кучу данных из блогов, новостных сайтов, социальных сетей и RSS-каналов, Spinn3r станет отличным вариантом. Программное обеспечение использует Firehose API, который управляет 95% работ по сканированию и индексированию. Вам предоставляется возможность фильтровать данные, которые он получает, по ключевым словам, что помогает отсеивать нерелевантный контент.

Лучшая функция: Firehose API

Сайт: http://docs.spinn3r.com

Рейтинг Capterra: 5/5

Рейтинг G2 Crowd: нет

Рейтинг TrustRadius: нет

Резюмируя

В наши дни парсинг стал неотъемлемой частью обработки данных. Компании и организации, как большие, так и малые, хотят сканировать сайты для сбора необходимых данных и принятия выгодных и эффективных решений на их основе. Это бесплатное программное обеспечение может помочь вам в этом процессе. Их уникальные функции и всеобъемлющий набор спецификаций дадут вам именно те инструменты для поиска в Интернете, которые вы ищете.

30 программ, сервисов и фреймворков

Парсинг — это автоматизированный сбор данных в интернете. Применяется для сбора информации о ценах конкурентов, файлов, SEO данных, описаний товаров, контактов, пользовательских рейтингах и отзывов, для других задач, когда нужно получить значительный объем информации, который невозможно собрать руками или ручная обработка будет слишком трудозатратна. При этом, часто у начинающих компаний нет лишних средств на подобные инструменты и решением проблемы может стать самостоятельное изучение инструментов для парсинга, которые можно использовать бесплатно.

Для начала, посмотрим, какие бывают инструменты для парсинга, условно разделим на две части. Первая — это разработка программы парсера. Такие программы пишут программисты, на различных языках программирования — Python, Java, JavaScript. Подход позволяет создать любую логику скрипта и в конечном итоге гарантированно решит задачу, но требует времени и средств на создание и поддержание парсера.

Вторая — обычные пользователи, которым приходится выбирать из множества готовых решений, в которых реализован набор возможностей, с одной стороны такой подход быстр и практичен, но если возможностей сервиса вам не хватит, то придется искать другое решение, это приводит к трате времени на изучение нескольких инструментов без гарантии, что вы в конечном итоге решите задачу.

Программы для парсинга

Десктоп программы подойдут, если вам нужно не сложное решение с возможностью быстрого старта и не требующее знаний программирования. Возможности и специализация программ отличаются, а так же ограничены мощностью вашего компьютера, в целом программы для парсинга — отличное решение для простых задач.

1. Screaming Frog SEO Spider

Screaming Frog SEO Spider — известная программа, специализирующаяся на работе с SEO данными, имеет широчайший функционал для аудита сайтов и парсинга данных, перечисление всех возможностей программы займет много времени, в нашем обзоре рассмотрим основные возможности программы. При первом взгляде интерфейс программы кажется, но через некоторое время понимаешь, что интерфейс структурирован, вкладки организованны для быстрого доступа к важной информации и в целом работа удобна.

Ограничения в бесплатной версии:

1. Отслеживание нерабочих ссылок;
2. Сбор заголовков и метаданных;
3. Аудит href;
4. Нахождение дубликатов страниц;
5. Работа с robot.txt;
6. 500 адресов на сайт;
7. Работа с Sitemap.

Программа имеет хорошую документацию, много обучающих уроков, на нее написано много обзоров, освоить программу при желании будет не сложно.

Полная версия программы позволит парсить не только SEO информацию, но и любую нужную вам, с помощью язык запросов XPath.

Возможности программы:

• Быстрая работа;
• Аудит сайта среднего размера;
• Подробная документация и уроки.

Доступные ОС:

2. Easy Web Extract

Easy Web Extract позволяет собирать данные с простых html сайтов и сайтов с динамически подгружаемым содержимым. Для использования программы не нужны знания программирования, работа ведется через мастер, который пошагово поможет организовать настройку шаблона для парсинга. Для того, чтобы быстро освоить программа предлагает базу знаний и видео уроки.

Особенность — вы можете задать автоматический поиск нужных вам товаров на стадии настройки и собирать только нужные данные. Другая особенность Easy Web Extract — возможность многопоточного сбора, это позволит экономить время выполнения парсинга, но будте аккуратны при многопоточном сканировании, целевой сайт может блокировать ваш ip из-за подозрительной активности.

В Easy Web Extract есть возможность парсинга динамически загружаемых данных, при тестировании программа справилась не со всеми сайтами, проверьте эту возможность на нужном вам сайте.

Ограничения в бесплатной версии:

• 14 дней;
• Парсинг первых 200 результатов;
• Экспорт первых 50 результатов.

Таким образом, не смотря на все возможности в бесплатной версии программа подойдет для парсинга небольшого объема информации, если это ваш вариант, то она станет отличным выбором.

Возможности:

• Многопоточность;
• Работа с поиском;
• Сохранение шаблонов;
• Работа с динамическими данными;
• Видео-уроки.

Доступные ОС:

1. Windows.

3. FMiner

FMiner — программа для парсинга сайтов, с визуальной настройкой, не требует знания языков программирования, она записывает ваши действия создавая таким образом сценарии, которые вы можете редактировать, сохранять и воспроизводить в последующем.

Программа понимает динамически загружаемые данные, например AJAX, поддерживает многопоточность, предоставляет возможность работать с результатами поиска и экспортирует данные в несколько выходных форматов.

Для быстрого старта есть видео-уроки и мануалы, есть раздел с документацией, рассказывающий в краткой форме возможности и основы работы с программой.

Ограничения в бесплатной версии:

1. 14 дней;

Возможности:

1. Визуальная настройка парсинга;
2. Многопоточность;
3. Работа с результатами поиска;
4. Работа с динамическими данными;
5. Видео-уроки.

Доступные ОС:

1. Windows;
2. Mac OSX.

4. Helium scraper

Helium scraper — программа для парсинга данных с сайтов. Принцип работы с программой похож на работу с рассмотренной выше программой, с отличием — вместо визуального представления действий программа показывает код. Интерфейс у программы не самый дружелюбный для неподготовленного пользователя, но программа имеет базу знаний и видео-уроки, которые помогут освоить принципы работы.

Функциональность программы имеет ряд особенностей по отношению к рассмотренным выше. Одна из ключевых — это возможность собирать большие базы данных, до 140 Терабайт, если ваша задача подразумевает сбор большого объема информации, то стоит обратить внимание на Helium scraper. Так же программа может работать через API, вы можете интегрировать запросы к целевым сайтам в свой проект.

Ограничения в бесплатной версии:

• 10 дней, без функциональных ограничений;

Возможности:

• Визуальное программирование;
• Многопоточность;
• Работа с результатами поиска;
• Работа с динамическими данными;
• Ротация ip;
• Блокировка нежелательного контента;
• База знаний;
• API интеграция;
• Планировщик.

Доступные ОС:

1. Windows.

5. WebHarvy

WebHarvy — интересный вариант для парсинга сайтов, программа предлагает простой и наглядный интерфейс для захвата данных и в этом ее главная особенность — она интуитивно понятна с первого взгляда. WebHarvy не подойдет для каталогов со сложной структурой вложенности, программу нужно выбирать для сайтов с простой структурой вложенности не далее второго уровня, приятный бонус, программа понимает динамически загружаемые данные, так же вы сможете подключить свои прокси и пройти по заранее подготовленному списку адресов. Программа позволяет пользоваться регулярными выражениями, например вы сможете очистить html код.

Ограничения в бесплатной версии:

• 15 дней;
• Первые 2 страницы.

Из-за ограничения в 2 страницы, программа сильно ограничивает парсинг каталогов, но если есть возможность вывести данные на одну страницу, WebHarvy — хороший выбор.

Возможности:

• Визуальное редактирование;
• Многопоточность;
• RegExp;
• Работа с динамическим содержимым;
• Поддержка Ip;
• Видео-уроки;
• Планировщик.

Доступные ОС:

6. Screen-Scraper

Screen-Scraper — еще одно программное решение для сбора данных с сайтов. Программу сложно назвать простой, потребуется время для обучения, но возможности бесплатной версии высоки. Screen-Scraper может собирать данные, переходить по ссылкам, заполнять и отправлять формы, переходить на страницы результатов поиска и скачивать различные файлы. Программа может справится с практически любым сайтом, в том числе с AJAX данными.

Ограничения в бесплатной версии:

• Не ограничено по времени;

Возможности:

• Видео-уроки;
• Многопоточность;
• API;
• AJAX;
• Поддержка роации Ip;
• Программирование скриптов на Java, JavaScript и Python.

Доступные ОС:

1. Windows;
2. MacOS;
3. Linux.

Облачные сервисы для парсинга

Облачные сервисы, в отличие от программ позволяют собирать не использую ресурсы вашего компьютера, такие сервисы программируются через окно браузера или программу на вашем компьютере, а вот сам процесс извлечения данных выполняется на стороннем сервере. Сервисы как и программы предоставляют возможности осуществлять парсинг бесплатно.

7. Octoparse

Octoparse — популярный сервис для парсинга, позволяет визуально, те без написания кода программировать парсер. Преимущество сервиса для неподготовленного пользователя — множество статей, объясняющих как им пользоваться. В плане функциональности сервис предоставляет хорошие лимиты в бесплатной версии.

Ограничения в бесплатной версии:

• 14 дней;
• Количество страниц не ограничено;
• Экспорт 10 000 строк;
• До 10 сохраненных настроек;
• Поддержка.

Возможности сервиса:

• Динамический контент;
• Ротация ip;
• Планировщик;
• Работа в облаке 24/7;
• Работа с API.

8. Mozenda

Mozenda — известный и один из старейших облачных сервисов. Предлагает настройку визуальным захватом данных, язык XPath для настройки извлечения сложных данных, разработчикам сервис предлагает создание сценариев парсинга. Сервис предлагает демонстрационный период на целый месяц, настройка парсинга происходит через приложение, которое нужно установить на компьютер, сбор информации происходит в облаке.

Ограничения в бесплатной версии:

Возможности сервиса:

• Многопоточность;
• Динамический контент;
• Ротация ip;
• Планировщик;
• Уведомления.

9. Diffbot

Diffbot — инновационный сервис использующий машинное обучение и компьютерное зрение для парсинга данных. Сервис способен автоматически определить тип страницы, на которой находится и собирать различные данные данные для поддерживаемых типов страниц. Заявляется о поддержке статей, карточек товаров, изображений, обсуждений и видео.

Ограничения в бесплатной версии:

• 14 дней;
• Запрос в секунду.

Возможности сервиса:

• Автоматизация процесса
• Ротация ip;
• Работа с API.

10. Scraper api

Scraper api — сервис требующий программирования, работает через безголовый браузер. Сильная сторона Scraper API — смена Ip адреса для каждого запроса, сервис выбирает прокси из миллиона доступных и автоматически повторяет неудачные запросы, до тех пор, пока не соберет нужные данные. Сервис умеет работать с капчей.

Ограничения в бесплатной версии:

Сервис может работать с одним из языков программирования — NodeJS, Python, Ruby или PHP.

Возможности сервиса:

• 40 млн Ip;
• 12 геолокаций;
• Неограниченная пропускная способность;
• Работа с Javascript.

11. Scrapy Cloud от Scrapinghub

Scrapy Cloud — облачная платформа позволяющая программировать парсеры, требует знания языков программирования. Предоставляет гибкие инструменты для создания проектов с любой нужной вам логикой. Сервис предлагает безлимитное количество данных на бесплатном тарифе, но ограничивает время работы одним часом.

Ограничения в бесплатной версии:

Возможности сервиса:

• Динамическое содержимое;
• Смена прокси;
• Мультипоточность;
• API.

12. ScrapingBee

ScrapingBee — сервис для парсинга данных требующий программирования, сбор данных осуществляется через безголовый браузер. Особенность ScrapingBee — рендеринг Javascript, это позволяет парсить любой сайт, использующий React, Angulars, Vue.js и другие библиотеки. Сервис использует прокси сервера для снижения вероятности блокировки, так же это позволит запустить парсинг в несколько потоков, что увеличит скорость сбора данных.

Ограничения в бесплатной версии:

Сервис требует знания программирования на одном из языков — CURL, Python, NodeJS, Java, Ruby, Php, Go.

Возможности сервиса:

• Работа с JavaScript;
• Поддержка смены Ip;
• Мультипоточность;
• API.

13. Apify

Apify — сервис основанный на готовых решениях. Магазин Apify позволяет использовать заранее подготовленные шаблоны для самых популярных пользовательских запросов: сбор данных с Amazon, Instagram, Booking и т.д. Сервис дает доступ к API через подключение к которому и происходит сбор данных, все представленные шаблоны хорошо описаны, так же вы можете изменить настроенный шаблон, чтобы внести нужные вам изменения.

Ограничения в бесплатной версии:

• 10 страниц;
• Хранение данных за 7 дней;
• 30 прокси серверов).

Возможности сервиса:

• Работа с JavaScript;
• Ротация прокси;
• Мультипоточность;
• API.

14. Web Scraper

Web Scraper — сервис для парсинга созданный, чтобы упростить парсинг данных с сайтов. Парсер настраивается в визуальном редакторе, вы просто указываете какие элементы хотите захватить. Web Scraper позволяет создавать карты сайта из различных типов селекторов. Эта система позволяет в последующем адаптировать извлечение данных к разным структурам сайта.

Ограничения в бесплатной версии:

• Только локальное использование;
• Динамические данные;
• Не возможен рендеринг JavaScript;
• Экспорт только в CSV.

Возможности сервиса:

• Рендеринг JavaScript;
• Ротация прокси;
• Планировщик;
• Мультипоточность;
• Работа через API.

15. CrawlMonster

CrawlMonster — SEO ориентированный инструмент для парсинга. С помощью сервиса вы сможете получить доступ к SEO данным вашего веб-сайта, таким как — контент, статусы страниц, код сайта, различные ошибки, сервис оповестит о проблеме с безопасностью и многое другое.

Ограничения в бесплатной версии:

• 100 страниц;
• 1 сайт;
• Нет планировщика;
• Ограниченный функционал.

Возможности сервиса:

• Комплексный SEO-анализ;
• Структурный анализ;
• Эффективность SEO;
• Отслеживание проблем;
• Анализ безопасности;
• Мониторинг сайта в реальном времени;
• Отчеты.

16. eScraper

eScraper — сервис который подойдет для парсинга сайтов электронной коммерции у сервиса есть настроенные интеграции с магазинами построенными на Magento, PrestaShop, WooCommerce или Shopify. Может парсить динамически загружаемый контент, такой как, раскрывающиеся списки, разделы «показать еще» и «следующая страница» и чекбоксы.

Ограничения в бесплатной версии:

Возможности сервиса:

• Визуальное программирование;
• Планировщик;
• Большое количество интеграций с eCommerce CMS.

17. 80legs

80legs — сервис для парсинга сайтов использующий заранее созданные шаблоны. Шаблоны для парсинга от 80legs используют технологии Javascript, которые вы можете менять в соответствии с вашими задачами. В шаблонах можно настроить, какие данные будут собираться и по каким ссылкам нужно переходить.

Ограничения в бесплатной версии:

• Один поток;
• 10 000 страниц;
• Нужно привязать пластиковую карты.

Возможности сервиса:

• Рендеринг JavaScript;
• Ротация Ip;
• Автоопределение скорости парсинга;
• API.

18. Phantom Buster

Phantom Buster — еще один облачный сервис, предлагающий готовые шаблоны. Сервис специализируется на социальных сетях, таких как Facebook, Twitter, Instagram, LinkedIn и т.д. Парсинг не требует умения программировать, вы сможете легко выполнять привычные для социальных сетей действия автоматически, такие как отслеживание активности профилей, авто-лайки постов, отправка сообщений и прием заявок.

Ограничения в бесплатной версии:

• Один шаблон;
• 10 минут в день.

Возможности сервиса:

• Готовые шаблоны;
• Автоматизация действий;
• Планировщик.

19. Webhose

Webhose — этот сервис специализируется на новостях, блогах, форумах и работе с даркнетом. Webhose работает через API, который предоставляет доступ к данным в режиме реального времени. Также сервис откроет доступ к огромной базе исторических данных.

Ограничения в бесплатной версии:

Сервис подойдет, если вам нужно достать информацию из новостных источников или даркнета. Также, если есть необходимость в исторических данных.

Возможности сервиса:

• API;
• Новостные источники;
• Исторические данные.

20. Parsers

Parsers — сервис парсингас визуальной настройкой парсинга, работает через расширение для браузера. Сервис упрощает настройку сбора данных при помощи алгоритмов машинного обучения, вам нужно выбрать данные только на одной, первой странице сайта, далее сервис ищет похожие страницы на сайте и извлекает указанные данные.

Ограничения в бесплатной версии:

• 1000 страниц за прогон;
• 10 потоков.

Возможности сервиса:

• API;
• Планировщик;
• Автоматический поиск нужных данных.

21. Agenty

Agenty — сервис предлагающий настройку парсера через расширение для браузера Chrome. Сервис очень прост в настройке, нужно просто кликнуть на данные которые вы хотите собрать, работает при помощи CSS-селекторов, экспортирует данные в JSON, CSV, TSV.

Ограничения в бесплатной версии:

• 14 дней;
• 100 страниц.

Возможности сервиса:

• Автоматическая ротация прокси;
• Визуальная настройка;
• Пакетная обработка страниц;
• Планировщик;
• Интеграции с облачными дисками и Google таблицами.

22. Grepsr

Grepsr — расширение для браузера Chrome с визуальной настройкой парсеа. Сервис предлагает интуитивно понятный интерфейс, API для автоматизации сбора данных и интеграции с популярными облачными дисками — Dropbox, Google Drive, Amazon S3, Box, FTP.

Ограничения в бесплатной версии:

• 1000 запросов в месяц;
• 500 записей за запуск;
• 5 запусков в месяц;
• 3 отчета в месяц.

Возможности сервиса:

• Интеграции с облачными дисками;
• Визуальное программирование;
• Планировщик;
• API.

23. Web Robots

Web Robots — облачный сервис использующий для настройки расширение для браузера Chrome. Работа с сервисом максимально упрощена, это один из самых простых сервисов, парсер настраивается визуально, разобраться с ним не составит труда, просто указываете нужные данные на странице и сервис автоматизирует дальнейший действия. Функциональность сервиса так же проста, парсер подойдет для простейших задач.

Ограничения в бесплатной версии:

• Расширение работает без ограничений;

Возможности сервиса:

• Визуальная настройка;
• Автоматически находит и собирает данные.

24. Data miner

Data miner — еще один сервис, использующий шаблоны и работающий через расширение для браузера, поддерживаются Google Chrome и Microsoft Edge. Имеет визуальный интерфейс для настройки данных. Data Miner предлагает просто гигантское количество настроенных шаблонов, более 40 000 для самых популярных сайтов. При помощи готовых шаблонов, вы сможете собрать данные в несколько кликов мышкой. Сервис позволяет работать с нужным вам списком адресов.

Ограничения в бесплатной версии:

Возможности сервиса:

• Визуальная настройка;
• Пакетная обработка страниц;
• Работа с динамическими данными.

25. Scraper.AI

Scraper.AI — сервис работающий через расширение для браузера. Поддерживаются Chrome, Firefox и Edge. Scraper.AI не требует работы с кодом и предлагает простую настройку через визуальный интерфейс. Так же вы можете использовать готовые шаблоны для соцсетей — Facebook, Instagram и Twitter.

Ограничения в бесплатной версии:

• 3 месяца;
• 50 страниц.

Возможности сервиса:

• Визуальная настройка;
• Планировщик;
• Работа с динамическими данными;
• Уведомления.

Бесплатные фреймворки (библиотеки) для парсинга

Фреймворки — инструментарий для разработки собственных парсеров, для работы с ними необходимо знать один из языков программирования, эти инструменты помогут реализовать проект любой сложности. Можно написать нужную вам логику парсинга, парсить любые сайты, конечно, это потребует программистов, выделенных серверов и покупки прокси.

26. Scrapy

Scrapy — фреймворк для парсинга с открытым исходным кодом. Scrapy использует язык программирования Python и является одним из самых популярных фрейморков для парсинга. Одно из главных достоинств Scrapy — возможность асинхронной обработки запросов. Это позволяет не ждать, пока запрос будет завершен, парсер может отправлять параллельные запросы или выполнять другую логику в это время. Если в процессе вызова произойдет ошибка, парсер не прекратит свою работу, параллельные процессы продолжат выполняться.

Такой подход позволяет работать очень быстро и получать высокую отказоустойчивость запрсов. Scrapy также предлагает управление и другими параметрами парсинга, вы сможете задавать задержку между каждым запросом или группой запросов, ограничить количество одновременных запросов для каждого домена или IP адреса или даже использовать автоматический расчет нужной задержки между запросами.

В силу популярности у Scrapy большое комьюнити и написана подробная документация.

27. BeautifulSoup

BeautifulSoup — фреймворк, также использующий популярный язык программирования Python, позволяет парсить данные из HTML и XML документов. Фреймворк предлагает подробную документацию, для открытия ссылок и сохранения результатов потребуется подключить сторонние библиотеки. Он более прост функционально по сравнению со Scrapy, BeautifulSoup стоит выбрать, если задачи парсинга не требуют распределения данных, не требуют реализации сложной логики и не нужно применять прокси сервера. Но, в противовес меньшему функционалу BeautifulSoup более прост в освоении, библиотека подойдет начинающим программистам, множество мануалов помогут быстро разобраться в продукте.

28. Jaunt

Jaunt —библиотека для парсинга на языке Java с открытым исходным кодом. Работает через легкий и быстрый безголовый браузер (без графического интерфейса). Браузер дает доступ к DOM и контроль над каждым HTTP запросом — ответом. Jaunt позволяет скриптам на Java:

• Парсить страницы сайтов, извлекать JSON-данные;
• Работать с формами;
• Парсить таблицы;
• Обрабатывать отдельные HTTP-запросы — ответы;
• Интерфейс с REST API или веб-приложениями (JSON, HTML, XHTML или XML).

29. Selenium

Selenium — это настоящий «швейцарский нож» для парсинга, представляет из себя набор инструментов для автоматизации браузеров, включает инструменты для управления, развертывания, записи и воспроизведения действий. Все продукты Selenium выпущены с открытым исходным кодом.

Парсеры можно писать на различных языках — Python, Java, C#, JavaScript или Ruby. Selenium позволяет связывать не только браузеры, но и сервера для решения сложных задач. Этот инструмент стоит выбрать, если перед вами стоят большие задачи и есть ресурсы для их реализации.

30. Grab

Grab — фреймворк позволяющий писать скрипты для парсинга на языке Python. С помощью Grab можно создавать парсеры различной сложности, как простые скрипты на 5 строчек, так и сложные асинхронные поисковые алгоритмы, способные обрабатывать миллионы страниц. Фреймворк имеет API для выполнения запросов и последующей обработки данных, например, для взаимодействия с деревом DOM HTML- документа.

Фреймворк Grab состоит из двух частей:

1. API запроса — ответа, позволяющий выполнять запросы и обрабатывать полученные данные (API — оболочка библиотек pycurl и lxml).
2. Spider API-интерфейс для создания асинхронных парсеров.

Платный сервис в заключении

В заключении расскажу о сервисе парсинга для развитием которого я занимаюсь — iDatica. Мы делаем разработку парсеров и сопровждающих услуг: очищаем данные, сопоставляем (матчим) товары, визуализируем информацию в Bi сервисах, делаем это качественно, под ключ.

Мы не предлагаем бесплатный тариф, почему наши услуги нужны, если есть готовые и даже бесплатные сервисы? Если кратко, для работы с сервисами-продуктами требуются сотрудники, которые будут с ними работать, требуется время на изучение функциональности, более того не во всех случаях способны справиться с парсингом нужных сайтов.

Если говорить более развернуто — мы поможем, когда продукт, не может собрать данные с нужного сайта, например, большинство даже платных версий сервисов из списка, при тестировании не справились с парсингом Яндекс.Маркет, а тем или иным способом защищаются от парсинга многие коммерческие сайты. Мы напишем логику парсинга под ваши требования, например, сначала найти на сайте нужную информацию, выбрать категории, бренды, парсинг набора ссылок или парсинг сайта с нестандартной структурой. Мы сравним ваши товары и товары конкурентов с максимальной точностью, в противовес — автоматические алгоритмы сравнения товаров часто не отрабатывают на 100% и требуют ручной доработки с вашей стороны, а часть сервисов потребует предварительно сопоставить ваши товары и товары конкурентов, а если какие-то адреса карточек изменяться, делать это придется заново. Все это выливается в оплату сервиса, оплату труда сотрудника, который работает с сервисом, а если сервис в конечном итоге не справится, в потраченное время и необходимость искать новый сервис. Выбирая работу с нами, вы просто будете получать нужный результат в готовом виде.

30+ парсеров для сбора данных с любого сайта / Блог компании Click.ru / Хабр

Десктопные/облачные, платные/бесплатные, для SEO, для совместных покупок, для наполнения сайтов, для сбора цен… В обилии парсеров можно утонуть.

Мы разложили все по полочкам и собрали самые толковые инструменты парсинга — чтобы вы могли быстро и просто собрать открытую информацию с любого сайта.

Зачем нужны парсеры

Парсер — это программа, сервис или скрипт, который собирает данные с указанных веб-ресурсов, анализирует их и выдает в нужном формате.

С помощью парсеров можно делать много полезных задач:

• Цены. Актуальная задача для интернет-магазинов. Например, с помощью парсинга вы можете регулярно отслеживать цены конкурентов по тем товарам, которые продаются у вас. Или актуализировать цены на своем сайте в соответствии с ценами поставщика (если у него есть свой сайт).
• Товарные позиции: названия, артикулы, описания, характеристики и фото. Например, если у вашего поставщика есть сайт с каталогом, но нет выгрузки для вашего магазина, вы можете спарсить все нужные позиции, а не добавлять их вручную. Это экономит время.
• Метаданные: SEO-специалисты могут парсить содержимое тегов title, description и другие метаданные.
• Анализ сайта. Так можно быстро находить страницы с ошибкой 404, редиректы, неработающие ссылки и т. д.

Для справки. Есть еще серый парсинг. Сюда относится скачивание контента конкурентов или сайтов целиком. Или сбор контактных данных с агрегаторов и сервисов по типу Яндекс.Карт или 2Гис (для спам-рассылок и звонков). Но мы будем говорить только о белом парсинге, из-за которого у вас не будет проблем.

Где взять парсер под свои задачи

Есть несколько вариантов:

1. Оптимальный — если в штате есть программист (а еще лучше — несколько программистов). Поставьте задачу, опишите требования и получите готовый инструмент, заточенный конкретно под ваши задачи. Инструмент можно будет донастраивать и улучшать при необходимости.
2. Воспользоваться готовыми облачными парсерами (есть как бесплатные, так и платные сервисы).
3. Десктопные парсеры — как правило, программы с мощным функционалом и возможностью гибкой настройки. Но почти все — платные.
4. Заказать разработку парсера «под себя» у компаний, специализирующихся на разработке (этот вариант явно не для желающих сэкономить).

Первый вариант подойдет далеко не всем, а последний вариант может оказаться слишком дорогим.

Что касается готовых решений, их достаточно много, и если вы раньше не сталкивались с парсингом, может быть сложно выбрать. Чтобы упростить выбор, мы сделали подборку самых популярных и удобных парсеров.

Законно ли парсить данные?

В законодательстве РФ нет запрета на сбор открытой информации в интернете. Право свободно искать и распространять информацию любым законным способом закреплено в четвертом пункте 29 статьи К

Парсеры сайтов для сбора контента в интернете

Парсеры — это программы или скрипты, осуществляющие сбор различного контента с других сайтов. В зависимости от требований могут быть настроены на полное или частичное копирование контента выбранного сайта. Разделяются на узкоспецилизированные (копируют текст или изображения) и универсальные (копируют текст и картинки вместе). В основном используются для парсинга контента сайтов и результатов выдачи поисковых систем. Парсеры сайтов помогают вебмастеру собирать контент, анализировать его и наполнять им свои проекты.

Популярные парсеры сайтов

Парсер «Ночной дозор»

«НОЧНОЙ ДОЗОР» — программа для быстрого получения целевой информации с любых сайтов и последующей ее публикацией на других ресурсах. Представляет собой универсальный парсер контента со встроенным синонимайзером, что позволяет получать награбленный контент уже уникальным. В настройках парсера можно задать любые параметры для сбора информации.

Парсинг происходит посредством составления макросов, после чего программа в автоматическом режиме выполняет запрограмированные действия без вашего участия и присмотра. Это позволяет использовать программу в любое удобное время суток на полном автомате. Поддерживает все популярные CMS: WordPress, Joomla, DLE, Drupal, Ucoz а также самописные. Работает в фоновом режиме или по расписанию.

На данное время программа вне конкуренции от других, одно из главных отличий этого парсера, не требует от пользователя знаний программирования. Русский интерфейс,  видео уроки по работе, делают программу доступной любому пользователю. СКАЧАТЬ

Uni Parse

Uni Parse — бесплатный граббер текста под любые нужды и цели. Шустрый, многопоточный граббер собирает также ссылки со страниц сайтов. Работать легко и удобно. В поле «сайт» вставляете нужный URL со слешем на конце «/». Выставляете нужное количество потоков, редактируете «Black list» потом жмем на старт. На выходе в папке «up»получите текстовый файл с адресами. Чтобы начать парсинг текста, ставим галочку на «селективный парсинг», потом жмем «SelectiveParse». Заполняем поля с настройками, запускаем парсинг. Подробнее по настройке, а также скачать можно здесь.

Sjs парсер — популярный в среде вебмастеров, универсальный парсер контента. Умеет парсить как определенную часть контента сайта или полностью весь сайт.  Способен разделять информацию и обрабатывать ее в соответствии с поставленной задачей.

Возможности парсера Sjs :

• Полный граббинг сайта
• Частичный граббинг
• Парсинг по меткам
• Парсинг URL по шаблону
• Работа с фильтром
• Граббит статьи с форматированием и изображениями
• Очищает текст от мусора и ненужных символов
• Удаляет ненужные мета-теги
• Настройка парсинга из файла
• Установка глубины парсинга
• Сохранение результатов в форматах TXT, CSV, WPT, Zebrum lite и др.

Парсер очень легко настроить под свои потребности или нужды. Например для наполнения интернет-магазина или каталогов. К сожалению автор свой проект больше не поддерживает. Но скачать парсер Sjs в сети можно без проблем.

Парсеры сайтов помогают вебмастеру без особого труда собрать нужную информацию за минимум времени

Парсер сайтов и html контента из страниц, статей и текста. Универсальная программа.

Описание программы парсера сайтов для сбора контента

Возможности программы универсального парсера сайтов

Интерфейс программы парсер сайтов

Окно программы парсера сайтов «Обработанный контент»

Окно программы парсера сайтов «Параметры»

Отзывы о парсере сайтов

Скачать парсер сайтов и контента

парсинг данных с сайтов, сбор ключевых слов, текстов и ссылок

Команда AskUsers

2021-03-03 • 6 мин читать

Понятие «парсинг» в рунете имеет отчетливо негативный оттенок. Его считают чем-то вроде хакинга. При этом парсерами пользуются многие компании: и небольшие стартапы, и серьезные бизнес-игроки.

Парсинг – это автоматизированный сбор информации (товаров, услуг, прайсов, тарифов, компаний и т.д.) из интернета и ее систематизация. Простыми словами, это быстрое получение нужных данных из выдачи с помощью программ.

В законодательстве РФ нет статьи, запрещающей автоматический сбор. Если заимствованная из выдачи информация используются законным образом, то в этом нет ничего аморального или криминального. Например, когда вы парсите прайс для анализа цен конкурентов, это часть стандартного маркетингового исследования. Собирая и размещая список услуг компаний на своем агрегаторе, вы способствуете продажам и развитию бизнеса. Другое дело, когда вы делаете сбор данных с сайта-конкурента, и полученный контент размещаете у себя на страницах. Воровство фотографий и текстов конкурентов – это нарушение авторских прав. Но это уже не про процесс сбора, а про использование результата.

В чем преимущества

В отличие от того же хакинга, при парсинге собираются данные из открытых источников – из выдачи поисковых систем, которые компания не скрывает ни от потребителей, ни от конкурентов. То же самое (например, собрать несколько тысяч позиций товаров) можно сделать и вручную, но на это будут потрачены неадекватно большие ресурсы – временные и человеческие. Поэтому сбор информации «поручают» программам. Эта процедура страхует от ошибок, которые бывают при ручном сборе. Ее можно регулярно повторять, чтобы корректировать полученные данные. Информацию легко структурировать, привести к заданному формату, меняя настройки.

Какую информацию можно собирать

Практически любую, которая находится в открытом доступе:

1. Товары и услуги. Парсинг товаров часто используют интернет-магазины.

2. Цены и тарифы. Парсинг цен маркетологи применяют для корректировки ценообразования в своей компании.

3. Контент: характеристики, текстовые описания, картинки.

4. Объявления.

5. Ссылки. Например, парсер ссылок может понадобиться для анализа структуры интернет-магазина через карту сайта.

6. Контакты и данные конкурента.

7. Телефоны организаций.

8. Объемы продаж. Некоторые сайты публикуют данные об остатках товаров на складе, а это полезная маркетинговая информация.

9. Новости. Парсер новостей из СМИ применяют новостные агрегаторы.

10. SEO-специалисты используют парсер позиций сайта-конкурента и проводят сбор ключевых слов. Для них же разработали несколько программ-парсеров поисковых запросов. Есть сервисы, которые могут выгрузить title, description, keywords и заголовки сайтов-конкурентов.

11. Можно парсить даже собственный проект, чтобы навести порядок, например, чтобы избавиться от битых ссылок, увидеть, где не хватает фотографий, текстовых описаний и т.д.

Какие алгоритмы задействованы

Программы для парсинга сайтов работают по одной общей схеме:

1. Программа ищет данные по заданным параметрам или ключевым словам.

2. Все это собирается и систематизируется по заданным критериям.

3. Формируется отчет. Он может быть в любом формате: CSV, Excel, XML, JSON, pdf, docx, zip и других.

Для получения контента и данных с сайта нужна специальная программа. Это может быть универсальный парсер (например, облачные русскоязычные сервисы Xmldatafeed, Диггернаут, Catalogloader). У большинства таких программ есть бесплатные и платные версии. Стоимость большинства сервисов невысока. В некоторых случаях, например, для сбора нескольких десятков характеристик товаров, достаточно пробной версии.

Иногда требуется сервис, разработанный под ваши конкретные задачи. Он может быть написан на любом языке программирования. Для парсинга страницы, если нужна не полная информация, а только отдельные элементы (например, только цена), применяют язык XPath.

Как парсить сайты и обрабатывать данные

Для примера расскажем, как спарсить товары с сайта интернет-магазина.

1. Нужно четко понять, что именно надо собрать. Программы имеют множество фильтров, которые позволяют сразу отсечь все лишнее. Например, вам нужны только товары из конкретного раздела или с определенными ключевыми словами. Возможно, будет достаточно каталога и прайса без текста и характеристик.

2. Найти сайт-донор (или несколько). Донора нужно указать в специальном окне программы.

3. Выставляем фильтры, меняем настройки (в каждом сервисе они свои) и запускаем сбор данных.

4. Полученные данные формируются в файл (текстовый, в форме таблицы, архива и т.д.). Удобный формат файла задается в настройках сервиса.

Использовать полученную информацию можно по-разному. Данные по ценам, тарифам, объемам продаж применяют для маркетингового анализа конкурентов.

Список ключевых слов из топа выдачи поисковых систем используют для сбора семантического ядра.

Контент можно импортировать на собственную площадку (например, на агрегатор). Текстовые данные иногда перерабатывают (например, с помощью синонимайзера). Уникальный авторский контент использовать нельзя, это нарушение авторских прав.

Полезна связка «парсинг конкурента-самопарсинг», когда сравнивается информация на двух сайтах. Процедура позволяет получить недостающее (например, товарные позиции) и импортировать их на свою площадку.

Читайте на AskUsers

В топе выдачи поисковиков по коммерческим запросам все чаще оказываются сайты-агрегаторы. Это платформы в виде каталога, где собраны товары, услуги, сервисы или новости. Рассказываем, как создать и продвинуть агрегатор.

Google Sheets – удобный инструмент, с которым можно планировать (например, прибыль и затраты), проводить маркетинговый анализ, вести учет доходов и т.д. Мы составили большой гайд по работе с Google Таблицами.

Закажи юзабилити-тестирование прямо сейчас

Заказать

java — Какие есть хорошие бесплатные программы парсинга?

Lepl — это рекурсивный анализатор спуска общего назначения для Python, который я поддерживаю.

Это похоже на pyparsing, поскольку оба являются синтаксическими анализаторами, которые вы пишете непосредственно на Python. Вот пример, который анализирует и оценивает арифметическое выражение:

  >>> из оператора import add, sub, mul, truediv

>>> # ast узлов
... класс Op (Список):
... def __float __ (self):
... вернуть self._op (float (self [0]), float (self [1]))
.0-9a-zA-Z \ t \ r \ n] ')

>>> число = Необязательно (символ ('-')) + значение >> с плавающей точкой
>>> group2, group3 = С задержкой (), С задержкой ()

>>> # Первый слой, наиболее плотно сгруппированный, - это скобки и числа
... parens = ~ символ ('(') & group3 & ~ символ (')')
>>> group1 = parens | количество

>>> # Второй слой, следующий по плотности сгруппированный, - это умножение.
... mul_ = group1 & ~ symbol ('*') & group2> Mul
>>> div_ = group1 & ~ символ ('/') & group2> Div
>>> group2 + = mul_ | div_ | группа 1

>>> # Третий слой, наименее сгруппированный, - это сложение
... add_ = group2 & ~ symbol ('+') & group3> Добавить
>>> sub_ = group2 & ~ символ ('-') & group3> Sub
>>> group3 + = add_ | sub_ | группа2

... ast = group3.parse ('1 + 2 * (3-4) + 5/6 + 7') [0]
>>> print (ast)
Добавлять
 + - 1,0
 `- Добавить
     + - Мул
     | + - 2,0
     | `- Sub
     | + - 3,0
     | `- 4,0
     `- Добавить
         + - Div
         | + - 5,0
         | `- 6.0
         `- 7,0
>>> поплавок (аст)
6,833333333333333
>>> 1 + 2 * (3-4) + 5/6 + 7
6.833333333333333
  

Основное преимущество Lepl перед pyparsing состоит в том, что он немного более мощный (он может компилироваться в регулярные выражения местами для скорости, обрабатывать леворекурсивные грамматики, использует trampolining, чтобы избежать исчерпания места в стеке). Основные недостатки заключаются в том, что он моложе, чем pyparsing, поэтому не имеет такого же количества пользователей или такого большого и поддерживающего сообщества.

Что такое парсинг? | The Mighty Programmer

Parsing — это процесс преобразования текста в формате в структуру данных .Тип структуры данных может быть любым подходящим представлением информации, выгравированной в исходном тексте .

• Дерево Тип является распространенным и стандартным выбором для синтаксического анализа XML, синтаксического анализа HTML, синтаксического анализа JSON и синтаксического анализа любого языка программирования. Выходное дерево называется Дерево синтаксического анализа или Абстрактное Синтаксическое дерево . В контексте HTML это называется объектной моделью документа (DOM).
• В результате синтаксического анализа файла CSV может быть получен список со списком значений. или — список объектов записи.
• Graph Type — выбор для синтаксического анализа естественного языка.

Часть программы, которая выполняет синтаксический анализ, называется Parser .

Как это работает

Parser анализирует исходный текст на соответствие * предписанному формату. Если исходный текст не соответствует формату, выдается или возвращается ошибка.

• Если исходный текст не соответствует формату, выдается или возвращается ошибка.
• Если совпадает, возвращается «структура данных».

* закодирован внутри парсера.

Формат — это ДНК парсера.

Небольшой пример использования

Рассмотрим пример разбора даты из строки (источника) в формате ДД-ММ-ГГГГ до объекта Date:

  класс Дата {
  int день;
  int месяц;
  int год;
}
  

Примечание по реализации

Для разбора даты я бы использовал Regular Expression ¹ ( regex для краткости).Регулярное выражение можно сопоставить со строкой. Это также помогает в извлечении части исходного текста , если он совпадает.

Примечание. Это будет небольшая иллюстрация синтаксического анализа с помощью «Regex». Это может быть справедливым подходом для ввода текста в одну-две строки, но не во всех случаях. Возможно, вам придется написать парсер вручную (самый сложный) или использовать инструменты Parser Generator (умеренно сложные).

Код

Элемент даты синтаксического анализа и извлечения:

  Строка date = «20-05-2012»;

Шаблон dateMatcher = Шаблон.компилировать («(\\ d {2}) - (\\ d {2}) - (\\ d {4})»);

Matcher matcher = dateMatcher.matcher (дата);

if (matcher.find ()) {
  
  int day = Integer.parseInt (matcher.group (1));
  int месяц = ​​Integer.parseInt (matcher.group (2));
  int год = Integer.parseInt (matcher.group (3));
  
  вернуть новую дату (день, месяц, год);
} еще {
 
 выбросить новое исключение DateParseException (дата + «недействительна»)
}
  

Код написан на Java. Как работает этот код:

1. Дата в формате ДД-ММ-ГГГГ может быть сопоставлена ​​с помощью регулярного выражения:

  (\ d {2}) - (\ d {2}) - (\ d {4})

где \ d соответствует любой цифре от 0 до 9,
{n} означает, сколько раз ожидается последний тип символа
() называется группой захвата и закрытой частью строки, которая будет извлечена.Каждая группа пронумерована, первой группе присваивается «1», второй - «2» и т. Д.
  

2. Данная дата как строка сопоставляется с определенным регулярным выражением.
3. Если совпадение прошло успешно, то день, месяц и год извлекаются из исходной строки с помощью Group Construct , предоставляемой API регулярных выражений. Это стандартная конструкция в любом API регулярных выражений на любом языке.
4. Извлеченные части даты могут быть проверены; связанный код пропущен, чтобы вы могли его потренировать.

Это иллюстрация синтаксического анализа на основе регулярных выражений, который ограничен форматом, который может быть определен с помощью регулярных выражений. Это базовый пример синтаксического анализа. Язык программирования или формат, такие как синтаксический анализ XML, сложны по своей природе. Вы можете обратиться к книге «Crafting Interpreters», чтобы получить представление о полномасштабном синтаксическом анализе. Ремесленники

Вы также можете прочитать о «Lezer: Система синтаксического анализа Code Mirror» Лезер

Фазы разбора

Анализ может рассматриваться как композиция сканирования и синтаксического анализа или просто синтаксического анализа.

Сканирование

Сканирование — это процесс преобразования потока символов в токенов. Маркер представляет собой «концепцию», представленную форматом. Логически токен можно рассматривать как метку, присвоенную одному или нескольким символам. С точки зрения обработки: токен , — это объект, который может содержать лексему ³ , информацию о местоположении и т. Д.

На языке Java: , если , , а , int — примеры токенов.При синтаксическом анализе даты токены определяются Regex; \ d {2} (день, месяц), - (разделитель), \ d {4} (год) — токены. Примечание. День и месяц относятся к одному типу токенов. Маркер определяется «шаблоном символов», а не расположением символов.

также называется Tokenization или Lexical Analysis . Часть программы, которая выполняет сканирование, называется Lexer или Scanner или Tokenizer.

Синтаксический анализ

Синтаксический анализ анализирует структуру, сформированную для хранения токенов в порядке их расположения.Он также проверяет и извлекает выгравированные данные для создания предпочтительной структуры данных. В примере анализа даты: «За днем ​​следует месяц и год». Порядок проверяется Regex Engine, также извлечение выполняется на основе порядка и совпадений.

Ошибки, сообщаемые на этом этапе, называются синтаксическими ошибками . Возвращаясь к примеру анализа даты, 99-JAN-2021 является недопустимой датой; однако 99–99–9999 является допустимой датой, поскольку так сказано в правиле (\ d {2}) - (\ d {2}) - (\ d {4}) .Это может показаться абсурдным, но парсеры обычно проверяют синтаксическую правильность .

Примечания закрытия

Масштаб разбора определяет включение или исключение Сканирования как части:

• Это полезно для крупномасштабного синтаксического анализа, такого как синтаксический анализ языка (естественный или программный), чтобы разделить сканирование и синтаксический анализ. В этом случае синтаксический анализ называется синтаксическим анализом .
• Для мелкомасштабного синтаксического анализа, такого как Date, может быть нецелесообразно разделять лексический анализатор и синтаксический анализ.В данном случае он называется Безсканирующий анализ .

Часто задачи синтаксического анализа делегируются генераторам кода синтаксического анализатора, таким как Antlr или Lex. Эти инструменты требуют набора правил или грамматики и генерируют код парсера.

Сгенерированные синтаксические анализаторы при синтаксическом анализе создают дерево, которое может не соответствовать желаемой структуре данных; однако эти библиотеки предоставляют достаточное количество API-интерфейсов для преобразования построенного дерева в желаемую структуру данных.

В мире парсеров есть еще кое-что; тип стилей синтаксического анализа: сверху вниз или снизу вверх, крайний левый или крайний правый вывод.Эти стили дизайна ограничивают возможности синтаксического анализатора. Вы можете перейти по следующей ссылке, чтобы получить общее представление об этих вариантах дизайна и их сравнение: Руководство по синтаксическому анализу: алгоритмы и терминология

1. Регулярное выражение — это алгебраическое выражение², представляющее группу строк.
2. Алгебраическое выражение использует символы и операторы.
3. Lexeme — это необработанная строковая версия Token.

argparse — синтаксический анализатор параметров командной строки, аргументов и подкоманд — Python 3.9.7 документация

Модуль argparse упрощает написание удобной для пользователя командной строки. интерфейсы. Программа определяет, какие аргументы ей требуются, и argparse выяснит, как разобрать те из sys.argv . argparse модуль также автоматически генерирует справочные сообщения и сообщения об использовании и выдает ошибки когда пользователи предоставляют программе неверные аргументы.

Пример

Следующий код представляет собой программу Python, которая принимает список целых чисел и производит либо сумму, либо максимум:

 импорт argparse

парсер = argparse.ArgumentParser (description = 'Обработать некоторые целые числа.')
parser.add_argument ('целые числа', metavar = 'N', type = int, nargs = '+',
                    help = 'целое число для аккумулятора')
parser.add_argument ('- сумма', dest = 'накопить', действие = 'store_const',
                    const = сумма, по умолчанию = макс,
                    help = 'суммировать целые числа (по умолчанию: найти максимум)')

args = parser.parse_args ()
печать (args.accumulate (args.integers))
 

Предполагая, что приведенный выше код Python сохранен в файл с именем prog.ру , это может запускаться из командной строки и предоставляет полезные справочные сообщения:

 $ python prog.py -h
использование: prog.py [-h] [--sum] N [N ...]

Обработать несколько целых чисел.

позиционные аргументы:
 N целое число для аккумулятора

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 --sum суммировать целые числа (по умолчанию: найти максимум)
 

При запуске с соответствующими аргументами выводит либо сумму, либо макс. целые числа командной строки:

 $ питон прог.ру 1 2 3 4
4

$ python prog.py 1 2 3 4 - сумма
10
 

Если переданы недопустимые аргументы, будет выдана ошибка:

 $ python prog.py а б в
использование: prog.py [-h] [--sum] N [N ...]
prog.py: ошибка: аргумент N: недопустимое значение int: 'a'
 

В следующих разделах представлен этот пример.

Создание парсера

Первым шагом в использовании argparse является создание ArgumentParser объект:

 >>> парсер = argparse.ArgumentParser (description = 'Обработать некоторые целые числа.')
 

Объект ArgumentParser будет содержать всю информацию, необходимую для проанализировать командную строку на типы данных Python.

Добавление аргументов

Заполнение ArgumentParser информацией об аргументах программы выполняется путем вызова метода add_argument () . Обычно эти вызовы сообщают ArgumentParser , как принимать строки в командной строке и превратить их в объекты.Эта информация хранится и используется при вызове parse_args () . Например:

 >>> parser.add_argument ('целые числа', metavar = 'N', type = int, nargs = '+',
... help = 'целое число для аккумулятора')
>>> parser.add_argument ('- сумма', dest = 'накапливать', action = 'store_const',
... const = сумма, по умолчанию = max,
... help = 'суммировать целые числа (по умолчанию: найти максимум)')
 

Позже вызов parse_args () вернет объект с два атрибута, целых чисел и , накапливают .Атрибут целых чисел будет списком из одного или нескольких целых чисел, а атрибут накопить будет либо функция sum () , если в командной строке было указано --sum , или функция max () , если это не так.

Аргументы синтаксического анализа

ArgumentParser анализирует аргументы через parse_args () метод. Это проверит командную строку, преобразовать каждый аргумент в соответствующий тип и затем вызвать соответствующее действие.В большинстве случаев это означает, что простой объект Namespace будет создан из атрибуты, извлеченные из командной строки:

 >>> parser.parse_args (['- сумма', '7', '-1', '42'])
Пространство имен (накопление = <сумма встроенной функции>, целые числа = [7, -1, 42])
 

В сценарии parse_args () обычно вызывается без аргументы, а ArgumentParser автоматически определит аргументы командной строки из sys.argv .

Объекты ArgumentParser

класс argparse. ArgumentParser ( prog = None , usage = None , description = None , epilog = None , parent = [] , formatter_class = argparse.HelpFormatter ‘-‘ — , fromfile_prefix_chars = Нет , argument_default = Нет , conflict_handler = ‘error’ , add_help = True , allow_abbrev = True , exit_on_error = True )

Создайте новый объект ArgumentParser .Все параметры должны быть переданы как аргументы ключевого слова. Каждый параметр имеет свое более подробное описание. ниже, но вкратце они:

• prog — Название программы (по умолчанию: sys.argv [0] )

• usage — Строка, описывающая использование программы (по умолчанию: генерируется из аргументы добавлены в парсер)

• описание — текст для отображения перед справкой по аргументам (по умолчанию: нет)

• эпилог — текст, отображаемый после справки по аргументу (по умолчанию: нет)

• родителей — список из объектов ArgumentParser , аргументы которых должны также быть включены

• formatter_class — Класс для настройки вывода справки

• prefix_chars — Набор символов, предшествующих необязательным аргументам. (по умолчанию: ‘-‘)

• fromfile_prefix_chars — Набор символов, префикс файлов из какие дополнительные аргументы следует читать (по умолчанию: Нет )

• argument_default — Глобальное значение по умолчанию для аргументов (по умолчанию: Нет )

• Conflict_handler — Стратегия разрешения конфликтующих опций. (обычно не требуется)

• add_help — Добавить параметр -h / - help в парсер (по умолчанию: True )

• allow_abbrev — Позволяет сокращать длинные параметры, если аббревиатура однозначна.(по умолчанию: True )

• exit_on_error — Определяет, завершается ли ArgumentParser с информация об ошибке при возникновении ошибки. (по умолчанию: True )

Изменено в версии 3.5: добавлен параметр allow_abbrev .

Изменено в версии 3.8: В предыдущих версиях allow_abbrev также отключал группировку коротких такие флаги, как -vv , означают -v -v .

Изменено в версии 3.9: Добавлен параметр exit_on_error .

В следующих разделах описывается, как каждый из них используется.

прог

По умолчанию объекты ArgumentParser используют sys.argv [0] для определения как отображать название программы в справочных сообщениях. Это значение по умолчанию почти всегда желательно, потому что это заставит справочные сообщения соответствовать тому, как была программа вызывается в командной строке. Например, рассмотрим файл с именем мояпрограмма.py со следующим кодом:

 импорт argparse
parser = argparse.ArgumentParser ()
parser.add_argument ('- foo', help = 'foo help')
args = parser.parse_args ()
 

Справка для этой программы будет отображать myprogram.py как имя программы. (независимо от того, откуда была вызвана программа):

 $ python myprogram.py --help
использование: myprogram.py [-h] [--foo FOO]

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 --foo FOO foo help
$ cd..
Подкаталог $ python / myprogram.py --help
использование: myprogram.py [-h] [--foo FOO]

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 --foo FOO foo help
 

Чтобы изменить это поведение по умолчанию, можно указать другое значение с помощью prog = аргумент для ArgumentParser :

 >>> парсер = argparse.ArgumentParser (prog = 'myprogram')
>>> parser.print_help ()
использование: myprogram [-h]

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 

Обратите внимание, что имя программы, определенное ли из sys.argv [0] или из prog = аргумент, доступен для справочных сообщений в формате % (prog) s спецификатор.

 >>> парсер = argparse.ArgumentParser (prog = 'myprogram')
>>> parser.add_argument ('- foo', help = 'foo программы% (prog) s')
>>> parser.print_help ()
использование: myprogram [-h] [--foo FOO]

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 --foo FOO foo программы myprogram
 

использование

По умолчанию ArgumentParser вычисляет сообщение об использовании из аргументов:

 >>> парсер = argparse.ArgumentParser (prog = 'PROG')
>>> parser.add_argument ('- foo', nargs = '?', help = 'foo help')
>>> parser.add_argument ('bar', nargs = '+', help = 'bar help')
>>> parser.print_help ()
использование: PROG [-h] [--foo [FOO]] bar [bar ...]

позиционные аргументы:
 бар бар справка

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 --foo [FOO] foo справка
 

Сообщение по умолчанию можно переопределить с помощью ключевого слова usage = :

 >>> парсер = argparse.ArgumentParser (prog = 'PROG', usage = '% (prog) s [options]')
>>> parser.add_argument ('- foo', nargs = '?', help = 'foo help')
>>> parser.add_argument ('bar', nargs = '+', help = 'bar help')
>>> parser.print_help ()
использование: PROG [параметры]

позиционные аргументы:
 бар бар справка

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 --foo [FOO] foo справка
 

Описатель формата % (prog) s доступен для ввода имени программы в сообщения об использовании.

описание

Большинство вызовов конструктора ArgumentParser будут использовать description = аргумент ключевого слова. Этот аргумент дает краткое описание что делает программа и как она работает. В справочных сообщениях есть описание отображается между строкой использования командной строки и справочными сообщениями для различные аргументы:

 >>> parser = argparse.ArgumentParser (description = 'Фу, что мешает')
>>> parser.print_help ()
использование: argparse.ру [-h]

Фу, что бары

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 

По умолчанию описание переносится по строкам, чтобы оно соответствовало данное пространство. Чтобы изменить это поведение, см. Аргумент formatter_class.

эпилог

Некоторые программы любят отображать дополнительное описание программы после описание аргументов. Такой текст можно указать с помощью эпилога = . аргумент для ArgumentParser :

 >>> парсер = argparse.ArgumentParser (
... description = 'Фу, что барабанит',
... epilog = "Вот так и получился бар")
>>> parser.print_help ()
использование: argparse.py [-h]

Фу, что бары

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти

И вот как вы попали в бар
 

Как и в случае с аргументом описания, эпилог = по умолчанию обернутый строкой, но это поведение можно настроить с помощью formatter_class аргумент ArgumentParser .

родителей

Иногда несколько синтаксических анализаторов имеют общий набор аргументов.Скорее, чем повторяя определения этих аргументов, единый парсер со всеми общие аргументы и переданы родителям = аргументов ArgumentParser может быть использован. Аргумент родителей = принимает список из ArgumentParser объекты, собирает из них все позиционные и необязательные действия и добавляет эти действия с создаваемым объектом ArgumentParser :

 >>> parent_parser = argparse.ArgumentParser (add_help = False)
>>> parent_parser.add_argument ('- родительский', type = int)

>>> foo_parser = argparse.ArgumentParser (родители = [parent_parser])
>>> foo_parser.add_argument ('фу')
>>> foo_parser.parse_args (['- родитель', '2', 'XXX'])
Пространство имен (foo = 'XXX', parent = 2)

>>> bar_parser = argparse.ArgumentParser (родители = [parent_parser])
>>> bar_parser.add_argument ('- бар')
>>> bar_parser.parse_args (['- bar', 'YYY'])
Пространство имен (bar = 'YYY', parent = None)
 

Обратите внимание, что большинство родительских парсеров будут указывать add_help = False .В противном случае ArgumentParser увидит два параметра -h / - help (один в родительском и один в дочернем) и вызывают ошибку.

Примечание

Вы должны полностью инициализировать парсеры, прежде чем передавать их через родителей = . Если вы измените родительские парсеры после дочернего парсера, эти изменения будут не отражаться на ребенке.

formatter_class

Объекты ArgumentParser позволяют настраивать форматирование справки с помощью указание альтернативного класса форматирования.В настоящее время существует четыре таких классов:

класс argparse. RawDescriptionHelpFormatter

класс argparse. RawTextHelpFormatter

класс argparse. ArgumentDefaultsHelpFormatter

класс argparse. MetavarTypeHelpFormatter

RawDescriptionHelpFormatter и RawTextHelpFormatter дают больше контроля над отображением текстовых описаний.По умолчанию объекты ArgumentParser переносят описание и тексты эпилога в справочных сообщениях командной строки:

 >>> parser = argparse.ArgumentParser (
... prog = 'PROG',
... description = '' 'это описание
... со странным отступом
... но это нормально '',
... эпилог = '' '
... аналогично этому эпилогу, в котором пробелы будут
... очиститься и чьи слова будут завернуты
... через пару строк '')
>>> парсер.print_help ()
использование: PROG [-h]

это описание было со странным отступом, но это нормально

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти

то же самое для этого эпилога, чьи пробелы будут очищены и чьи слова
будет заключен в пару строк
 

Передается RawDescriptionHelpFormatter как formatter_class = указывает, что описание и эпилог уже правильно отформатированы и не следует переносить по строкам:

 >>> парсер = argparse.ArgumentParser (
... prog = 'PROG',
... formatter_class = argparse.RawDescriptionHelpFormatter,
... description = textwrap.dedent ('' '\
... Пожалуйста, не перепутайте этот текст!
... --------------------------------
... Я сделал отступ
... именно так
...             Я хочу это
... '' '))
>>> parser.print_help ()
использование: PROG [-h]

Пожалуйста, не перепутайте этот текст!
--------------------------------
   Я сделал отступ
   именно так
   Я хочу это

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 

RawTextHelpFormatter сохраняет пробелы для всех видов текста справки, включая описания аргументов.Однако несколько новых строк заменяются на один. Если вы хотите сохранить несколько пустых строк, добавьте пробелы между новые строки.

ArgumentDefaultsHelpFormatter автоматически добавляет информацию о значения по умолчанию для каждого из справочных сообщений аргумента:

 >>> parser = argparse.ArgumentParser (
... prog = 'PROG',
... formatter_class = argparse.ArgumentDefaultsHelpFormatter)
>>> parser.add_argument ('- foo', type = int, default = 42, help = 'FOO!')
>>> парсер.add_argument ('bar', nargs = '*', default = [1, 2, 3], help = 'BAR!')
>>> parser.print_help ()
использование: PROG [-h] [--foo FOO] [bar ...]

позиционные аргументы:
 бар БАР! (по умолчанию: [1, 2, 3])

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 --фу-у-у-у! (по умолчанию: 42)
 

MetavarTypeHelpFormatter использует имя аргумента типа для каждого аргумент в качестве отображаемого имени для его значений (вместо использования dest как обычный форматтер):

 >>> парсер = argparse.ArgumentParser (
... prog = 'PROG',
... formatter_class = argparse.MetavarTypeHelpFormatter)
>>> parser.add_argument ('- foo', type = int)
>>> parser.add_argument ('bar', type = float)
>>> parser.print_help ()
использование: PROG [-h] [--foo int] float

позиционные аргументы:
  плавать

необязательные аргументы:
  -h, --help показать это справочное сообщение и выйти
  --foo int
 

prefix_chars

Большинство параметров командной строки будут использовать в качестве префикса –, например -f / - foo .Парсеры, которые должны поддерживать другой или дополнительный префикс символы, например для вариантов например + f или / foo , можно указать их с помощью аргумента prefix_chars = в конструктор ArgumentParser:

 >>> parser = argparse.ArgumentParser (prog = 'PROG', prefix_chars = '- +')
>>> parser.add_argument ('+ f')
>>> parser.add_argument ('++ bar')
>>> parser.parse_args ('+ f X ++ bar Y'.split ())
Пространство имен (bar = 'Y', f = 'X')
 

Аргумент prefix_chars = по умолчанию равен '-' .Поставка комплекта символы, которые не включают - , приведут к тому, что параметры -f / - foo будут запрещено.

из файла_prefix_chars

Иногда, например, при работе с особенно длинными списками аргументов, может иметь смысл сохранить список аргументов в файле, а не печатать его в командной строке. Если аргумент fromfile_prefix_chars = передается ArgumentParser , затем аргументы, начинающиеся с любого из указанные символы будут рассматриваться как файлы и будут заменены символом аргументы они содержат.Например:

 >>> с open ('args.txt', 'w') как fp:
... fp.write ('- f \ nbar')
>>> parser = argparse.ArgumentParser (fromfile_prefix_chars = '@')
>>> parser.add_argument ('- f')
>>> parser.parse_args (['- f', 'foo', '@ args.txt'])
Пространство имен (f = 'bar')
 

Аргументы, считываемые из файла, по умолчанию должны быть по одному на строку (но см. Также convert_arg_line_to_args () ) и обрабатываются так, как если бы они были в том же месте, что и исходный аргумент ссылки на файл в команде линия.Итак, в приведенном выше примере выражение ['-f', 'foo', '@ args.txt'] считается эквивалентом выражения ['-f', 'foo', '-f', 'bar'] .

Аргумент fromfile_prefix_chars = по умолчанию равен Нет , что означает, что аргументы никогда не будут рассматриваться как ссылки на файлы.

argument_default

Как правило, значения аргументов по умолчанию задаются либо путем передачи значения по умолчанию в add_argument () или позвонив в set_defaults () методов с определенным набором имя-значение пары.Однако иногда может быть полезно указать один для всего парсера по умолчанию для аргументов. Это можно сделать, передав argument_default = аргумент ключевого слова для ArgumentParser . Например, для глобального подавления создания атрибутов на parse_args () звонков, мы предоставляем argument_default = SUPPRESS :

 >>> parser = argparse.ArgumentParser (аргумент_default = argparse.SUPPRESS)
>>> parser.add_argument ('- foo')
>>> парсер.add_argument ('бар', nargs = '?')
>>> parser.parse_args (['- foo', '1', 'BAR'])
Пространство имен (bar = 'BAR', foo = '1')
>>> parser.parse_args ([])
Пространство имен ()
 

allow_abbrev

Обычно, когда вы передаете список аргументов в parse_args () метод ArgumentParser , он распознает сокращения длинных опций.

Эту функцию можно отключить, задав для allow_abbrev значение False :

 >>> парсер = argparse.ArgumentParser (prog = 'PROG', allow_abbrev = False)
>>> parser.add_argument ('- foobar', action = 'store_true')
>>> parser.add_argument ('- foonley', action = 'store_false')
>>> parser.parse_args (['- foon'])
использование: PROG [-h] [--foobar] [--foonley]
ПРОГ: ошибка: нераспознанные аргументы: --foon
 

конфликтующий обработчик

Объекты ArgumentParser не допускают двух действий с одним и тем же параметром нить. По умолчанию объекты ArgumentParser вызывают исключение, если сделана попытка создать аргумент со строкой опций, которая уже находится в использование:

 >>> парсер = argparse.ArgumentParser (prog = 'PROG')
>>> parser.add_argument ('- f', '--foo', help = 'old foo help')
>>> parser.add_argument ('- foo', help = 'new foo help')
Отслеживание (последний вызов последний):
 ..
ArgumentError: аргумент --foo: конфликтующая строка (строки) параметров: --foo
 

Иногда (например, при использовании родителей) может быть полезно просто переопределить любой более старые аргументы с той же строкой параметров. Чтобы получить такое поведение, значение 'resolve' может быть передано в аргумент Conflict_handler = аргумента ArgumentParser :

 >>> парсер = argparse.ArgumentParser (прог = 'ПРОГ', конфликт_хандлер = 'разрешить')
>>> parser.add_argument ('- f', '--foo', help = 'old foo help')
>>> parser.add_argument ('- foo', help = 'new foo help')
>>> parser.print_help ()
использование: PROG [-h] [-f FOO] [--foo FOO]

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 -f FOO старый foo help
 --foo FOO новая справка foo
 

Обратите внимание, что объектов ArgumentParser удаляют действие, только если все его строки опций переопределяются.Итак, в приведенном выше примере старый -f / - foo действие сохраняется как действие -f , потому что только опция --foo строка была переопределена.

add_help

По умолчанию объекты ArgumentParser добавляют параметр, который просто отображает справочное сообщение парсера. Например, рассмотрим файл с именем myprogram.py , содержащий следующий код:

 импорт argparse
parser = argparse.ArgumentParser ()
parser.add_argument ('- foo', help = 'foo help')
args = парсер.parse_args ()
 

Если в командной строке указано -h или --help , ArgumentParser будет напечатана справка:

 $ python myprogram.py --help
использование: myprogram.py [-h] [--foo FOO]

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 --foo FOO foo help
 

Иногда бывает полезно отключить добавление этой опции справки. Этого можно добиться, передав False в качестве аргумента add_help = в ArgumentParser :

 >>> парсер = argparse.ArgumentParser (prog = 'PROG', add_help = False)
>>> parser.add_argument ('- foo', help = 'foo help')
>>> parser.print_help ()
использование: PROG [--foo FOO]

необязательные аргументы:
 --foo FOO foo help
 

Обычно используется опция справки -h / - help . Исключением является если указано prefix_chars = и не включает - , в в этом случае -h и --help не являются допустимыми параметрами. В в этом случае первый символ в prefix_chars используется для префикса варианты помощи:

 >>> парсер = argparse.ArgumentParser (prog = 'PROG', prefix_chars = '+ /')
>>> parser.print_help ()
использование: PROG [+ h]

необязательные аргументы:
  + h, ++ help показать это справочное сообщение и выйти
 

exit_on_error

Обычно, когда вы передаете недопустимый список аргументов в parse_args () метод ArgumentParser , он выйдет с информацией об ошибке.

Если пользователь хочет отлавливать ошибки вручную, эту функцию можно включить, установив exit_on_error — Ложь :

 >>> парсер = argparse.ArgumentParser (exit_on_error = False)
>>> parser.add_argument ('- целые числа', type = int)
_StoreAction (option_strings = ['- integer'], dest = 'integer', nargs = None, const = None, default = None, type = , choices = None, help = None, metavar = None )
>>> попробуйте:
... parser.parse_args ('- целые числа a'.split ())
... кроме argparse.ArgumentError:
... print ('Обнаружена ошибка аргумента')
...
Перехват аргументаОшибка
 

Метод add_argument ()

ArgumentParser. add_argument ( имя или флаги … [, action ] [, nargs ] [, const ] [, default ] [, type ] [, choices ] [ , требуется ] [, help ] [, metavar ] [, dest ])

Определите, как следует анализировать один аргумент командной строки. Каждый параметр имеет собственное более подробное описание ниже, но вкратце они:

• имя или флаги — имя или список строк параметров, например.грамм. foo или -f, --foo .

• действие — основной тип действия, выполняемого, когда этот аргумент встречается в командной строке.

• nargs — количество аргументов командной строки, которые следует использовать.

• const — Постоянное значение, требуемое для некоторых действий и выборок nargs.

• по умолчанию — значение, полученное, если аргумент отсутствует в командная строка и если она отсутствует в объекте пространства имен.

• type — Тип, в который должен быть преобразован аргумент командной строки.

• choices — Контейнер допустимых значений аргумента.

• required — Можно ли опустить параметр командной строки (только опционально).

• help — Краткое описание того, что делает аргумент.

• metavar — Имя аргумента в сообщениях об использовании.

• dest — Имя атрибута, добавляемого к объекту, возвращаемому parse_args () .

В следующих разделах описывается, как каждый из них используется.

имя или флаги

Метод add_argument () должен знать, является ли необязательный аргумент, например -f или --foo , или позиционный аргумент, например список имена файлов, ожидается. Первые аргументы, переданные в add_argument () , следовательно, должно быть либо серией flags или простое имя аргумента. Например, необязательный аргумент может создаваться как:

 >>> парсер.add_argument ('- f', '--foo')
 

, в то время как позиционный аргумент может быть создан как:

 >>> parser.add_argument ('бар')
 

При вызове parse_args () необязательные аргументы будут идентифицируется префиксом - , а остальные аргументы будут считаться равными быть позиционным:

 >>> parser = argparse.ArgumentParser (prog = 'PROG')
>>> parser.add_argument ('- f', '--foo')
>>> parser.add_argument ('панель')
>>> парсер.parse_args (['BAR'])
Пространство имен (bar = 'BAR', foo = None)
>>> parser.parse_args (['BAR', '--foo', 'FOO'])
Пространство имен (bar = 'BAR', foo = 'FOO')
>>> parser.parse_args (['- foo', 'FOO'])
использование: PROG [-h] [-f FOO] bar
ПРОГ: ошибка: необходимы следующие аргументы: бар
 

действие

Объекты ArgumentParser связывают аргументы командной строки с действиями. Эти действия могут делать что угодно с аргументами командной строки, связанными с их, хотя большинство действий просто добавляют атрибут к объекту, возвращаемому parse_args () .Аргумент ключевого слова action указывает как следует обрабатывать аргументы командной строки. Поставляемые акции:

• 'store' — просто сохраняет значение аргумента. Это по умолчанию действие. Например:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ('- foo')
  >>> parser.parse_args ('- foo 1'.split ())
  Пространство имен (foo = '1')
   

• 'store_const' — Здесь хранится значение, указанное ключевым словом const аргумент.Действие 'store_const' чаще всего используется с необязательные аргументы, указывающие какой-то флаг. Например:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ('- foo', action = 'store_const', const = 42)
  >>> parser.parse_args (['- foo'])
  Пространство имен (foo = 42)
   

• 'store_true' и 'store_false' — это особые случаи 'store_const' используется для хранения значений True и False соответственно.Кроме того, они создают значения по умолчанию: , ложь, и Правда соответственно. Например:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ('- foo', action = 'store_true')
  >>> parser.add_argument ('- bar', action = 'store_false')
  >>> parser.add_argument ('- baz', action = 'store_false')
  >>> parser.parse_args ('- foo --bar'.split ())
  Пространство имен (foo = True, bar = False, baz = True)
   

• 'append' — сохраняет список и добавляет значение каждого аргумента в список.Это полезно для того, чтобы параметр можно было указывать несколько раз. Пример использования:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ('- foo', action = 'append')
  >>> parser.parse_args ('- foo 1 --foo 2'.split ())
  Пространство имен (foo = ['1', '2'])
   

• 'append_const' — здесь хранится список и добавляется значение, указанное аргумент ключевого слова const для списка. (Обратите внимание, что ключевое слово const аргумент по умолчанию Нет .) Действие 'append_const' обычно полезно, когда несколько аргументов должны хранить константы в одном списке. Для пример:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ('- str', dest = 'types', action = 'append_const', const = str)
  >>> parser.add_argument ('- int', dest = 'types', action = 'append_const', const = int)
  >>> parser.parse_args ('- str --int'.split ())
  Пространство имен (types = [, ])
   

• 'count' — подсчитывает, сколько раз встречается аргумент ключевого слова.Для Например, это полезно для увеличения уровня детализации:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ('- подробный', '-v', action = 'count', по умолчанию = 0)
  >>> parser.parse_args (['- vvv'])
  Пространство имен (подробное = 3)
   

  Обратите внимание, что по умолчанию будет Нет , если явно не установлено значение 0 .

• 'help' — выводит полное справочное сообщение для всех параметров в текущий парсер, а затем завершает работу.По умолчанию действие справки автоматически добавлен в парсер. См. ArgumentParser для получения подробной информации о том, как вывод создан.

• 'версия' — ожидается, что версия = аргумент ключевого слова в add_argument () вызывает и выводит информацию о версии и выходит при вызове:

   >>> import argparse
  >>> parser = argparse.ArgumentParser (prog = 'PROG')
  >>> parser.add_argument ('- версия', действие = 'версия', версия = '% (prog) s 2.0 ')
  >>> parser.parse_args (['- версия'])
  ПРОГ 2.0
   

• 'extend' — сохраняет список и расширяет значение каждого аргумента до список. Пример использования:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ("- foo", action = "extend", nargs = "+", type = str)
  >>> parser.parse_args (["- foo", "f1", "--foo", "f2", "f3", "f4"])
  Пространство имен (foo = ['f1', 'f2', 'f3', 'f4'])
   

Вы также можете указать произвольное действие, передав подкласс Action или другой объект, реализующий тот же интерфейс. BooleanOptionalAction доступен в argparse и добавляет поддержку логических действий, таких как --foo и --no-foo :

 >>> import argparse
>>> parser = argparse.ArgumentParser ()
>>> parser.add_argument ('- foo', действие = argparse.BooleanOptionalAction)
>>> parser.parse_args (['- no-foo'])
Пространство имен (foo = False)
 

Рекомендуемый способ создания настраиваемого действия — расширить Action , переопределение метода __call__ и опционально __init__ и format_usage методов.

Пример настраиваемого действия:

 >>> класс FooAction (argparse.Action):
... def __init __ (self, option_strings, dest, nargs = None, ** kwargs):
... если nargs не None:
... поднять ValueError ("наркотики запрещены")
... super () .__ init __ (option_strings, dest, ** kwargs)
... def __call __ (self, parser, namespace, values, option_string = None):
... print ('% r% r% r'% (пространство имен, значения, option_string))
... setattr (пространство имен, self.dest, values)
...
>>> parser = argparse.ArgumentParser ()
>>> parser.add_argument ('- foo', действие = FooAction)
>>> parser.add_argument ('бар', действие = FooAction)
>>> args = parser.parse_args ('1 --foo 2'.split ())
Пространство имен (bar = None, foo = None) '1' None
Пространство имен (bar = '1', foo = None) '2' '--foo'
>>> аргументы
Пространство имен (bar = '1', foo = '2')
 

Для получения дополнительной информации см. Действие .

нарков

Объекты ArgumentParser обычно связывают один аргумент командной строки с одно действие, которое необходимо предпринять.Аргумент ключевого слова nargs связывает различное количество аргументов командной строки с одним действием. Поддерживаемый значения:

• N (целое число). N Будет собрано аргументов из командной строки вместе в список. Например:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ('- foo', nargs = 2)
  >>> parser.add_argument ('bar', nargs = 1)
  >>> parser.parse_args ('c --foo a b'.расколоть())
  Пространство имен (bar = ['c'], foo = ['a', 'b'])
   

  Обратите внимание, что nargs = 1 дает список из одного элемента. Это отличается от значение по умолчанию, при котором элемент создается сам по себе.

• '?' . Если возможно, из командной строки будет использован один аргумент, и выпускается как единое целое. Если аргумент командной строки отсутствует, значение из по умолчанию будет произведено. Обратите внимание, что для необязательных аргументов есть дополнительный случай — строка параметра присутствует, но не сопровождается аргумент командной строки.В этом случае будет получено значение из const. Некоторые примеры, чтобы проиллюстрировать это:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ('- foo', nargs = '?', const = 'c', по умолчанию = 'd')
  >>> parser.add_argument ('bar', nargs = '?', по умолчанию = 'd')
  >>> parser.parse_args (['XX', '--foo', 'YY'])
  Пространство имен (bar = 'XX', foo = 'YY')
  >>> parser.parse_args (['XX', '--foo'])
  Пространство имен (bar = 'XX', foo = 'c')
  >>> parser.parse_args ([])
  Пространство имен (bar = 'd', foo = 'd')
   

  Одно из наиболее распространенных применений nargs = '?' — разрешить дополнительный ввод и выходные файлы:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ('infile', nargs = '?', type = argparse.FileType ('r'),
  ... по умолчанию = sys.stdin)
  >>> parser.add_argument ('outfile', nargs = '?', type = argparse.FileType ('w'),
  ... по умолчанию = sys.stdout)
  >>> parser.parse_args (['input.txt', 'output.txt'])
  Пространство имен (infile = <_ io.TextIOWrapper name = 'input.txt' encoding = 'UTF-8'>,
            Outfile = <_ io.TextIOWrapper name = 'output.txt' encoding = 'UTF-8'>)
  >>> парсер.parse_args ([])
  Пространство имен (infile = <_ io.TextIOWrapper name = '' ​​encoding = 'UTF-8'>,
            Outfile = <_ io.TextIOWrapper name = '' encoding = 'UTF-8'>)
   

• '*' . Все имеющиеся аргументы командной строки собраны в список. Обратите внимание, что обычно нет смысла использовать более одного позиционного аргумента с nargs = '*' , но несколько необязательных аргументов с nargs = '*' — это возможный. Например:

   >>> парсер = argparse.ArgumentParser ()
  >>> parser.add_argument ('- foo', nargs = '*')
  >>> parser.add_argument ('- бар', nargs = '*')
  >>> parser.add_argument ('baz', nargs = '*')
  >>> parser.parse_args ('a b --foo x y --bar 1 2'.split ())
  Пространство имен (bar = ['1', '2'], baz = ['a', 'b'], foo = ['x', 'y'])
   

• '+' . Как и '*' , все присутствующие аргументы командной строки собраны в список. Кроме того, будет сгенерировано сообщение об ошибке, если не было присутствует хотя бы один аргумент командной строки.Например:

   >>> parser = argparse.ArgumentParser (prog = 'PROG')
  >>> parser.add_argument ('foo', nargs = '+')
  >>> parser.parse_args (['a', 'b'])
  Пространство имен (foo = ['a', 'b'])
  >>> parser.parse_args ([])
  использование: PROG [-h] foo [foo ...]
  PROG: error: необходимы следующие аргументы: foo
   

Если аргумент ключевого слова nargs не указан, количество использованных аргументов определяется действием. Обычно это означает один аргумент командной строки будет потреблен, и будет создан один элемент (не список).

конст.

const аргумент add_argument () используется для хранения постоянные значения, которые не считываются из командной строки, но необходимы для различные действия ArgumentParser . Два наиболее распространенных его использования:

• Когда add_argument () вызывается с action = 'store_const' или action = 'append_const' . Эти действия добавляют const значение одного из атрибутов объекта, возвращаемого parse_args () .Примеры см. В описании действия.

• Когда add_argument () вызывается со строками параметров (например, -f или --foo ) и nargs = '?' . Это создает необязательный аргумент, за которым может следовать ноль или один аргумент командной строки. Если при синтаксическом разборе командной строки строка параметра встречается без В качестве аргумента командной строки, следующего за ним, будет принято значение const . Примеры см. В описании наргов.

С действиями 'store_const' и 'append_const' , const должен быть указан аргумент ключевого слова. Для других действий по умолчанию используется Нет .

по умолчанию

Все необязательные аргументы и некоторые позиционные аргументы могут быть опущены в командная строка. Аргумент ключевого слова по умолчанию для add_argument () , значение которого по умолчанию Нет , указывает, какое значение следует использовать, если аргумент командной строки отсутствует.Для необязательных аргументов используется значение по умолчанию , когда строка параметра не присутствовал в командной строке:

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument ('- foo', по умолчанию = 42)
>>> parser.parse_args (['- foo', '2'])
Пространство имен (foo = '2')
>>> parser.parse_args ([])
Пространство имен (foo = 42)
 

Если в целевом пространстве имен уже установлен атрибут, действие по умолчанию не перепишу:

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument ('- foo', по умолчанию = 42)
>>> parser.parse_args ([], пространство имен = argparse.Namespace (foo = 101))
Пространство имен (foo = 101)
 

Если значение по умолчанию является строкой, синтаксический анализатор анализирует значение, как если бы оно были аргументом командной строки. В частности, парсер применяет любой тип аргумент преобразования, если он указан, перед установкой атрибута в Пространство имен возвращаемое значение. В противном случае парсер использует значение как есть:

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument ('- length', по умолчанию = '10 ', type = int)
>>> parser.add_argument ('- width', по умолчанию = 10,5, type = int)
>>> parser.parse_args ()
Пространство имен (длина = 10, ширина = 10,5)
 

Для позиционных аргументов с nargs равным ? или * , значение по умолчанию используется при отсутствии аргумента командной строки:

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument ('foo', nargs = '?', по умолчанию = 42)
>>> парсер.parse_args (['а'])
Пространство имен (foo = 'a')
>>> parser.parse_args ([])
Пространство имен (foo = 42)
 

Предоставление default = argparse.SUPPRESS не приводит к добавлению атрибутов, если аргумент командной строки отсутствовал:

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument ('- foo', по умолчанию = argparse.SUPPRESS)
>>> parser.parse_args ([])
Пространство имен ()
>>> parser.parse_args (['- foo', '1'])
Пространство имен (foo = '1')
 

тип

По умолчанию синтаксический анализатор считывает аргументы командной строки как простую струны.Однако довольно часто строка командной строки должна быть интерпретируется как другой тип, например с плавающей запятой или int . В тип ключевое слово для add_argument () разрешает любой необходимая проверка типов и преобразование типов, которые должны быть выполнены.

Если ключевое слово типа используется с ключевым словом по умолчанию, преобразователь типов применяется только в том случае, если по умолчанию используется строка.

Аргументом типа может быть любой вызываемый объект, который принимает единственную строку.Если функция вызывает ArgumentTypeError , TypeError или ValueError , исключение перехвачено и красиво отформатированная ошибка отображается сообщение. Никакие другие типы исключений не обрабатываются.

Общие встроенные типы и функции могут использоваться в качестве преобразователей типов:

 импорт argparse
импортировать pathlib

parser = argparse.ArgumentParser ()
parser.add_argument ('количество', тип = целое)
parser.add_argument ('расстояние', тип = float)
parser.add_argument ('улица', тип = ascii)
парсер.add_argument ('точка_кода', тип = ord)
parser.add_argument ('исходный_файл', тип = открытый)
parser.add_argument ('dest_file', type = argparse.FileType ('w', encoding = 'latin-1'))
parser.add_argument ('путь к данным', тип = pathlib.Path)
 

Также могут использоваться пользовательские функции:

 >>> def через дефис (строка):
... вернуть '-'. join ([word [: 4] вместо слова в string.casefold (). split ()])
...
>>> parser = argparse.ArgumentParser ()
>>> _ = parser.add_argument ('short_title', тип = с дефисом)
>>> парсер.parse_args (['"Повесть о двух городах"'])
Пространство имен (short_title = '"сказка о двух городах')
 

Функция bool () не рекомендуется в качестве преобразователя типов. Все это делает преобразует пустые строки в False и непустые строки в True . Обычно это не то, что нужно.

В общем, ключевое слово типа — это удобство, которое следует использовать только для простые преобразования, которые могут вызвать только одно из трех поддерживаемых исключений.Все, что связано с более интересной обработкой ошибок или управлением ресурсами, должно быть выполняется ниже по потоку после анализа аргументов.

Например, преобразования JSON или YAML имеют сложные случаи ошибок, которые требуют лучшая отчетность, чем может дать ключевое слово типа . An JSONDecodeError не будет хорошо отформатирован и FileNotFound исключение не обрабатывается вообще.

Даже FileType имеет ограничения для использования с type ключевое слово.Если один аргумент использует FileType , а последующий аргумент не работает, сообщается об ошибке, но файл не закрывается автоматически. В этом случае это было бы лучше подождать, пока парсер не запустится, а затем использовать с — заявлением для управления файлами.

Для средств проверки типов, которые просто проверяют соответствие фиксированному набору значений, рассмотрите вместо этого используйте ключевое слово choices.

вариантов

Некоторые аргументы командной строки следует выбирать из ограниченного набора значений.С ними можно справиться, передав объект-контейнер в качестве ключевого слова choices . аргумент add_argument () . Когда командная строка проанализированы, значения аргументов будут проверены, и будет отображено сообщение об ошибке если аргумент не был одним из допустимых значений:

 >>> парсер = argparse.ArgumentParser (prog = 'game.py')
>>> parser.add_argument ('move', choices = ['камень', 'бумага', 'ножницы'])
>>> parser.parse_args (['камень'])
Пространство имен (move = 'rock')
>>> парсер.parse_args (['огонь'])
использование: game.py [-h] {камень, ножницы, бумага}
game.py: ошибка: перемещение аргумента: неверный выбор: 'огонь' (выберите из 'рок',
'бумага', 'ножницы')
 

Обратите внимание, что включение в контейнер choices проверяется после любого типа преобразования были выполнены, поэтому тип объектов в выборе контейнер должен соответствовать указанному типу:

 >>> parser = argparse.ArgumentParser (prog = 'doors.py')
>>> parser.add_argument ('дверь', type = int, choices = range (1, 4))
>>> print (parser.parse_args (['3']))
Пространство имен (door = 3)
>>> parser.parse_args (['4'])
использование: doors.py [-h] {1,2,3}
Door.py: ошибка: аргумент дверь: неверный выбор: 4 (выберите из 1, 2, 3)
 

Любой контейнер может быть передан в качестве значения вариантов выбора , поэтому перечисляет объектов, устанавливает объектов, и все настраиваемые контейнеры поддерживаются.

Использование перечисления .Enum не рекомендуется, поскольку его сложно контролировать его внешний вид в сообщениях об использовании, справке и ошибках.

Форматированный выбор отменяет метавару по умолчанию , которая обычно получается с назнач . Обычно это именно то, что вам нужно, потому что пользователь никогда не видит dest параметр. Если это отображение нежелательно (возможно, потому что есть много вариантов), просто укажите явную метаварку.

требуется

В общем, модуль argparse предполагает, что такие флаги, как -f и --bar укажите необязательных аргументов, которые всегда можно опустить в командной строке.Чтобы сделать опцию необходимой , можно указать True для требуемого = аргумент ключевого слова для add_argument () :

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument ('- foo', обязательно = True)
>>> parser.parse_args (['- foo', 'BAR'])
Пространство имен (foo = 'BAR')
>>> parser.parse_args ([])
использование: [-h] --foo FOO
: error: необходимы следующие аргументы: --foo
 

Как показано в примере, если опция отмечена как , требуется , parse_args () сообщит об ошибке, если эта опция не указана. присутствует в командной строке.

Примечание

Обязательные параметры обычно считаются дурным тоном, потому что пользователи ожидают варианты должны быть дополнительными , и поэтому их следует избегать, когда это возможно.

справка

Справка Значение — это строка, содержащая краткое описание аргумента. Когда пользователь запрашивает помощь (обычно с помощью -h или --help в командная строка), эти описания справки будут отображаться с каждым аргумент:

 >>> парсер = argparse.ArgumentParser (prog = 'frobble')
>>> parser.add_argument ('- foo', action = 'store_true',
... help = 'foo the bars before frobbling')
>>> parser.add_argument ('bar', nargs = '+',
... help = 'одна из полосок, которую нужно заморозить')
>>> parser.parse_args (['- h'])
использование: frobble [-h] [--foo] bar [bar ...]

позиционные аргументы:
 заблокировать один из стержней, чтобы заморозить его

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 --foo foo the bars перед замораживанием
 

Справка Строки могут включать различные спецификаторы формата, чтобы избежать повторения таких вещей, как имя программы или аргумент по умолчанию.Доступные спецификаторы включают имя программы, % (prog) s и большинство аргументов ключевого слова для add_argument () , например % (по умолчанию) s , % (тип) s и т.д .:

 >>> parser = argparse.ArgumentParser (prog = 'frobble')
>>> parser.add_argument ('bar', nargs = '?', type = int, по умолчанию = 42,
... help = 'полоса до% (prog) s (по умолчанию:% (default) s)')
>>> parser.print_help ()
использование: frobble [-h] [bar]

позиционные аргументы:
 заблокировать полосу до замораживания (по умолчанию: 42)

необязательные аргументы:
 -h, --help показать это справочное сообщение и выйти
 

Поскольку строка справки поддерживает% -форматирование, если вы хотите, чтобы появился литерал % в строке справки вы должны экранировать его как %% .

argparse поддерживает отключение записи справки для определенных параметров с помощью установка значения help на argparse.SUPPRESS :

 >>> parser = argparse.ArgumentParser (prog = 'frobble')
>>> parser.add_argument ('- foo', help = argparse.SUPPRESS)
>>> parser.print_help ()
использование: frobble [-h]

необязательные аргументы:
  -h, --help показать это справочное сообщение и выйти
 

dest

Большинство действий ArgumentParser добавляют некоторое значение в качестве атрибута объект, возвращенный parse_args () .Название этого атрибут определяется аргументом ключевого слова dest add_argument () . Для позиционных аргументов действия dest обычно предоставляется в качестве первого аргумента для add_argument () :

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument ('панель')
>>> parser.parse_args (['XXX'])
Пространство имен (bar = 'XXX')
 

Для действий с дополнительным аргументом значение dest обычно выводится из строки параметров. ArgumentParser генерирует значение dest с помощью взяв первую длинную строку опционов и убрав начальные - нить. Если не было предоставлено никаких длинных строк опций, dest будет производным от первая короткая строка параметра, удалив начальный символ –. Любой внутренние - символов будут преобразованы в _ символов, чтобы убедиться, что строка является допустимым именем атрибута. Примеры ниже иллюстрируют это поведение:

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument ('- f', '--foo-bar', '--foo')
>>> parser.add_argument ('- x', '-y')
>>> parser.parse_args ('- f 1 -x 2'.split ())
Пространство имен (foo_bar = '1', x = '2')
>>> parser.parse_args ('- foo 1 -y 2'.split ())
Пространство имен (foo_bar = '1', x = '2')
 

dest позволяет указать имя настраиваемого атрибута:

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument ('- foo', dest = 'bar')
>>> парсер.parse_args ('- foo XXX'.split ())
Пространство имен (bar = 'XXX')
 

Классы действия

Классы действий реализуют API действий, вызываемый объект, который возвращает вызываемый объект. который обрабатывает аргументы из командной строки. Любой объект, следующий за этот API может быть передан как параметр действия в add_argument () .

класс argparse. Action ( option_strings , dest , nargs = None , const = None , default = None , type = None , choices = None , required = False , help = Нет , metavar = Нет )

Объекты Action используются ArgumentParser для представления информации необходимо для синтаксического анализа одного аргумента из одной или нескольких строк из командная строка.Класс Action должен принимать два позиционных аргумента плюс любые аргументы ключевого слова, переданные в ArgumentParser.add_argument () кроме самого действия .

экземпляров действия (или возвращаемое значение любого вызываемого действия параметр) должен иметь атрибуты «dest», «option_strings», «default», «type», Определение «требуется», «помощь» и т. Д. Самый простой способ обеспечить эти атрибуты определены, это вызвать Action .__ init__ .

Экземпляры Action должны быть вызываемыми, поэтому подклассы должны переопределять __call__ метод, который должен принимать четыре параметра:

• parser — Объект ArgumentParser, который содержит это действие.

• namespace — Объект Namespace , который будет возвращен parse_args () . Большинство действий добавляют атрибут к этому объект с помощью setattr () .

• значений — Связанные аргументы командной строки с любыми преобразованиями типов применяемый. Преобразования типов указываются с помощью аргумента ключевого слова типа в add_argument () .

• option_string — Строка параметра, которая использовалась для вызова этого действия.Аргумент option_string является необязательным и будет отсутствовать, если действие связан с позиционным аргументом.

Метод __call__ может выполнять произвольные действия, но обычно устанавливает атрибуты в пространстве имен на основе dest и значений .

Action могут определять метод format_usage , который не принимает аргументов и вернуть строку, которая будет использоваться при печати использования программы.Если такой метод не предусмотрен, будет использоваться разумное значение по умолчанию.

Метод parse_args ()

ArgumentParser. parse_args ( args = None , namespace = None )

Преобразовать строки аргументов в объекты и назначить их как атрибуты пространство имен. Верните заполненное пространство имен.

Предыдущие вызовы add_argument () точно определяют, какие объекты созданы и как они назначены.Документацию для add_argument () для подробностей.

• args — Список строк для синтаксического анализа. По умолчанию берется из sys.argv .

• пространство имен — объект, принимающий атрибуты. По умолчанию новый пустой Пространство имен объект.

Синтаксис значения параметра

Метод parse_args () поддерживает несколько способов указание значения опции (если она нужна).В простейшем случае параметр и его значение передаются как два отдельных аргумента:

 >>> parser = argparse.ArgumentParser (prog = 'PROG')
>>> parser.add_argument ('- x')
>>> parser.add_argument ('- foo')
>>> parser.parse_args (['- x', 'X'])
Пространство имен (foo = None, x = 'X')
>>> parser.parse_args (['- foo', 'FOO'])
Пространство имен (foo = 'FOO', x = None)
 

Для длинных опций (опций с именами длиннее одного символа) опция и значение также можно передать как один аргумент командной строки, используя = для разделить их:

 >>> парсер.parse_args (['- foo = FOO'])
Пространство имен (foo = 'FOO', x = None)
 

Для коротких опций (варианты длиной всего один символ), опция и ее значение можно объединить:

 >>> parser.parse_args (['- xX'])
Пространство имен (foo = None, x = 'X')
 

Несколько коротких вариантов можно объединить, используя только один префикс - , если только последний вариант (или ни один из них) не требует значения:

 >>> parser = argparse.ArgumentParser (prog = 'PROG')
>>> парсер.add_argument ('- x', действие = 'store_true')
>>> parser.add_argument ('- y', action = 'store_true')
>>> parser.add_argument ('- z')
>>> parser.parse_args (['- xyzZ'])
Пространство имен (x = True, y = True, z = 'Z')
 

Неверные аргументы

При разборе командной строки parse_args () проверяет наличие множество ошибок, включая неоднозначные параметры, недопустимые типы, недопустимые параметры, неправильное количество позиционных аргументов и т. д. Когда он встречает такую ​​ошибку, он выходит и печатает ошибку вместе с сообщением об использовании:

 >>> парсер = argparse.ArgumentParser (prog = 'PROG')
>>> parser.add_argument ('- foo', type = int)
>>> parser.add_argument ('bar', nargs = '?')

>>> # недопустимый тип
>>> parser.parse_args (['- foo', 'spam'])
использование: PROG [-h] [--foo FOO] [bar]
ПРОГ: ошибка: аргумент --foo: недопустимое значение int: 'спам'

>>> # неверный вариант
>>> parser.parse_args (['- bar'])
использование: PROG [-h] [--foo FOO] [bar]
ПРОГ: ошибка: нет такой опции: --bar

>>> # неправильное количество аргументов
>>> парсер.parse_args (['спам', 'барсук])
использование: PROG [-h] [--foo FOO] [bar]
ПРОГ: ошибка: найдены лишние аргументы: барсук
 

Аргументы, содержащие

Метод parse_args () пытается выдавать ошибки всякий раз, когда пользователь явно совершил ошибку, но некоторые ситуации по своей сути двусмысленный. Например, аргумент командной строки -1 может быть либо попытка указать параметр или попытка предоставить позиционный аргумент. Метод parse_args () здесь осторожен: позиционный аргументы могут начинаться только с - , если они выглядят как отрицательные числа и в парсере нет опций, которые выглядят как отрицательные числа:

 >>> парсер = argparse.ArgumentParser (prog = 'PROG')
>>> parser.add_argument ('- x')
>>> parser.add_argument ('foo', nargs = '?')

>>> # нет опций с отрицательными числами, поэтому -1 - позиционный аргумент
>>> parser.parse_args (['- x', '-1'])
Пространство имен (foo = None, x = '- 1')

>>> # нет опций с отрицательными числами, поэтому -1 и -5 являются позиционными аргументами
>>> parser.parse_args (['- x', '-1', '-5'])
Пространство имен (foo = '- 5', x = '- 1')

>>> parser = argparse.ArgumentParser (prog = 'PROG')
>>> парсер.add_argument ('- 1', dest = 'один')
>>> parser.add_argument ('foo', nargs = '?')

>>> # присутствуют отрицательные числа, поэтому -1 - это вариант
>>> parser.parse_args (['- 1', 'X'])
Пространство имен (foo = None, one = 'X')

>>> # присутствуют отрицательные числа, поэтому -2 - это вариант
>>> parser.parse_args (['- 2'])
использование: PROG [-h] [-1 ONE] [foo]
ПРОГ: ошибка: нет такой опции: -2

>>> # присутствуют варианты с отрицательными числами, поэтому оба значения -1 являются вариантами
>>> parser.parse_args (['- 1', '-1'])
использование: PROG [-h] [-1 ONE] [foo]
ПРОГ: ошибка: аргумент -1: ожидался один аргумент
 

Если у вас есть позиционные аргументы, которые должны начинаться с – и не смотрите как и отрицательные числа, вы можете вставить псевдо-аргумент '-' , который сообщает parse_args () , что все после этого является позиционным аргумент:

 >>> парсер.parse_args (['-', '-f'])
Пространство имен (foo = '- f', one = None)
 

Сокращения аргументов (сопоставление префиксов)

Метод parse_args () по умолчанию позволяет сокращать длинные параметры до префикса, если это сокращение однозначный (префикс соответствует уникальному варианту):

 >>> parser = argparse.ArgumentParser (prog = 'PROG')
>>> parser.add_argument ('- бекон')
>>> parser.add_argument ('- барсук')
>>> parser.parse_args ('- bac MMM'.расколоть())
Пространство имен (bacon = 'MMM', badger = None)
>>> parser.parse_args ('- плохой WOOD'.split ())
Пространство имен (бекон = Нет, барсук = 'ДЕРЕВО')
>>> parser.parse_args ('- ba BA'.split ())
использование: PROG [-h] [-bacon BACON] [-badger BADGER]
ПРОГ: ошибка: неоднозначный параметр: -ba может соответствовать -badger, -bacon
 

Ошибка возникает для аргументов, которые могут давать более одного варианта. Эту функцию можно отключить, установив для allow_abbrev значение False .

Beyond

Иногда может быть полезно иметь аргументы синтаксического анализа ArgumentParser, отличные от из систем.argv . Это можно сделать, передав список строк в parse_args () . Это полезно для тестирования на интерактивная подсказка:

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument (
... 'целые числа', metavar = 'int', type = int, choices = range (10),
... nargs = '+', help = 'целое число в диапазоне 0..9')
>>> parser.add_argument (
... '--sum', dest = 'Накопить', action = 'store_const', const = sum,
... по умолчанию = max, help = 'суммировать целые числа (по умолчанию: найти максимум)')
>>> парсер.parse_args (['1', '2', '3', '4'])
Пространство имен (накопление = <встроенная функция max>, целые числа = [1, 2, 3, 4])
>>> parser.parse_args (['1', '2', '3', '4', '--sum'])
Пространство имен (накопление = <сумма встроенных функций>, целые числа = [1, 2, 3, 4])
 

Объект пространства имен

класс argparse. Пространство имен

Простой класс, используемый по умолчанию parse_args () для создания объект, содержащий атрибуты, и вернуть его.

Этот класс намеренно прост, просто подкласс объекта с читаемое строковое представление. Если вы предпочитаете, чтобы атрибуты, вы можете использовать стандартную идиому Python, vars () :

 >>> парсер = argparse.ArgumentParser ()
>>> parser.add_argument ('- foo')
>>> args = parser.parse_args (['- foo', 'BAR'])
>>> vars (аргументы)
{'foo': 'BAR'}
 

Также может быть полезно, чтобы ArgumentParser назначал атрибуты объекту уже существующий объект, а не новый объект Namespace .Это может достигается путем указания аргумента ключевого слова namespace = :

 >>> класс C:
...     проходить
...
>>> c = C ()
>>> parser = argparse.ArgumentParser ()
>>> parser.add_argument ('- foo')
>>> parser.parse_args (args = ['- foo', 'BAR'], namespace = c)
>>> c.foo
'БАР'
 

Получить программное обеспечение для анализа метаданных — Федеральный комитет по географическим данным

Исполняемые инструменты для создания и проверки формальных метаданных

Есть две основные программы — mp и cns — которые доступны для скачать, чтобы помочь в проверке и повторном выражении метаданных в альтернативные форматы.В настоящее время поддерживаемые платформы включают UNIX и Windows. на базе операционных систем.

Программа mp — это компилятор формальных метаданных, предназначенный для анализа метаданные, проверьте формальный синтаксис и чаще всего используется для повторного выражения метаданные в форматах HTML, SGML, XML, text и DIF для использования в Информационная служба, обмен метаданными и на веб-серверах. Вам понадобится mp для проверять (проверять структуру) и генерировать альтернативные формы метаданных.

Загрузите cns и mp для вашей конкретной платформы, подключившись к http: // геология.usgs.gov/tools/metadata и выбрав соответствующее название программы или комплектацию с вашим компьютером суффикс операционной системы. Когда вы сохраняете его на диск, сохраните как mp или cns без суффикса для удобства. Эти программы выполняются с использованием командной строки во всех компьютерных средах.

Программа cns — это дополнительный анализатор метаданных, разработанный для людей. которые не использовали строгое программное обеспечение для создания метаданных и теперь хотят опубликовать их записи в Национальный центр обмена геопространственными данными.Это программа, которую следует применять только там, где метаданные имеют неправильный отступ (в текстовой форме) или если теги элементов содержат числа (не разрешено в Профиле). Он переформатирует метаданные для чтения mp. Однако это непростая операция, и без тщательной работы некоторая информация не будет передана должным образом. Следовательно, cns создает файл для оставшихся частей ввода — тех строк, которые не могут быть должным образом помещены в анализируемый вывод. Опять же, избегайте повторного или ненужного использования cns.

Замечания по установке

Программное обеспечение mp и cns можно установить в общий каталог (например, / usr / local / bin или C: \ WINNT \ system32) или включен в переменную «PATH», чтобы его можно было увидеть в любом месте системы или в специальном каталоге, если он будет использоваться только отдельным лицом. Это После загрузки рекомендуется переименовать исполняемый файл в его префикс (например, mp). В UNIX / Linux может потребоваться установить разрешения, чтобы сделать программу исполняемой ( chmod + x имя_программы ).С автором этих программ можно связаться по адресу [email protected], чтобы получить комментарии, вопросы или запросы относительно поддержки дополнительных платформ.

Вернуться к карте изображений

SGML Parser — Документация SciELO Программы для ПК 2020

SGML Parser — это настольное приложение (Visual Basic, C и библиотека sp120.dll) для проверки того, был ли документ идентифицирован согласно DTD SciELO.

Эту программу можно выполнить:

1. из Разметки
2. Встроенный в конвертер, для внутреннего использования, для анализа и получения значений элементов и их атрибутов.
3. как отдельное приложение

Выполнено из программы разметки

Чтобы запустить анализатор SGML из разметки, нажмите кнопку:

Файл, открытый в программе Markup, сохраняется как .txt и открывается в программе SGML Parser.

Выполнено встроено в преобразователь

использует SGML Parser для проверки файлов, а также для получения идентифицированного содержимого, чтобы загрузить его в базу данных.

Во время этого процесса могут быть обнаружены некоторые ошибки разметки.Для просмотра ошибок:

1. открыть программу SGML Parser как автономное приложение
2. откройте файл * .sci
3. выполнить программу

Конфигурация

Войдите в меню и выберите вариант конфигурации.

Необходимо отметить следующие параметры:

• Добавить разметку игнорирования в документ
• Добавьте декларацию SGML к документу

Остальные поля, для:

• article:
  • Файл, содержащий DTD = C: \ SCIELO \ BIN \ SGMLPARS \ article4_0.dtd
  • Название типа документа = артикул
• текст:
  • Файл, содержащий DTD = C: \ SCIELO \ BIN \ SGMLPARS \ text4_0.dtd
  • Имя типа документа = текст

Анализ документов

После настройки пользователь должен щелкнуть пункт меню Parse , чтобы проанализировать документ.

Если все в порядке, отображается сообщение ниже:

Затем пользователь может выйти из программы.

Если есть ошибки, анализатор SGML укажет строку и тип ошибки. В этом случае пользователь должен вернуться в программу разметки, внести исправления, а затем повторить процедуру использования SGML Parser до тех пор, пока не исчезнет ошибка.

Parser Generator — обзор

3.3.3 Table-Driven LL (1) Parsers

Следуя идеям, лежащим в основе первых наборов ⁺ , мы можем автоматически генерировать нисходящие синтаксические анализаторы для грамматик без возврата.Инструмент создает первый, последующий и первый наборы ⁺ . Первые наборы ⁺ полностью определяют решения по синтаксическому анализу, поэтому инструмент может затем создать эффективный нисходящий синтаксический анализатор. Результирующий синтаксический анализатор называется синтаксическим анализатором ll (1). Название ll (1) происходит от того факта, что эти синтаксические анализаторы сканируют свой ввод l слева направо, создают l крайнее производное и используют просмотр вперед для символа 1 . Грамматики, работающие по схеме ll (1), часто называют грамматиками ll (1).Все (1) грамматики по определению не требуют возврата.

Для создания синтаксического анализатора ll (1) средство записи компилятора предоставляет праворекурсивную грамматику без обратного отслеживания, а генератор синтаксического анализа создает фактический синтаксический анализатор. Наиболее распространенная методика реализации генератора синтаксического анализатора ll (1) использует каркасный синтаксический анализатор, управляемый таблицей, такой как тот, который показан в верхней части рисунка 3.11. Генератор синтаксического анализатора создает таблицу Table , которая кодирует решения синтаксического анализа и управляет скелетным синтаксическим анализатором.Внизу рисунка 3.11 показана таблица ll (1) для грамматики праворекурсивных выражений, показанная на рисунке 3.4 на странице 101.

Рисунок 3.11. Все (1) синтаксический анализатор выражений.

Генератор синтаксического анализатора

инструмент, который создает синтаксический анализатор на основе спецификаций, обычно грамматики в формате bnf.

Генераторы синтаксического анализатора также называются компиляторами компилятора .

В скелетном синтаксическом анализаторе переменный фокус содержит следующий символ грамматики на нижней границе частично построенного дерева синтаксического анализа, который должен быть сопоставлен.( focus играет ту же роль на рисунке 3.2.) Таблица синтаксического анализа, Table , отображает пары нетерминальных и опережающих символов (терминалы или eof) в продукцию. Для данного нетерминала A и символа опережающего просмотра w , Таблица [A, w] указывает правильное расширение.

Алгоритм построения Таблицы прост. Предполагается, что для грамматики доступны первый, последующий и первый наборы ⁺ . Он выполняет итерацию по символам грамматики и заполняет Таблицу , как показано на рисунке 3.12. Если грамматика удовлетворяет условию отсутствия возврата (см. Стр. 107), конструкция даст правильную таблицу за O (| P | × | T |) времени, где P — это набор продукции и Т — это комплект терминалов.

Рисунок 3.12. 11 (1) Алгоритм построения таблиц.

Если грамматика не свободна от возвратов, конструкция назначит более одной продукции некоторым элементам таблицы . Если конструкция присваивает Table [A, w] несколько раз, то две или более альтернативных правых стороны для A имеют w в своих первых наборах ⁺ , что нарушает условие отсутствия возврата.Генератор синтаксического анализатора может обнаружить эту ситуацию с помощью простой проверки двух назначений Table.

Пример на рисунке 3.13 показывает действия синтаксического анализатора выражения ll (1) для входной строки a + b × c. В центральном столбце показано содержимое стека синтаксического анализатора, который содержит частично завершенную нижнюю часть дерева синтаксического анализа. Синтаксический анализ завершается успешно, когда он выталкивает Expr ‘из стека, оставляя eof открытым в стеке, а eof в качестве следующего символа, неявно, во входном потоке.

Рисунок 3.13. Действия синтаксического анализатора ll (1) на aa + b × c

Теперь рассмотрим действия синтаксического анализатора ll (1) с недопустимой входной строкой x + ÷ y, показанные на рис. 3.14 на стр. 115. Он определяет синтаксис ошибка при попытке расширения Term с помощью символа опережения ÷. Таблица [ Term , ÷] содержит «-», указывающее на синтаксическую ошибку.

Рисунок 3.14. Действия парсера ll (1) на x + ÷ y.

В качестве альтернативы, генератор синтаксического анализатора ll (1) может выдавать синтаксический анализатор с прямым кодированием в стиле сканеров с прямым кодированием, обсуждаемых в главе 2.Генератор синтаксического анализатора построит первый, следующий и первые наборы ⁺ . Затем он будет перебирать грамматику, следуя той же схеме, что и алгоритм построения таблиц на рис. 3.12. Вместо того, чтобы генерировать записи таблицы, он будет генерировать для каждого нетерминала процедуру для распознавания каждой из возможных правых частей для этого нетерминала. Этот процесс будет определяться первыми наборами ⁺ . Он будет иметь те же преимущества в скорости и локальности, которые присущи сканерам с прямым кодированием и синтаксическим анализаторам с рекурсивным спуском, сохраняя при этом преимущества системы, генерируемой грамматикой, такие как краткая высокоуровневая спецификация и меньшие усилия по реализации.

Обзор раздела

Предиктивные синтаксические анализаторы просты, компактны и эффективны. Они могут быть реализованы разными способами, включая ручные парсеры, парсеры с рекурсивным спуском и сгенерированные парсеры ll (1), либо управляемые таблицей, либо кодированные напрямую. Поскольку эти синтаксические анализаторы в каждой точке синтаксического анализа знают набор слов, которые могут появиться в качестве следующего символа в допустимой входной строке, они могут создавать точные и полезные сообщения об ошибках.

Большинство конструкций языка программирования могут быть выражены в грамматике без возврата.Таким образом, эти методы имеют широкое применение. Ограничение, что альтернативные правые части для нетерминала имеют непересекающиеся первые ⁺ наборы, не серьезно ограничивает полезность 11 (1) грамматик. Как мы увидим в Разделе 3.5.4, основной недостаток нисходящих интеллектуальных синтаксических анализаторов заключается в их неспособности обрабатывать левую рекурсию. Леворекурсивные грамматики моделируют ассоциативность слева направо операторов выражения более естественным образом, чем праворекурсивные грамматики.

Контрольные вопросы

1.

Чтобы построить эффективный нисходящий синтаксический анализатор, автор компилятора должен выразить исходный язык в несколько ограниченной форме. Объясните ограничения на грамматику исходного языка, которые необходимы, чтобы сделать ее доступной для эффективного нисходящего синтаксического анализа.

2.

Назовите два потенциальных преимущества синтаксического анализатора с ручным кодированием с рекурсивным спуском по сравнению с сгенерированным, управляемым таблицей синтаксическим анализатором ll (1) и два преимущества синтаксического анализатора ll (1) над реализацией с рекурсивным спуском. .

разработка синтаксического анализатора C #

Применение методов разработки программного обеспечения для проектирования синтаксического анализатора • 81

5. ВЫВОДЫ

В этой статье мы представили дизайн синтаксического анализатора для языка программирования C # в контексте

Проект программной инженерии. Мы продемонстрировали, что некоторые из стандартных низкоуровневых методов разработки программного обеспечения

, такие как управление версиями кода и метрикация, могут обеспечить полезный анализ эволюции синтаксического анализатора, как

, а также повысить уверенность в его правильности.

Мы считаем жизненно важным наличие простых и надежных синтаксических анализаторов для широко используемых языков программирования

, поскольку синтаксические анализаторы составляют основу многих инструментов разработки программного обеспечения. Хотя такие парсеры являются частью спецификации

таких языков, как C и Java, задача написания парсера для C ++ значительно сложнее.

Мы надеемся, что эта работа внесет свой вклад в разработку стандартного синтаксического анализатора для C #, гарантируя, что разработка инструментов

для этого языка не будет излишне затруднена.

Две области заслуживают дальнейшего изучения. Во-первых, преобразования, применяемые к грамматике, могут быть формализованы

и, таким образом, проверены способом L¨ammel [2001]. Как и в случае со всеми формальными методами, задача

состоит в том, чтобы реалистично интегрировать формальный подход с более прагматичным подходом к программированию. Во-вторых,

инструментов рефакторинга, таких как существующие для объектно-ориентированных языков разработки программного обеспечения [Fowler 1999], могут оказаться весьма полезными при преобразовании грамматики в синтаксический анализатор.Большая часть работы, связанной с проектированием синтаксического анализатора, включает оценку

воздействия локальных модификаций на грамматику в целом — этот процесс можно значительно упростить с помощью хорошего специализированного редактора

.

Товарные знаки

Visual Basic, Visual C ++, Visual C # и / или другие упомянутые здесь продукты Microsoft являются зарегистрированными товарными знаками

или товарными знаками Microsoft Corporation в США и / или других странах. Java и все знаки

на основе Java являются зарегистрированными товарными знаками Sun Microsystems Inc.в США и других странах.

ССЫЛКИ

Ахо, А., Сетхи, Р., и Ульман, Дж. 1986. Компиляторы: принципы, методы и инструменты. Аддисон-Уэсли, Рединг, Массачусетс,

США.

Бек, К. 1999. Объяснение экстремального программирования: примите изменения. Эддисон Уэсли, Рединг, Массачусетс, США.

Фогель, К. и Бар, М. 2001. Разработка с открытым исходным кодом с помощью CVS. Coriolis Group, Скоттсдейл, Аризона, США.

Фаулер, М. 1999. Рефакторинг: улучшение дизайна существующего кода.Аддисон-Уэсли, Рединг, Массачусетс, США.

Гослинг Дж., Джой Б. и Стил Г. 1996. Спецификация языка Java. Аддисон-Уэсли, Рединг, Массачусетс, США.

Холмс, Дж. 1995. Построение объектно-ориентированного компилятора. Прентис-Холл, Энглвуд Клис, Нью-Джерси, США.

ИСО / МЭК. 1998. Международный стандарт: языки программирования — C ++. Номер 14882: 1998 (E) в ASC X3. Американский национальный институт стандартов

, Нью-Йорк, Нью-Йорк, США.

Джонсон, С.C. 1975. YACC — еще один компилятор компилятора. Технический отчет по информатике 32, AT&T Bell Laboratories,

Мюррей-Хилл, Нью-Джерси, США.

Керниган, Б. и Ричи, Д. 1988. Язык программирования C, второе изд. Прентис-Холл, Энглвуд Клис, Нью-Джерси,

США.

L¨

ammel, R. 2001. Грамматическая адаптация. В формальных методах Европы. LNCS, т. 2021. Springer-Verlag, Берлин, Германия, 550–570.

Маллой Б. и Пауэр Дж. 2001. Интерпретация алгоритма Пурдома для автоматической генерации тестовых примеров.В Международной конференции

по компьютерным и информационным наукам. Международная ассоциация компьютерных и информационных наук, Орландо,

Флорида, США.

МакГрегор, Дж. Д. и Сайкс, Д. А. 2001. Практическое руководство по тестированию объектно-ориентированного программного обеспечения. Аддисон-Уэсли, Рединг,

Массачусетс, США.

Корпорация Microsoft. 2001. Спецификация языка C #. Версия 0.28.

Пауэр Дж. И Маллой Б. 2000a. Метрический анализ контекстно-свободных грамматик.В 8-м международном семинаре по программе

Понимание. IEEE Computer Society, Лимерик, Ирландия.

Пауэр Дж. И Маллой Б. 2000b. Создание таблицы символов и поиск имени в ISO C ++. В технологии объектно-ориентированных

языков и систем. IEEE Computer Society, Сидней, Австралия.

Пауэр Дж. И Маллой Б. 2001. Использование показателей для облегчения преобразования грамматики в формат LALR. На 16-м симпозиуме ACM

по прикладным вычислениям. ACM, Лас-Вегас, США.

Рейсс, С. и Дэвис, Т. 1995. Опыт написания клиентских программ для объектно-ориентированного компилятора. Tech. представитель Университета Брауна. Январь.

Страуструп Б. 1997. Язык программирования C ++, Третье изд. Аддисон-Уэсли, Рединг, Массачусетс, США.

Саттер, Х. 2001. Обзор соответствия C ++. C / C ++ User’s Journal 19, 4 (апрель), 3–17.