Wget ftp: 10 примеров команды wget

Содержание

10 примеров команды wget

Мы покажем вам 10 практических примеров команды wget. wget это бесплатная утилита, которая может быть использована для извлечения файлов с использованием HTTP, HTTPS и FTP, которые рассматриваются в качестве наиболее широко используемых протоколов Интернета.

Ее название происходит от World Wide Web + get. wget имеет много особенностей, что делает ее очень легкой задачей, когда речь идет о получении больших файлов, рекурсивные загрузки, несколько загрузок файлов или зеркалирование целых веб-сайтов или FTP.

wget не является интерактивным, что дает большую гибкость при его использовании. Она может быть вызвана из сценариев, хрона, терминалов и т.д. Она может работать в фоновом режиме, даже если пользователь не вошел в систему. Это позволяет начать загрузку файла и отключиться от системы, позволяя wget закончить работу.

В этой статье мы продемонстрируем использование wget через несколько практических примеров, которые вы можете использовать, чтобы выполнить некоторые из наиболее распространенных задач, таких как загрузка файлов или даже зеркального отображения целых веб – сайтов.

Для этой демонстрации, мы установим wget на Ubuntu 16.04 VPS.

Обратите внимание, что даже если это было проверено на Ubuntu 16.04, инструкции также могут быть использованы на любом другом дистрибутиве Linux.

Вход на сервер и установка wget

Первый шаг, это войти на сервер через SSH.

Вы также можете убедиться, что ваш сервер находится в актуальном состоянии с помощью следующих команд:

apt-get update
apt-get upgrade

 

После того, как были установлены обновления, вы можете установить пакет программного обеспечение wget с помощью следующей команды:

apt-get install wget

 

После того, как установка будет завершена, вы можете начать использовать команду wget на сервере.

1. Команда wget для загрузки одного файла

Наиболее распространенное и простое использование wget, это скачать один файл и сохранить его в текущем каталоге.

Например, чтобы загрузить последнюю версию WordPress можно использовать следующую команду:

wget https://wordpress.org/latest.zip

 

Это вывод, который вы получите во время загрузки файла:

--2017-10-24 16:46:24--  https://wordpress.org/latest.zip                                                                                                     
Resolving wordpress.org (wordpress.org)... 66.155.40.249, 66.155.40.250                                                                                       
Connecting to wordpress.org (wordpress.org)|66.155.40.249|:443... connected.                                                                                  
HTTP request sent, awaiting response... 200 OK                                                                                                                
Length: 8912693 (8.5M) [application/zip]                                                                                                                      
Saving to: 'latest.zip'                                                                                                                                       
                                                                                                                                                              
latest.zip                              100%[=============================================================================>]   8.50M  3.83MB/s    in 2.2s     
                                                                                                                                                              
2017-10-24 16:46:27 (3.83 MB/s) - 'latest.zip' saved [8912693/8912693]                                                                                        
                                                                                                                                                              
root@destroyer:~#

 

Как вы можете видеть, она также показывает прогресс загрузки, текущую скорость загрузки, размер, дату, время и имя файла.

В нашем случае эта команда загрузит файл и сохранит его в текущем каталоге под именем «latest.zip».

2. Команда wget для загрузки файла и сохранение его под другим именем

Вы можете сохранить файл под другим именем. Чтобы сделать это, вы можете использовать опцию -O, как в этом примере:

wget -O wordpress.zip https://wordpress.org/latest.zip

 

Она загрузит и сохранит последнюю установку WordPress в текущем каталоге под названием «wordpress.zip».

3. Команда wget для загрузки файла и сохранение его в определенном каталоге

Для того, чтобы загрузить файл и сохранить его в другом каталоге, вы можете использовать опцию -P, например:

wget -P /opt/wordpress https://wordpress.org/latest.zip

 

Она скачает и сохранит файл в каталоге /opt/wordpress на сервере.

4. Команда wget, чтобы установить скорость загрузки

Если вы случайно загрузите огромный файл, который занимает больше времени, чем необходимо для полной загрузке, вы можете ограничить скорость загрузки для предотвращения wget с использованием полной возможной пропускной способности соединения.

Чтобы ограничить скорость загрузки, например до 300k, вы можете использовать следующую команду:

wget --limit-rate=300k https://wordpress.org/latest.zip

5. Команда wget для продолжения прерванной загрузки

Иногда, когда вы загружаете очень большой файл, который будет занимать больше времени для полного скачивания, вы можете временно потерять подключение к Интернету и загрузка будет прервана.

Для того, чтобы избежать повторного запуска всей загрузки, вы можете продолжить, откуда прерывалось скачивание с помощью опции -c:

wget -c https://wordpress.org/latest.zip

 

Если загрузка прервется, и вы начинаете все скачать снова без опции -c, wget будет добавлять «.1» до конца файла, так как имя файла с предыдущим именем уже существует.

6. Команда wget для загрузки в фоновом режиме

Для больших файлов, вы также можете использовать опцию -b, чтобы загрузить файл в фоновом режиме.

wget -b http://example.com/big-file.zip

 

Вывод будет записан в файле «wget-log» в том же каталоге, и вы всегда можете проверить статус загрузки с помощью следующей команды:

tail -f wget-log

7. Команда wget, увеличение повторных попыток

Если у вас возникли проблемы с подключением к Интернету, и загрузка становится прерванной несколько раз, вы можете увеличить повторные попытки загрузить файл с опции -tries:

wget -tries=100 https://example.com/file.zip

8. Команда wget для загрузки нескольких файлов

Если вы хотите загрузить несколько файлов в одно и то же время, вы можете создать текстовый файл (например download.txt), где разместить все URL-адреса файлов, которые вы хотите загрузить. Для создания текстового файла выполните следующие действия:

touch download.txt

 

После этого вы можете отредактировать файл с nano и ввести все URL-адреса всех файлов, которые вы хотите загрузить:

nano download.txt
http://example.com/file1.zip

http://example.com/file2.zip

http://example.com/file3.zip

 

После сохранения файла, вы можете использовать опцию -i, чтобы загрузить все файлы, сохраненные в этом текстовом файле:

wget -i download.txt

9. Команда wget для загрузки через FTP

Вы также можете использовать wget для загрузки файла непосредственно через FTP, используя набор имя пользователя и пароль, с помощью следующей команды:

wget --ftp-user=username --ftp-password=password ftp://url-to-ftp-file

10. Команда wget для скачивания всего сайта

Вы даже можете использовать wget для загрузки всего веб-сайта, который вы можете просматривать локально, в автономном режиме, без необходимости подключения к интернету. Для этого можно использовать следующую команду:

wget --mirror --convert-links --page-requisites ----no-parent -P /path/to/download https://example-domain.com

 

С —mirror, вы включите все опции, необходимые для зеркального отображения.

С –convert-links, вы будете конвертировать все ссылки, так что они будут работать в автономном режиме.

С –page-requisites, загрузятся все необходимые файлы, такие как таблицы стилей CSS и изображения, необходимых для правильного отображения страницы в автономном режиме.

С –no-parent, вы можете ограничить загрузку только к определенной части сайта.

Кроме того, вы можете установить путь туда, куда мы хотим загрузить файлы с помощью команды -P, а затем путь к каталогу.

 

Мы рассмотрели некоторые из наиболее распространенных видов использования команды wget. Чтобы узнать больше о wget, вы всегда можете проверить его страницу с помощью команды man wget.

 

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Как использовать команду Wget

В этом руководстве расскажем вам о команде ОС Linux wget. Покажем вам 12 полезных примеров её использования. К концу руководства вы будете достаточно знать об этой команде и сможете легко качать файлы из всемирной сети интернет.

Прокачайте ваш проект, воспользовавшись скидками на VPS-хостинг в Hostinger! Большой выбор планов, как для учебных, так и для крупных коммерческих проектов.

К предложению

Что такое команда Wget?

Wget – это инструмент от GNU Project. Его можно использовать для скачивания контента и файлов с различных веб-серверов. Название состоит из комбинации World Wide Web и get. Инструмент поддерживает скачивание по FTP, SFTP, HTTP и HTTPS.

Wget создан на языке программирования C и используется на любой Unix-системе. Его также можно внедрить на Mac OS X, Microsoft Windows, AmigaOS и других популярных платформах.

Как установить Wget?

Для демонстрации работы команды wget мы будем использовать ОС Ubuntu 16.04. Но синтаксис будет одинаков и для других дистрибутивов Linux.

Прежде, зайдите на свой сервер по SSH. Выполните команду для установки wget в вашей системе:

apt-get install wget

Как только закончится установка, командой можно пользоваться. Конечно же знание базовых команд SSH облегчит вам задачу.

Примеры использования команды

Для ознакомления мы предлагаем 12 примеров использования команды wget, которые пригодятся вам для ежедневных задач. Помните также, что вы можете использовать эти команды в виде скрипта и задач cron!

Как командой Wget скачать один файл

Наиболее распространенным примером использования команды является скачивание одного файла для сохранения его в вашей текущем рабочем каталоге. Например, вам нужно скачать последнюю версию WordPress, для этого:

wget https://wordpress.org/latest.zip

После запуска команды вы увидите:

--2018-02-23 12:53:10-- https://wordpress.org/latest.zip
Resolving wordpress.org (wordpress.org)... 198.143.164.252
Connecting to wordpress.org (wordpress.org)|198.143.164.252|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 9332728 (8,9M) [application/zip]
Saving to: 'latest.zip'

latest.zip 100%[===================>] 8,90M 6,88MB/s in 1,3s

2018-02-23 12:53:14 (6,88 MB/s) - 'latest.zip' saved [9332728/9332728]

В этом примере файл под названием latest.zip будет скачан в текущий рабочий каталог. Вам также предоставляется дополнительная информация, такая как прогресс скачивания, скорость, размер, время и дата.

Как командой Wget скачать несколько файлов

Мы можем взять предыдущий пример и скачать несколько файлов за один раз. Для этого нам потребуется создать текстовый документ и поместить туда URL для скачивания. В этом примере мы запросим последние версии WordPress, Joomla и Drupal. Введите следующее:

nano example.txt

Это создаст файл example.txt и откроет интерфейс текстового редактора. Вставьте этот текст туда:

https://wordpress.org/latest.zip
https://downloads.joomla.org/cms/joomla3/3-8-5/Joomla_3-8-5-Stable-Full_Package.zip
https://ftp.drupal.org/files/projects/drupal-8.4.5.zip

Как только сделаете это, вы можете использовать -i для получения всех файлов, ссылки на которые есть в текстовом файле example:

wget -i example.txt

Дождитесь завершения процесса и у вас будут установочные файлы трёх наиболее популярных систем управления контентом.

Как командой Wget скачать файлы под другими названиями

В этом примере мы сохраним файл, используя другое имя при помощи опции -O:

wget -O wordpress-install.zip https://wordpress.org/latest.zip

В этом случае скачанный ресурс будет сохранён под названием wordpress-install.zip вместо оригинального имени.

Как командой Wget скачать файл и сохранить его в специальный каталог

Вы можете скачать файл и поместить его в другом каталоге, используя опцию -P:

wget -P documents/archives/ https://wordpress.org/latest.zip

Файл, который вы хотите получить появится в каталоге documents/archives/.

Как в команде Wget ограничить скорость скачивания

Вы можете ещё и устанавливать, скорость скачивания. Это полезно, когда вы запрашиваете большие файлы и предотвращает от полного занимания канала. Данный пример применения wget устанавливает лимит в 500k:

wget --limit-rate=500k https://wordpress.org/latest.zip

Как в команде установить количество повторных попыток

Проблемы подключения к интернету могут привести к прерыванию загрузки. Чтобы этого избежать мы можем повысить количество повторных попыток с опцией -tries:

wget -tries=100 https://wordpress.org/latest.zip

Как командой Wget скачивать в фоновом режиме

Для файлов особо большого размера может оказаться полезной опция -b. Она установит скачивание в фоновом режиме.

wget -b http://example.com/beefy-file.tar.gz

В рабочем каталоге появится wget-log, который может быть использован для проверки прогресса и статуса вашего скачивания. Эта команда тоже будет полезной:

tail -f wget-log

Как командой Wget скачивать по FTP

Команда также применима для работы по FTP. Вам всего лишь нужно указать имя пользователя и пароль, как в примере ниже:

wget --ftp-user=YOUR_USERNAME --ftp-password=YOUR_PASSWORD ftp://example.com/something.tar

Как продолжить прерванное скачивание

Ваше скачивание прервётся, если потеряется связь с интернетом или произойдёт отключение энергоснабжения. Это достаточно распространённые случаи, когда вы скачиваете что-то большое по размеру. Вместо того, чтобы заново начинать, можно продолжить процесс скачивания используя ключ -c:

wget -c https://example/very-big-file.zip

Если вы запустите процесс без ключа -c, к новому файлу в конце будет добавлено .1, так как файл с таким названием уже существует.

Как командой Wget скачать сайт

Команду можно использовать для скачивания всего сайта. Это позволит просматривать сайт локально без подключения к интернету. Вот пример:

wget --mirror --convert-links --page-requisites --no-parent -P documents/websites/ https://some-website.com

Давайте разберём пример подробнее:

–mirrorЭтот ключ делает ваше скачивание рекурсивным.
–convert-linksВсе ссылки будут преобразованы для офлайн использования.
–page-requisitesЭтим мы включим для скачивания все необходимые файлы, такие как CSS, JS и картинки.
–no-parentЭто гарантирует, что каталоги по иерархии выше не будут загружены.
-P documents/websites/Эта опция гарантирует, что весь контент будет направлен в указанный каталог.

Как только процесс закончится, вы сможете открыть скачанный сайт локально и найти все файлы в каталоге documents/websites/.

Как использовать команду Wget для поиска битых ссылок

Давайте попробуем кое-что более сложное. Мы может применять команду для нахождения битых URL-ссылок, которые выдают ошибку 404 на конкретном сайте. Начнём с выполнения следующего:

wget -o wget-log -r -l 5 --spider http://example.com
-oСобирает вывод в файл для использования позже.
-lЗадаёт уровень рекурсии.
-rДелает скачивание рекурсивным.
–spiderУстанавливает команду в режим работы «паука».

Теперь мы можем изучить файл wget-log для поиска списка битых ссылок. Вот команда для этого:

grep -B 2 '404' wget-log | grep "http" | cut -d " " -f 4 | sort -u

Как командой Wget скачать пронумерованный файлы

Если у вас есть список файлов или изображений пронумерованные в определённом порядке, вы можете легко скачать их все, используя следующий синтаксис:

wget http://example.com/images/{1..50}.jpg

Заключение

Поздравляем! Теперь, после проработки этого руководства, вы знакомы с различными вариантами использования команды. Вы можете пользоваться ею для получения одного или нескольких файлов. К тому же, вы ознакомились с некоторыми более сложными вариантами использования этой команды, такими как: скачивание сайта целиком или нахождения битых URL-ссылок. Для более подробной информации обратитесь к официальной документации(англ.).

Может быть у вас есть какие-то советы или уловки, которыми вы бы хотели поделиться? Пишите их в комментариях ниже!

Елена имеет профессиональное техническое образование в области информационных технологий и опыт программирования на разных языках под разные платформы и системы. Более 10 лет посвятила сфере веб, работая с разными CMS, такими как: Drupal, Joomla, Magento и конечно же наиболее популярной в наши дни системой управления контентом – WordPress. Её статьи всегда технически выверены и точны, будь то обзор для WordPress или инструкции по настройке вашего VPS сервера.

10 примеров команды Wget (Linux File Downloader) в Linux

В этой статье мы рассмотрим утилиту Wget, которая загружает файлы из всемирной паутины (World Wide Web — WWW), используя широко используемые протоколы, такие как HTTP, HTTPS и FTP. Утилита

Wget является свободно доступным пакетом, а лицензируется под GNU GPL. Эта утилита может быть установлена на любую Unix-подобную операционную систему, включая Windows и MAC OS. Это неинтерактивный инструмент командной строки. Главная особенность Wget в его надежности. Он спроектирован таким образом, что работает при медленных или нестабильных сетевых подключениях. Wget автоматически начинает загрузку с того места, где оно было прервано в случае проблем с сетью. Также скачивает файл рекурсивно. Он будет пытаться до тех пор, пока файл не будет получен полностью.

Во-первых, проверьте, установлена ли уже утилита Wget в вашей системе Linux, с помощью следующей команды.

# rpm -qa wget

wget-1.12-1.4.el6.i686

 

 

Пожалуйста, установите его с помощью команды YUM, если Wget еще не установлен или вы также можете скачать бинарный пакет по адресу http://ftp.gnu.org/gnu/wget/.

 

 

Опция -y, используемая здесь, предназначена для предотвращения запроса подтверждения перед установкой любого пакета.

 

1. Загрузка одного файла

Команда загрузит один файл и сохранит его в текущем каталоге. Он также показывает ход загрузки, размер, дату и время загрузки.

# wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

--2012-10-02 11:28:30-- http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz
Resolving ftp.gnu.org... 208.118.235.20, 2001:4830:134:3::b
Connecting to ftp.gnu.org|208.118.235.20|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 446966 (436K) [application/x-gzip]
Saving to: wget-1.5.3.tar.gz
100%[===================================================================================>] 446,966 60.0K/s in 7.4s
2012-10-02 11:28:38 (58.9 KB/s) - wget-1.5.3.tar.gz

 

 

2. Скачать файл с другим именем

Используя опцию -O (в верхнем регистре), загружается файл с другим именем. Здесь мы дали имя файла wget.zip, как показано ниже.

# wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

--2012-10-02 11:55:54-- http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz
Resolving ftp.gnu.org... 208.118.235.20, 2001:4830:134:3::b
Connecting to ftp.gnu.org|208.118.235.20|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 446966 (436K) [application/x-gzip]
Saving to: wget.zip
100%[===================================================================================>] 446,966 60.0K/s in 7.5s
2012-10-02 11:56:02 (58.5 KB/s) - wget.zip

 

 

3. Скачать несколько файлов с протоколом http и ftp

Здесь мы видим, как загрузить несколько файлов, используя протоколы HTTP и FTP, используя команду Wget.

# wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig

--2012-10-02 12:11:16-- http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz
Resolving ftp.gnu.org... 208.118.235.20, 2001:4830:134:3::b
Connecting to ftp.gnu.org|208.118.235.20|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 446966 (436K) [application/x-gzip]
Saving to: wget-1.5.3.tar.gz

100%[===================================================================================>] 446,966 56.7K/s in 7.6s

2012-10-02 12:11:29 (57.1 KB/s) - wget-1.5.3.tar.gz

--2012-10-02 12:11:29-- ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig
=> wget-1.10.1.tar.gz.sig

Logging in as anonymous ... Logged in!
==> SYST ... done. ==> PWD ... done.
==> TYPE I ... done. ==> CWD (1) /gnu/wget ... done.
==> SIZE wget-1.10.1.tar.gz.sig ... 65
==> PASV ... done. ==> RETR wget-1.10.1.tar.gz.sig ... done.
Length: 65 (unauthoritative)

100%[===================================================================================>] 65 --.-K/s in 0s

2012-10-02 12:11:33 (2.66 MB/s) - wget-1.10.1.tar.gz.sig

FINISHED --2012-10-02 12:11:33--
Downloaded: 2 files, 437K in 7.6s (57.1 KB/s)

 

 

4. Чтение URL-адресов из файла

Вы можете хранить большое количество URL в текстовом файле и загружать их с опцией -i. Ниже мы создали tmp.txt в каталоге Wget, куда мы помещаем серии URL для загрузки.

 # wget -i /wget/tmp.txt

--2012-10-02 12:34:12-- http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig
Resolving ftp.gnu.org... 208.118.235.20, 2001:4830:134:3::b
Connecting to ftp.gnu.org|208.118.235.20|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 446966 (436K) [application/x-gzip]
Saving to: wget-1.10.1.tar.gz.sig

100%[===================================================================================>] 446,966 35.0K/s in 10s

2012-10-02 12:34:23 (42.7 KB/s) - wget-1.10.1.tar.gz.sig

--2012-10-02 12:34:23-- http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso
Resolving mirrors.hns.net.in... 111.91.91.34, 2401:4800::111:91:91:34
Connecting to mirrors.hns.net.in|111.91.91.34|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1761607680 (1.6G) [application/octet-stream]
Saving to: CentOS-6.3-x86_64-LiveDVD.iso

45%[========================================== ] 1,262,000 51.6K/s eta 8h 17m

 

 

5. Возобновить незавершенную загрузку

В случае загрузки большого файла может произойти обрыв, в этом случае мы можем возобновить загрузку того же файла, где он был остановлен, с опцией -c. Но когда вы начнете скачивать файл без указания опции –c, Wget добавит расширение .1 в конце файла, считая загрузку новой. Поэтому рекомендуется добавлять ключ -c при загрузке больших файлов.

# wget -c http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso

--2012-10-02 12:46:57-- http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso
Resolving mirrors.hns.net.in... 111.91.91.34, 2401:4800::111:91:91:34
Connecting to mirrors.hns.net.in|111.91.91.34|:80... connected.
HTTP request sent, awaiting response... 206 Partial Content
Length: 1761607680 (1.

 

 

6. Загрузите файл с добавлением .1 в имени файла.

При запуске загрузки без опции -c Wget добавьте .1 в конец файла и начните новую загрузку. Если .1 уже существует добавить  .2 в конец файла.

# wget http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso

--2012-10-02 12:50:49-- http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso
Resolving mirrors.hns.net.in... 111.91.91.34, 2401:4800::111:91:91:34
Connecting to mirrors.hns.net.in|111.91.91.34|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1761607680 (1.6G) [application/octet-stream]
Saving to: CentOS-6.3-x86_64-LiveDVD.iso.1

18% [================== ] 172,436 59.2K/s

 

 

Смотрите примеры файлов с расширением .1, добавленные в конце файла.

# ls -l CentOS*

-rw-r--r--. 1 root root 3877262 Oct 2 12:47 CentOS-6.3-x86_64-LiveDVD.iso
-rw-r--r--. 1 root root 181004 Oct 2 12:50 CentOS-6.3-x86_64-LiveDVD.iso.1

 

 

7. Скачать файлы в фоновом режиме

С опцией –b вы можете отправить загрузку в фоновом режиме сразу после начала загрузки, а журнал загрузки записывается в файл /wget/log.txt.

# wget -b /wget/log.txt ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386-DVD-1.iso

Continuing in background, pid 3550.

 

 

8. Ограничить лимиты скорости загрузки

Если опция –limit-rate = 100k, ограничение скорости загрузки ограничено 100k, и журнал загрузки будет создаваться в /wget/log.txt, как показано ниже.

# wget -c --limit-rate=100k /wget/log.txt ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386-DVD-1.iso

/wget/log.txt: Scheme missing.
--2012-10-02 13:16:21-- ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386-DVD-1.iso
=> debian-6.0.5-i386-DVD-1.iso
esolving ftp.iinet.net.au... 203.0.178.32
Connecting to ftp.iinet.net.au|203.0.178.32|:21... connected.
Logging in as anonymous ... Logged in!
==> SYST ... done. ==> PWD ... done.
==> TYPE I ... done. ==> CWD (1) /debian/debian-cd/6.0.5/i386/iso-dvd ... done.
==> SIZE debian-6.0.5-i386-DVD-1.iso ... 4691312640
==> PASV ... done. ==> REST 2825236 ... done.
==> RETR debian-6.0.5-i386-DVD-1.iso ... done.
Length: 4688487404 (4.4G), 4685662168 (4.4G) remaining (unauthoritative)

0% [ ] 3,372,160 35.5K/s eta 28h 39m

 

 

9. Ограниченная загрузка FTP и HTTP с именем пользователя и паролем

С помощью опций –http-user = username, –http-password = password или –ftp-user = username, –ftp-password = password вы можете загружать ограниченные паролем сайты HTTP или FTP, как показано ниже.

# wget --http-user=narad --http-password=password http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso

 

[/bash]# wget –ftp-user=narad –ftp-password=password ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386-DVD-1.iso[/bash]

 

 

10. Найти версию Wget и помощь

С помощью опций –version и –help вы можете просматривать версию и помощь по мере необходимости.

# wget --version
# wget --help

 

 

В этой статье мы рассмотрели команду Linux Wget с опциями для ежедневных административных задач.

 

 

Спасибо за уделенное время на прочтение статьи о 10 примерах команды Wget (Linux File Downloader) в Linux!

Если возникли вопросы, задавайте их в комментариях.

Подписывайтесь на обновления нашего блога и оставайтесь в курсе новостей мира инфокоммуникаций!

Чтобы знать больше и выделяться знаниями среди толпы IT-шников, записывайтесь на курсы Cisco, курсы по кибербезопасности,  полный курс по кибербезопасности, курсы DevNet (программируемые сети) от Академии Cisco, курсы Linux от Linux Professional Institute на платформе SEDICOMM University (Университет СЭДИКОММ).

 

Курсы Cisco и Linux с трудоустройством!

Спешите подать заявку! Осталось пару мест. Группы стартуют 22 июля, а следующая 19 августа, 23 сентября, 21 октября, 25 ноября, 16 декабря, 20 января, 24 февраля.

Что Вы получите?

  • Поможем стать экспертом в сетевом администрировании и получить международные сертификаты Cisco CCNA Routing & Switching или Linux LPI.
  • Предлагаем проверенную программу и учебник экспертов из Cisco Networking Academy и Linux Professional Institute, сертифицированных инструкторов и личного куратора.
  • Поможем с трудоустройством и сделать карьеру. 100% наших выпускников трудоустраиваются.

Как проходит обучение?

  • Проводим вечерние онлайн-лекции на нашей платформе или обучайтесь очно на базе Киевского офиса.
  • Спросим у вас об удобном времени для практик и подстроимся: понимаем, что времени учиться мало.
  • Если хотите индивидуальный график — обсудим и осуществим.
  • Выставим четкие дедлайны для самоорганизации. Личный куратор будет на связи, чтобы ответить на вопросы, проконсультировать и мотивировать придерживаться сроков сдачи экзаменов.

А еще поможем Вам:

  • отредактировать резюме;
  • подготовиться к техническим интервью;
  • подготовиться к конкурсу на понравившуюся вакансию;
  • устроим на работу в Cisco по программе Cisco Incubator, New Graduate и Experienced. Наши студенты, которые уже работают там: жмите на #НашиВCisco Вконтакте, #НашиВCisco Facebook.
Чтобы учиться на курсах Cisco CCNA Routing & Switching и Linux LPI, подайте заявку или получите бесплатную консультацию.

Изучаем команду wget на 12 примерах / Блог компании RUVDS.com / Хабр

Все мы иногда качаем файлы из интернета. Если для этого использовать программы с графическим интерфейсом, то всё оказывается предельно просто. Однако, при работе в командной строке Linux дело несколько усложняется. Особенно — для тех, кто не знаком с подходящими инструментами. Один из таких инструментов — чрезвычайно мощная утилита wget, которая подходит для выполнения всех видов загрузок. Предлагаем вашему вниманию двенадцать примеров, разобрав которые, можно освоить основные возможности wget.



1. Загрузка одного файла

Если всё, что нужно — это загрузка одного файла, нам подойдёт следующая конструкция:

$ wget https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

После ввода такой команды начнётся скачивание Nagios Core. В ходе этого процесса можно будет видеть данные о загрузке, например — сведения о том, какой объём данных уже загружен, текущую скорость, и то, сколько времени осталось до конца загрузки.

2. Загрузка файла и сохранение его с новым именем

Если мы хотим сохранить загруженный файл под именем, отличающимся от его исходного имени, нам пригодится команда

wget

с параметром

-O

:

$ wget -O nagios_latest https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

При таком подходе загруженный файл будет сохранён под именем

nagios_latest

.

3. Ограничение скорости загрузки файлов

При необходимости скорость загрузки файлов с помощью

wget

можно ограничить. В результате эта операция не будет занимать весь доступный канал передачи данных и не повлияет на другие процессы, связанные с сетью. Сделать это можно, используя параметр

--limit-rate

и указав ограничение скорости, выраженное в байтах (в виде обычного числа), килобайтах (добавив после числа

K

) или мегабайтах (

M

) в секунду:

$ wget ––limit-rate=500K https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

Здесь задано ограничение скорости загрузки, равное 500 Кб/с.

4. Завершение прерванной загрузки

Если в ходе загрузки файлов эта операция была прервана, можно возобновить загрузку с помощью параметра

-c

команды

wget

:

$ wget –c https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

Если этот параметр не использовать, то загрузка недокачанного файла начнётся сначала.

5. Фоновая загрузка файла

Если вы загружаете файл огромного размера и хотите выполнять эту операцию в фоне, сделать это можно, используя параметр

-b

:

$ wget –b https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

6. Загрузка нескольких файлов

Если имеется список URL файлов, которые надо загрузить, но вам не хочется вручную запускать загрузки этих файлов, можно использовать параметр

-I

. Однако, перед тем, как начинать загрузку, нужно создать файл, содержащий все адреса. Например, сделать это можно такой командой:

$ vi url.txt

В этот файл нужно поместить адреса — по одному в каждой строке. Далее, осталось лишь запустить

wget

, передав этой утилите только что созданный файл со списком загрузок:

$ wget –I url.txt

Выполнение этой команды приведёт к поочерёдной загрузке всех файлов из списка.

7. Увеличение общего числа попыток загрузки файла

Для того, чтобы настроить число повторных попыток загрузки файла, можно использовать параметр

--tries

:

wget ––tries=100 https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

8. Загрузка файлов с FTP-сервера

Команда загрузки файла с анонимного FTP-сервера с помощью

wget

выглядит так:

$ wget FTP-URL

Если для доступа к файлу требуются имя пользователя и пароль, то команда примет такой вид:

$ wget –-ftp-user=dan ––ftp-password=********* FTP-URL

9. Создание локальной копии веб-сайта

Если нужно загрузить содержимое целого веб-сайта, сделать это можно, воспользовавшись параметром

--mirror

:

$ wget --mirror -p --convert-links -P /home/dan xyz.com

Обратите внимание на дополнительные параметры командной строки:

  • -p: производится загрузка всех файлов, необходимых для корректного отображения HTML-страниц.
  • --convert-links: ссылки в документах будут преобразованы для целей локального просмотра сайта.
  • -P /home/dan: материалы будут сохранены в папку /home/dan.

10. Загрузка с сайта только файлов определённого типа

Для того, чтобы загрузить с сайта только файлы определённого типа, можно воспользоваться параметрами

-r -A

:

$ wget -r -A.txt Website_url

11. Пропуск файлов определённого типа

Если вы хотите скопировать целый веб-сайт, но при этом вам не нужны файлы определённого типа, отключить их загрузку можно с помощью параметра

--reject

:

$ wget --reject=png Website_url

12. Загрузка с использованием собственного .log-файла

Для того, чтобы загрузить файл и использовать при этом собственный

.log

-файл, воспользуйтесь параметром

-o

и укажите имя файла журнала:

$ wget -o wgetfile.log https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

Итоги

Wget — довольно простая в использовании, но весьма полезная утилита Linux. И, на самом деле то, о чём мы рассказали — лишь малая часть того, что она умеет. Надеемся, этот обзор поможет тем, кто не был знаком с wget, оценить эту программу, и, возможно, включить её в свой повседневный арсенал инструментов командной строки.

Уважаемые читатели! Пользуетесь ли вы инструментами командной строки Linux для загрузки файлов? Если да — просим о них рассказать.

Использование wget для загрузки выбранных каталогов с сервера ftp



Я пытаюсь понять, как использовать wget для загрузки определенных каталогов с разных сайтов ftp с экономическими данными от правительства US.

В качестве простого примера я знаю, что могу загрузить весь каталог с помощью такой команды, как:

wget  --timestamping  --recursive --no-parent ftp://ftp.bls.gov/pub/special.requests/cew/2013/county/

Но я представляю себе запуск более сложных загрузок, где я мог бы ограничить загрузку несколькими каталогами. Поэтому я рассматривал вариант —include. Но я действительно не понимаю, как это работает. В частности, почему это не работает:

wget --timestamping --recursive -I /pub/special.requests/cew/2013/county/ ftp://ftp.bls.gov/pub/special.requests/cew/

Следующее действительно работает, в том смысле, что он загружает файлы, но загружает гораздо больше, чем мне нужно (все в каталоге 2013 года, а не только в подкаталоге округа):

wget --timestamping --recursive -I /pub/special.requests/cew/2013/ ftp://ftp.bls.gov/pub/special.requests/cew/

Я не могу сказать, то ли я чего-то не понимаю в wget, то ли моя проблема связана с чем-то более фундаментальным для серверных структур ftp.

Спасибо за помощь!

linux unix ubuntu ftp wget
Поделиться Источник Al R.     23 декабря 2013 в 21:15

2 ответа


  • Howto создал обрезанное дерево каталогов при использовании wget для загрузки ftp

    Я использую wget для загрузки файлов из ftp. Ftp папка имеет имя /var/www/html/ Внутри этой папки находится дерево папок & файлов, ~20 уровней. Я пытаюсь сделать загрузку ftp (не имею доступа ssh), все это с помощью wget. wget — recursive -nv —user user —password pass…

  • Указание локального каталога с помощью WGET

    У меня есть вопрос относительно wget, который я, кажется, не могу понять. Я использую следующую команду для загрузки всего содержимого моего сервера FTP (который работает нормально) wget -m -P c:\ ftp://user:[email protected] Проблема в том, что это создает папку в c:\ под названием…



3

Основываясь на этом документе , кажется, что функции фильтрации wget очень ограничены.

При использовании параметра --recursive wget загрузит все связанные документы после применения различных фильтров, таких как --no-parent и -I, -X , -A , -R .

В вашем примере:

wget -r -I /pub/special.requests/cew/2013/county/ ftp://ftp.bls.gov/pub/special.requests/cew/

Это ничего не загрузит, потому что параметр -I указывает включать только ссылки , соответствующие /pub/special.requests/cew/2013/county/, но на странице /pub/special.requests/cew/ таких ссылок нет, поэтому загрузка на этом заканчивается. Однако это сработает:

wget -r -I /pub/special.requests/cew/2013/county/ ftp://ftp.bls.gov/pub/special.requests/cew/2013/

… потому что в этом случае на странице /pub/special.requests/cew/2013/ есть ссылка на county/

Кстати, вы можете найти больше подробностей в этом документе, чем на странице man :

http://www.gnu.org/программное обеспечение/wget/руководство/html_node/

Поделиться janos     24 декабря 2013 в 20:03



2

не можете ли вы просто сделать (и добавить —timestamping/—no-parent и т. Д. По мере необходимости)

 wget -r ftp://ftp.bls.gov/pub/special.requests/cew/2013/county

Похоже, что-I работает на одном уровне каталога за раз, поэтому, если мы сделаем шаг вперед от county/, мы сможем сделать:

 wget -r -I /pub/special.requests/cew/2013/county/ ftp://ftp.bls.gov/pub/special.requests/cew/2013/

Но, очевидно, мы не можем продвинуться дальше и сделать

 wget -r -I /pub/special.requests/cew/2013/county/ ftp://ftp.bls.gov/pub/special.requests/cew/

Поделиться nos     23 декабря 2013 в 22:11


Похожие вопросы:


FTP время загрузки файла истекло с помощью wget

Я пытаюсь загрузить файл, расположенный на сервере FTP. Я могу загрузить файл вручную через браузер, но время загрузки истекает, когда я использую wget для того же самого. Может ли кто — нибудь…


Ansible для загрузки файлов с FTP

В настоящее время я использую скрипт shell для загрузки файлов с сервера FTP. Ansible выполнит мой сценарий и продолжит другие автоматизированные задания. Пожалуйста, дайте мне знать, как лучше…


загрузка файла с сервера ftp через wget завершается неудачно

Я загружаю файл с сервера FTP с помощью wget. Если я наберу ftp://username:[email protected]/some_path/file в мой браузер файл загружается нормально. Если я вместо этого сделаю, wget…


Howto создал обрезанное дерево каталогов при использовании wget для загрузки ftp

Я использую wget для загрузки файлов из ftp. Ftp папка имеет имя /var/www/html/ Внутри этой папки находится дерево папок & файлов, ~20 уровней. Я пытаюсь сделать загрузку ftp (не имею доступа…


Указание локального каталога с помощью WGET

У меня есть вопрос относительно wget, который я, кажется, не могу понять. Я использую следующую команду для загрузки всего содержимого моего сервера FTP (который работает нормально) wget -m -P c:\…


wget файл скачать ftp waitfor() зависает

Я пытаюсь загрузить файл XML с сервера FTP с помощью wget в моей программе Java. Я должен ждать, пока он не закончит загрузку. String command = WGET -O +props.getProperty(xmlFolder)++ +…


использование wget для получения выбранных подкаталогов

Я хочу настроить задание cron для загрузки данных с сервера (http). Каждый каталог имеет date/time-stamped в формате YYYYMMDDHH , где есть 2 версии ежедневно, поэтому HH-это либо 00, либо 12. Мне…


Скачать фиксированное количество каталогов с сервера ftp

У меня есть сервер FTP с тысячами каталогов. Что я хочу сделать, так это загрузить определенное количество из них (например, 500 каталогов) с помощью скрипта shell. Как я могу это сделать? Я…


wget для выбранных образцов из ftp?

Я хотел скачать выбранные файлы с этого сайта: ftp://ftp-trace.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByStudy/sra/SRP/SRP042/SRP042286 Если бы я хотел скачать их все я мог бы это сделать: $wget -r…


Загрузка данных конкретных каталогов с помощью wget

Я загружаю данные с сервера ‘ftp’ , используя ‘wget’ из командной строки системы Ubuntu. Я знаю, как загрузить все каталоги из определенного URL. Есть ли у них какая-либо команда для выбора и…

Команда Wget в Linux с примерами

GNU Wget — это утилита командной строки для загрузки файлов из Интернета. С помощью Wget вы можете загружать файлы с использованием протоколов HTTP, HTTPS и FTP. Wget предоставляет ряд опций, позволяющих загружать несколько файлов, возобновлять загрузку, ограничивать пропускную способность, рекурсивные загрузки, выполнять фоновую загрузку, зеркалировать веб-сайт и многое другое.

Пакет wget уже предустановлен в большинстве дистрибутивов Linux.

Чтобы проверить, установлен ли пакет Wget в вашей системе, откройте консоль, введите wgetи нажмите клавишу ввода. Если у вас установлен wget, система напечатает wget: missing URL, в противном случае он будет печатать wget command not found.

Если wget не установлен, вы можете легко установить его с помощью менеджера пакетов вашего дистрибутива.


sudo apt install wget

sudo yum install wget

Прежде чем перейти к использованию wgetкоманды, давайте начнем с обзора основного синтаксиса.

В wget полезности выражение принимает следующий вид:

  • options — варианты Wget
  • url — URL файла или каталога, который вы хотите скачать или синхронизировать.

В простейшей форме, когда используется без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.

В следующем примере мы загружаем tar-архив ядра Linux:

wget https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.2.tar.xz


Как видно из рисунка выше, Wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.

Во время загрузки Wget показывает индикатор выполнения наряду с именем файла, размером файла, скоростью загрузки и предполагаемым временем завершения загрузки. После завершения загрузки вы можете найти загруженный файл в текущем рабочем каталоге .

Чтобы отключить вывод Wget, используйте -q опцию.

Если файл уже существует, Wget добавит .N (число) в конце имени файла.

Чтобы сохранить загруженный файл под другим именем, передайте -O опцию, а затем выбранное имя:

wget -O latest-hugo.zip https://github.com/gohugoio/hugo/archive/master.zip

Команда выше сохранит последнюю файл hugo zip из GitHub latest-hugo.zip вместо его исходного имени.

По умолчанию Wget сохраняет загруженный файл в текущем рабочем каталоге. Чтобы сохранить файл в определенном месте, используйте -P параметр:

wget -P /mnt/iso http://mirrors.mit.edu/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

С помощью приведенной выше команды мы сообщаем Wget сохранить ISO-файл CentOS 7 в /mnt/iso каталог.


Чтобы ограничить скорость загрузки, используйте --limit-rate опцию. По умолчанию скорость измеряется в байтах / секунду. Добавить kза килобайт, m за мегабайты и за гигабайты.

Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 Мб:

wget --limit-rate=1m https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz

Эта опция полезна, когда вы не хотите, чтобы wget использовал всю доступную пропускную способность.


Вы можете возобновить загрузку, используя -cопцию. Это полезно, если ваше соединение разрывается во время загрузки большого файла, и вместо того, чтобы начать загрузку с нуля, вы можете продолжить предыдущую.

В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:

wget -c http://releases.ubuntu.com/18.04/ubuntu-18.04-live-server-amd64.iso

Если удаленный сервер не поддерживает возобновление загрузки, Wget начнет загрузку с начала и перезапишет существующий файл.


Для загрузки в фоновом режиме используйте -b опцию. В следующем примере мы загружаем iso-файл OpenSuse в фоновом режиме:

wget -b https://download.opensuse.org/tumbleweed/iso/openSUSE-Tumbleweed-DVD-x86_64-Current.iso

По умолчанию выходные данные перенаправляются в wget-log файл в текущем каталоге. Чтобы посмотреть статус загрузки, используйте tail команду:

tail -f wget-log

Иногда при загрузке файла удаленный сервер может быть настроен на блокировку Wget User-Agent. В подобных ситуациях для эмуляции другого браузера передайте -U опцию.

wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0" http://wget-forbidden.com/

Приведенная выше команда будет эмулировать Firefox 60, запрашивающий страницу у wget-forbidden.com


Если вы хотите загрузить несколько файлов одновременно, используйте -iпараметр, после которого укажите путь к локальному или внешнему файлу, содержащему список URL-адресов для загрузки. Каждый URL должен быть в отдельной строке.

В следующем примере мы загружаем iso файлы Arch Linux, Debian и Fedora с URL-адресами, указанными в linux-distros.txt файле:

wget -i linux-distros.txt

linux-distros.txt

http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso
https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
https://download.fedoraproject.org/pub/fedora/linux/releases/28/Server/x86_64/iso/Fedora-Server-dvd-x86_64-28-1.1.iso

Если вы укажете -имя файла, URL будут считаны из стандартного ввода.


Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:

wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gz

Чтобы создать зеркало сайта с помощью Wget, используйте -m опцию. Это создаст полную локальную копию веб-сайта, перейдя и загрузив все внутренние ссылки, а также ресурсы веб-сайта (JavaScript, CSS, изображения).

wget -m https://example.com

Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.

wget -m -k -p https://example.com

Эта -k опция заставит Wget конвертировать ссылки в загруженных документах, чтобы сделать их пригодными для локального просмотра. -p Опция покажет Wget , чтобы загрузить все необходимые файлы для отображения страницы HTML.


Если вы хотите загрузить файл через HTTPS с хоста, имеющего недействительный сертификат SSL, используйте --no-check-certificate параметр:

wget --no-check-certificate https://domain-with-invalid-ss.com

В следующем примере Wget тихо (пометит -q) загрузит и выведет последнюю версию WordPress в stdout (пометит -O -) и tar передаст ее утилите, которая извлечет архив в /var/www каталог.

wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/www

С помощью Wget вы можете загружать несколько файлов, возобновлять частичную загрузку, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.


wget — руководство GNU Wget

GNU Wget

НАЗВАНИЕ
wget -- Руководство GNU Wget
СИНТАКСИС

wget [параметры]... [URL]...
ОПИСАНИЕ

GNU Wget это открыто распространяемая утилита для загрузки файлов из интернет. Она поддерживает
протоколы HTTP, HTTPS, и FTP, загрузку с прокси-серверов по протоколу HTTP.

Wget может следовать по ссылкам HTML страниц и создавать локальные копии удалённых web сайтов, 
возможно полное восстановление структуры каталогов сайта. Это называется "recursive downloading"
(рекурсивная загрузка). При выполнении такого задания, Wget ищет файл с правами доступа для 
роботов (/robots.txt). Возможна также конвертация ссылок в загруженных HTML файлах для просмотра 
сайта в автономном режиме ("Off-line browsing").

Проверка заголовков файлов. Wget может прочитать заголовок файла, что доступно по протоколам 
HTTP и FTP и сравнить с заголовком файла, который был загружен ранее, и, если это так, загрузить 
новую версию файла.
Благодаря этому, с Wget возможно зеркальное хранение сайтов и коллекций файлов по FTP.

Wget разработан для медленных или нестабильных соединений: если во время загрузки возникнет 
проблема, Wget будет продолжать пытаться загрузить файл. Если сервер, с которого загружается 
файл, поддерживает докачку, Wget продолжит загружать файл с того места, где оборвалась загрузка.
OПЦИИ

Основные параметры

-V
--version
Отобразить версию Wget.

-h
--help
Отобразить параметры командной строки Wget.

-b
--background
Перейти в фоновый режим после запуска. Если файл для сообщений не указан параметром -o, он
записывается в wget-log

-e command
--execute command
Выполнить command как если бы она была частью .wgetrc. Команда будет выполнена после команд 
в .wgetrc.

Параметры сообщений

-o logfile
--output-file=logfile
Записывать все сообщения в logfile. Иначе они будут направлены в stderr.

-a logfile
--append-output=logfile
Дополнить logfile. Как и -o, только logfile не заменяется, а дополняется. Если logfile 
не существует, создаётся новый файл.

-d
--debug
Отображать сообщения отладки - разная информация, важная для разработчиков Wget.

-q
--quiet
Выключить сообщения Wget.

-v
--verbose
Включить подробные сообщения, со всеми доступными данными. По умолчанию включено.

-nv
--non-verbose
Не подробные сообщения (чтобы выключить сообщения см. -q). Сообщения об ошибках и основная 
информация будут отображаться.

-i file
--input-file=file
Прочитать URL из file. В этом случае указывать URL в командной строке не требуется. Если URL 
указаны и в командной строке и в file, сначала будут загружены URL из командной строки. file 
не обязательно должен иметь формат HTML (но ничего страшного, если это так) -- URL просто 
должны быть указаны в нём.

Если вы укажите --force-html, файл будет прочтён как html. В этом случае могут возникнуть 
проблемы с относительными ссылками. Это можно предотвратить добавлением в него 
"<base href="url">" или вводом в командной строке --base=url.

-F
--force-html
При чтении URL из файла, включает чтение файла как HTML. Чтобы предотвратить ошибкам, если 
файл HTML является локальным, добавьте "<base href="url">" в файл или введите параметр 
командной строки --base.

-B URL
--base=URL
При чтении URL из файла (-F), определяет URL, добавляемый к относительным адресам файла, 
указанного параметром -i.

Параметры загрузки

--bind-address=ADDRESS
При соединениях по протоколам TCP/IP, передаёт "bind()" в ADDRESS на локальной машине. 
В ADDRESS может быть указано как имя хоста, так и IP адрес. Используется, когда ваш 
компьютер имеет несколько IP адресов.

-t number
--tries=number
Устанавливает число повторов number. Укажите 0 или inf для бесконечного числа повторов.

-O file
--output-document=file
Документы не будут записываться в соответствующие файлы, а будут соединены вместе и 
записаны в file. Если file существует, он будет заменён. Если file указан как -, 
документы будут выводиться в стандартный вывод (stdout). Этот параметр автоматически 
устанавливает число повторов в 1. Полезен при закачке файлов, разделённых на части, 
с почтовых серверов через web-интерфейс

-nc
--no-clobber
Если при загрузке сайта связь оборвалась, для продолжения с того же места, укажите 
этот параметр.

При запуске Wget без -N, -nc, или -r, повторная загрузка одного и того же файла в один 
каталог приведёт к созданию копии файла с именем file.1. Если существует файл и с таким 
именем, третья копия будет называться file.2 и т. д. При параметре -nc это будет 
предупреждено.

При запуске Wget с параметром -r, но без -N или -nc, новая загрузка сайта приведёт к 
замене уже загруженных файлов. При параметре -nc загрузка продолжится с места обрыва 
и загруженные файлы не будут загружаться заново (если только они не изменились).

При запуске Wget с параметром -N, с или без -r, файл будет загружен если он новее, 
или если размер его не совпадает с загруженной копией (см. Сравнение по дате). -nc не 
комбинируется с -N..


При указанном параметре -nc, файлы с расширениями .html или (что очень ужасно) .htm 
с локальных дисков будут загружаться как из интернет.

-c
--continue
Возобновление загрузки файла. Используется если загрузка файла была прервана. Например:
Если в текущем каталоге есть файл с именем ls-lR.Z, Wget проверит, соответствует ли 
данный файл загружаемому (не по размеру!), и, если это так, отправит запрос на сервер 
на продолжение загрузки файла с того же места, где оборвалась загрузка в прошлый раз.

Помните, что при обрыве связи Wget повторяет попытки самостоятельно и без -c, и только 
когда он "сдастся" и закончит работу, для возобновления будет нужен этот параметр.

Без опции -c, предыдущий пример приведёт к загрузке указанного файла заново с конечным 
именем ls-lR.Z.1, не трогая ls-lR.Z

Начиная с версии 1.7 при параметре -c, если файл на сервере имеет равный, или меньший, 
чем у локального файла размер, Wget не будет ничего загружать и отобразит соответствующее 
сообщение.

Однако при использовании -c, любой файл на сервере, имеющий больший размер, чем локальный, 
будет рассматриваться, как недокачанный. При этом будет загружено и записано в конец файла 
только "(длина(удал.файл) - длина(локал.файл))" байт. Это может пригодиться, когда вам 
нужно загрузить новые сообщения какого-либо журнала (log).

При этом, если удалённый файл больше потому, что он изменился, вы получите повреждённый 
файл (т.е. файл докачается другим). Вам нужно быть особенно внимательными при 
использовании -c вместе с -r, так как каждый изменённый файл может быть кандидатом на 
"незавершённую загрузку".

Вы также получите повреждённый файл, если ваш HTTP прокси-сервер неправильно настроен 
и при обрыве соединения пишет "transfer interrupted" в файл. В следующих версиях Wget 
сам будет исправлять это.

Помните, что -c работает только с FTP и HTTP серверами, которые поддерживают заголовок 
"Range" (т.е. докачку).

--progress=type
Тип индикатора прогресса. Возможные значения: "dot" и "bar".


"bar" используется по умолчанию. Указание --progress=bar приведёт к прорисовке красивого 
индикатора из символов ASCII (aka "термометр").1;5~ Если стандартный выход не TTY, будет 
использован "t".Sp Укажите --progress=dot чтобы переключится на тип "dot". прогресс будет 
отмечаться добавлением в полосе точки или знака равно, каждый символ представляет
одинаковое количество данных.

При использовании этого типа, вы можете указать его стиль - dot:style. Если стиль 
"default", каждый символ будет представлять 1 Kб, 10 символов в кластере и 50 в строке. 
Стиль "binary" имеет более "компьютерный" вид - 8 Kб символов, 16 символов в кластере 
и 48 символов в строке (получается строка на 384 Kб). Стиль "mega" используется для 
загрузки больших файлов - каждый символ представляет 64 Kб, 8 символов в кластере и 
48 символов в строке (получается 3 Mб на строку).

Вы можете определить стиль по умолчанию используя команду "progress" в .wgetrc. Если 
вы хотите, чтобы тип индикатора "bar" использовался всегда (а не только при выводе в 
stdout), укажите --progress=bar:force.

-N
--timestamping
Включить сравнение по дате.

-S
--server-response
Отображать заголовки, посылаемые HTTP серверам и запросы, посылаемые FTP серверам.

--spider
Установка поведения Wget как паука, т. е. Wget не будет загружать файлы, а только будет 
проверять их наличие. Так можно проверять закладки, ссылки сайта. Например:
    wget —spider —force-html -i bookmarks.html
Wget не содержит все возможности настоящих WWW пауков.

-T seconds
--timeout=seconds
Время ожидания в секундах. Время ожидания по умолчанию 900 секунд (15 минут). 
Установка 0 отменяет проверку времени ожидания.

Пожалуйста, не снижайте значение времени ожидания если Вы не знаете, что делаете.

-w seconds
--wait=seconds
Пауза в секундах между несколькими загрузками (в т.ч. повторами). Это снижает 
загруженность сервера. Чтобы указать значение в минутах, используйте "m", в 
часах - "h", в днях - "d" после числа. Указание большого значения этого параметра 
полезно если сеть нестабильна (например обрыв dial up связи).

--waitretry=seconds
Устанавливает паузу только между повторами загрузок, которые оборвались. Wget будет ждать 1 секунду
после первого обрыва, 2 секунды после второго обрыва загрузки того же фала, и т. д. до максимума,
который указывается в секундах. Например, при значении данного параметра 10, Wget будет ждать в общем
(1 + 2 + ... + 10) = 55 секунд для каждого файла.

Это значение указывается по умолчанию в файле wgetrc.

--random-wait
Некоторые серверы, совершая формирование лог-файлов с паузами запросов файлов, могут определить
рекурсивную загрузку файлов - сканирование роботами, такими, как Wget. Этот параметр устанавливает
время между запросами варьируя с временем паузы, рассчитываемым от 0 до 2 * wait (секунд), где wait
указано параметром -w для маскировки Wget.

Нельзя забывать что доступны исходники Wget и даже эту маскировку можно вычислить.

-Y on/off
--proxy=on/off
Поддержка прокси-сервера. Включена по умолчанию если прокси-сервер определён.

-Q quota
--quota=quota
Квота на размер загружаемых файлов. Указывается в байтах (по умолчанию), Кб (в конце k) или в Мб (в конце m).

При окончании квоты, текущий файл загружается до конца, значит она не работает при загрузке одного файла. Например, если вы укажите wget -Q10k ftp://wuarchive.wustl.edu/ls-lR.gz, файл ls-lR.gz будет полностью загружен. Также все указанные в командной строке будут обязательно загружены, в отличие от файлов, указанный в файле, или при рекурсивной загрузке.

Указание 0 или inf отменит квоту.

Параметры загрузки каталогов

-nd
--no-directories
Не создавать структуру каталогов при рекурсивной загрузке. При указанном параметре, все файлы будут загружаться в один каталог. Если файл с данным именем уже существует, он будет сохранён под именем ИмяФайла.n.

-x
--force-directories
Противоположное параметру -nd - создавать структуру каталогов начиная с главной страницы сервера. Например загрузка файла wget -x http://fly.srk.fer.hr/robots.txt приведёт к созданию
каталога fly.srk.fer.hr.

-nH
--no-host-directories
Не создавать каталоги c именем хоста в названии. По умолчанию wget -r http://fly.srk.fer.hr/ приведёт к созданию структуры каталогов начиная с fly.srk.fer.hr/. Это поведение выключается указанием данного параметра. --cut-dirs=number Игнорировать number каталогов высшего уровня. Используется при загрузке каталогов и файлов низкого уровня. Возьмём, например, каталог ftp://ftp.xemacs.org/pub/xemacs/. Если вы загрузите его с параметром -r, он сохранится под именем ftp.xemacs.org/pub/xemacs/. При параметре -nH из имени начального каталога будет вырезано ftp.xemacs.org/, и он будет называться pub/xemacs. А параметр --cut-dirs уберёт number компонентов. Примеры работы параметра --cut-dirs.

Если вы хотите просто избавиться от структуры каталогов, вы можете заменить этот параметр на -nd и
-P. В отличие от -nd, --cut-dirs работает с подкаталогами - например при -nH --cut-dirs=1, подкаталог
beta/ запишется в xemacs/beta.

-P prefix
--directory-prefix=prefix
Определяет начальный каталог, в который будет сохранена структура каталогов сайта (или просто файлы).
По умолчанию этот параметр равен . (текущий каталог).

Параметры HTTP

-E
--html-extension
Если тип загруженного файла text/html и его адрес не оканчивается на \.[Hh][Tt][Mm][Ll]?, при данном
параметре к его имени будет добавлено .html. Это может быть полезно при зеркальном хранении страниц
.asp, но вы не хотите, чтобы они вмешивались в ваш сервер Apache. Другой случай применения этого
параметра - загрузка страниц-ответов CGI скриптов. Страница с URL вида http://site.com/article.cgi?25
будет сохранена как article.cgi?25.html.

Примечание. При обновлении или другой перезагрузке страниц с данным параметром, последние будут
загружаться заново в любом случае, т. к. Wget не может узнать, имеет ли отношение локальный файл
X.html к загружаемому с URL X. Чтобы избежать лишней перезагрузки, используйте опции -k и -K. При
этом оригинальные версии файлов будут также сохранены как X.orig.

--http-user=user
--http-passwd=password
Имя пользователя user и пароль password для HTTP сервера. В зависимости от типа отклика, Wget будет
использовать "basic" (небезопасную) или "digest" авторизацию.

Можно также указывать имя пользователя и пароль и в самом URL.

-C on/off
--cache=on/off
Включает или выключает кеширование со стороны сервера. При этом Wget посылает соответствующих запрос
(Pragma: no-cache). Также используется для быстрого обновления файлов на прокси-сервере.

По умолчанию кеширование разрешено.

--cookies=on/off
Включает или выключает использование cookie. Сервер посылает клиенту cookie используя заголовок
"Set-Cookie" и клиент отвечает тем же cookie. Благодаря этому сервер может вести статистику
посетителей. По умолчанию cookie используются, но запись их на диск выключена.

--load-cookies file
Загружать cookie из file перед первой загрузкой HTTP. file имеет текстовый формат, как cookies.txt у
Netscape.

Этот параметр используется при зеркальном хранении. Для этого Wget посылает те же cookies, которые
посылает ваш обозреватель при соединении с HTTP сервером. Это включается данным параметром - просто
укажите Wget путь к cookies.txt. Разные обозреватели хранят cookie в разных каталогах:

Netscape 4.x.
Файл находится в ~/.netscape/cookies.txt.

Mozilla и Netscape 6.x.
Mozilla хранит cookies в cookies.txt, расположенном где-то в ~/.mozilla, в каталоге вашего
профайла. Полный путь обычно заканчивается чем-то вроде ~/.mozilla/default/some-weird-
string/cookies.txt.

Internet Explorer.
Чтобы экспортировать cookie для Wget, выберите Файл | Импорт и экспорт, в мастере выберите
Экспорт файлов cookie. Тестировано в Internet Explorer 5; возможно не будет работать в ранних
версиях.

Другие обозреватели.
Параметр --load-cookies будет работать с cookie в формате Netscape, который поддерживается Wget.

Если вы не можете использовать параметр --load-cookies, есть выход. Если ваш обозреватель
поддерживает
    wget —cookies=off —header «Cookie: I<name>=I<value>»
--save-cookies file
Сохранить cookie из file в конце сессии. Устаревшие cookie не сохраняются.

--ignore-length
Некоторые HTTP серверы (точнее CGI скрипты) посылают заголовки "Content-Length", которые указывают
Wget, что загружено ещё не всё. И Wget загружает один документ несколько раз.

С этим параметром, Wget будет игнорировать заголовки "Content-Length".

--header=additional-header
Определяет additional-header, отправляемый HTTP серверу. Он должен содержать : и символы после него.

Вы можете определить несколько дополнительных заголовков использованием --header несколько раз.
Указание пустой строки в значении заголовка очистит все определённые пользователем до этого
заголовки.

--proxy-user=user
--proxy-passwd=password
Определяет имя пользователя user и пароль для авторизации на прокси-сервере. Будет
использован тип авторизации "basic".


--referer=url
Добавляет заголовок `Referer: url' в запрос HTTP. Используется при загрузке страниц, которые
передаются правильно только, если сервер знает, с какой страницы вы пришли.

-s
--save-headers
Сохранять заголовки, посылаемые HTTP серверам.

-U agent-string
--user-agent=agent-string
Идентифицироваться как agent-string при запросе на HTTP сервер.

Протокол HTTP позволяет определять себя использованием заголовка агента. Wget по умолчанию
идентифицируется как Wget/version, где version - это версия Wget.

Некоторые серверы выдают требуемую информацию только для обозревателей, идентифицирующихся как
"Mozilla" или Microsoft "Internet Explorer". Этот параметр позволяет обмануть такие серверы.

Параметры FTP

-nr
--dont-remove-listing
Не удалять временные файлы .listing, генерируемые при загрузке по FTP. Эти файлы содержат информацию
о каталогах FTP серверов. Не удаление поможет вам быстро определить обновление каталогов сервера (т.
е. определять., что ваше зеркало является таковым).

Не удаляя .listing, помните о своей безопасности. Например, с таким именем можно создать
символическую ссылку на /etc/passwd или что-то ещё.

-g on/off
--glob=on/off
Включает или выключает разрешение использовать специальные символы (маски) по FTP протоколу. Это
может быть *, ?, [ и ]. Например:
По умолчанию использование маскировочных символов разрешено, если URL содержит такие символы.

Вы можете также взять URL в кавычки. Это работает только на серверах Unix FTP (и эмулирующих выход
Unix "ls").

--passive-ftp
Включает пассивный режим FTP, когда соединение инициируется клиентом. Используется при наличии fire‐
wall.

--retr-symlinks
При рекурсивной загрузке каталогов FTP, файлы, на которые указывают символические ссылки, не
загружаются. Этот параметр отключает это.

Параметр --retr-symlinks работает сейчас только для файлов, не для каталогов.

Помните, что этот параметр не работает при загрузке одиночного файла.

Параметры рекурсивной загрузки

-r
--recursive
Включить рекурсивную загрузку.

-l depth
--level=depth
Максимальная глубина рекурсивной загрузки depth. По умолчанию значение 5.

--delete-after
Удалять каждую страницу (локально) после её загрузки. Используется для сохранения новых версий часто
запрашиваемых страниц на прокси. Например:
Параметр -r включает загрузку по умолчанию, параметр -nd отключает создание каталогов.

При указанном параметре --delete-after, --convert-links игнорируется.

-k
--convert-links
После завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме. Это
касается не только видимых ссылок на другие документы, а ссылок на все внешние локальные файлы.

Каждая ссылка изменяется одним из двух способов:
  • Ссылки на файлы, загруженные Wget изменяются на соответствующие относительные ссылки.

    Например: если загруженный файл /foo/doc.html, ссылка на файл /bar/img.gif, также загруженный, в
    нём будет выглядеть как ../bar/img.gif. Этот способ работает, если есть видимое соотношение между
    каталогами одного и другого файла.

     

  • Ссылки на файлы, не загруженные Wget будут изменены на абсолютные адреса этих файлов на удалённом
    сервере.

    Например: если загруженный файл /foo/doc.html содержит ссылку на /bar/img.gif (или на
    ../bar/img.gif), ссылка в файле doc.html изменится на http://host/bar/img.gif.

Благодаря этому, возможен автономный просмотр сайта, файлов: если файл, на который есть ссылка
загружен, ссылка будет указывать на него, если нет - ссылка будет указывать на его адрес в интернет
(если такой существует). При конвертировании ссылок, используются относительные ссылки, значит вы
можете переносить загруженный сайт в другой каталог, не меняя его структуру.

Только после завершения загрузки Wget знает, какие файлы были загружены. Следовательно, при параметре
-k конвертация произойдет только по завершении загрузки.

-K
--backup-converted
Конвертировать ссылки обратно - убирать расширение .orig. Изменяет поведение опции -N.

-m
--mirror
Включить параметры для зеркального хранения сайтов. Этот параметр равен нескольким параметрам: -r -N
-l inf -nr. Для неприхотливого хранения зеркальных копий сайтов вы можете использовать данный
параметр.

-p
--page-requisites
Загружать все файлы, которые нужны для отображения HTML страниц. Например рисунки, звук, каскадные
стили.

По умолчанию такие файлы не загружаются. Параметры -r и -l, указанные вместе могут помочь, но т. к.
Wget не различает внешние и внутренние документы, нет гарантии, что загрузится всё требуемое.

Например, 1.html содержит тег "<IMG>", со ссылкой на 1.gif, и тег "<A>", ссылающийся на внешний
документ 2.html. Страница 2.html аналогична, но её рисунок - 2.gif и ссылается она на 3.html.
Скажем, это продолжается до определённого числа.

Если будет дана команда:
то 1.html, 1.gif, 2.html, 2.gif и 3.html загрузятся. Как видим, 3.html без 3.gif, т. к. Wget просто
считает число прыжков, по которым он перешёл, доходит до 2 и останавливается. А при параметрах:
Все файлы and рисунок 3.gif страницы 3.html загрузятся. Аналогично
приведёт к загрузке 1.html, 1.gif, 2.html и 2.gif. Чтобы загрузить одну указанную HTML страницу со
всеми её элементами, просто не указывайте -r и -l:
При этом Wget будет себя вести как при параметре -r, но будут загружены страница и её вспомогательные
файлы. Если вы хотите, чтобы вспомогательные файлы на других серверах (т.е. через абсолютные ссылки)
были загружены, используйте:
    wget -E -H -k -K -p http://I<site>/I<document>
И в завершении, нужно сказать, что для Wget внешняя ссылка - это URL, указанный в тегах "<A>",
"<AREA>" и "<LINK>", кроме "<LINK REL="stylesheet">".

Параметры запрета/разрешения рекурсивной загрузки

-A acclist --accept acclist
-R rejlist --reject rejlist
Список имён файлов, разделённых запятыми, которые следует или не следует загружать. Разрешается
задание имён файлов по маске.

-D domain-list
--domains=domain-list
Список доменов domain-list, с которых разрешено загружать файлы. Разделяется запятыми. Этот параметр
не включает -H.

--exclude-domains domain-list
Список доменов, с которых не разрешено загружать файлы

--follow-ftp
Следовать по ссылкам FTP с HTML страниц. Иначе, ссылки на файлы по протоколу FTP игнорируются.

--follow-tags=list
Wget имеет встроенную таблицу HTML тегов, в которых ищет ссылки на другие файлы. Вы можете указать
дополнительные теги в разделённом запятыми списке list в этом параметре.

-G list
--ignore-tags=list
Обратный --follow-tags. Для пропуска HTML тегов при рекурсивной загрузке, укажите их в разделённом
запятыми списке list.

Раньше параметр -G был лучшим для загрузки отдельных страниц с их вспомогательными файлами. Вы
можете посмотреть, как это было, указав команду
    wget -Ga,area -H -k -K -r http://I<site>/I<document>
Но теперь, лучшим параметром для загрузки одной страницы полностью считается --page-requisites.

-H
--span-hosts
Разрешает посещать любые сервера, на которые есть ссылка.

-L
--relative
Следовать только по относительным ссылкам. При этом параметре файлы с других серверов загружаться
точно не будут.

-I list
--include-directories=list
Список, разделённый запятыми, каталогов, из которых разрешено загружать файлы. Элементы списка list
могут содержать маскировочные символы.

-X list
--exclude-directories=list
Список, разделённый запятыми, исключаемых каталогов для загрузки (см. Ограничение по каталогам)
Элементы списка list могут содержать маскировочные символы.

-np
--no-parent
Не подниматься выше начального адреса при рекурсивной загрузке.
ПРИМЕРЫ

Примеры разделены на три категории согласно их сложности.

Простоe использование
  • Если вам нужно загрузить URL, введите:

     

  • Но что же будет, если соединение медленное, а файл длинный? Есть возможность обрыва связи перед
    завершением загрузки. В этом случае Wget будет продолжать попытки нового соединения пока не кончится
    число попыток (по умолчанию 20). Можно изменить это число, например до 45:

     

  • Теперь оставим Wget работать на фоне, а его сообщения писать в журнал log. Долго набирать —tries,
    так что используем -t.

    Символ амперсанда в конце указывает командному интерпретатору продолжать работу с пользователем, не
    дожидаясь завершения работы Wget. Чтобы программа делала повторы бесконечно используйте -t inf.

     

  • Использование FTP также простое. Wget берёт на себя заботы по авторизации.

     

  • · Если вы укажите адрес каталога, Wget загрузит список содержимого этого каталога и конвертирует его в
    формат HTML. Например:
Расширенное использование
  • Если у Вас есть файл с URL, которые вы хотите загрузить, используйте параметр -i:

    Если вы укажите — вместо имени файла, URL будут читаться из стандартного ввода (stdin).

     

  • · Создать пятиуровневую копию сайта GNU со

     

  • Как и выше, но конвертируя ссылки в HTML файлах в локальные для автономного просмотра:

     

  • Загрузить одну HTML страницу и все файлы, требуемые для отображения последней (напр. рисунки, файлы
    каскадных стилей и т. д.). Также конвертировать все ссылки на эти файлы:.Sp

    HTML страница будет сохранена в http://www.server.com/dir/page.html и рисунки, каскадные стили и прочее
    будет сохранено в каталоге http://www.server.com/, кроме случая, когда файлы будут загружаться с других
    серверов.

     

  • Как и выше, но без каталога http://www.server.com/. Также все файлы будут сохранены в подкаталогах download/.

     

  • Загрузить index.html с http://www.lycos.com, отображая заголовки сервера:

     

  • Сохранить заголовки в файл для дальнейшего использования.

     

  • Загрузить два высших уровня wuarchive.wustl.edu в /tmp.

     

  • Загрузить из каталога GIF-файлы на HTTP сервере. Команда wget http://www.server.com/dir/*.gif не
    будет работать, так как маскировочные символы не поддерживаются при загрузке по протоколу HTTP.
    Используйте:

    -r -l1 включает рекурсивную загрузку с максимальной глубиной в 1. —no-parent выключает следование по ссылкам в родительский каталог, имеющую верхний уровень, -A.gif разрешает загружать только файлы с расширением .GIF. -A «*.gif» также будет работать.

     

  • Предположим во время рекурсивной загрузки у вам нужно было срочно выключить/перезагрузить компьютер.
    Чтобы не загружать уже имеющиеся файлы, используйте:
  • Если вы хотите указать имя пользователя и пароль для HTTP или FTP сервера, используйте
    соответствующий синтаксис URL:

     

  • Вы хотите, чтобы загружаемые документы шли в стандартный вывод, а не в файлы?

    Если вы хотите устроить конвейер и загрузить все сайты, ссылки на которые указаны на одной странице:

Профессиональное использование
  • Для хранение зеркала страницы (или FTP каталога), используйте —mirror (-m), что заменяет -r -l inf -N. Вы можете добавить Wget в crontab с запросом на проверку обновлений каждое воскресенье:
  • Вы также хотите, чтобы ссылки конвертировались в локальные. Но после прочтения этого руководства, вы
    знаете, что при этом не будет работать сравнение по времени. Укажите Wget оставлять резервные копии
    HTML файлов перед конвертацией. Команда:
    
     
  • А если не работает локальный просмотр HTML файлов с расширением, отличным от .html, например
    index.cgi, нужно передать команду на переименование всех таких файлов (content-type = text/html) в
    имя.html.
    
      wget —mirror —convert-links —backup-converted \
      —html-extension -o /home/me/weeklog \
      http://www.gnu.org/
    С краткими аналогами команд:
    
  • ФАЙЛЫ
    
    /usr/local/etc/wgetrc
    Расположение по умолчанию глобального файла настроек.
    
    .wgetrc
    Пользовательский файл настроек.
    ОШИБКИ
    
    Вы можете отправлять отчёты об ошибках в GNU Wget на <"bug-wget(at)gnu.org"> (на английском).
    
    Перед отправкой:
    
    1. Убедитесь, что поведение программы действительно ошибка. Если Wget "вылетает", это точно ошибка.
    Если поведение Wget не соответствует документации, это ошибка. Если все работает странно, но вы не
    уверены, как оно должно работать на самом деле, это может быть ошибка.
    
    2. Попытайтесь повторить ошибку в минимальное количество действий.
    
    Не спешите отправлять .wgetrc, попробуйте проделать действия, приведшие к ошибке с другим (или вообще
    без него) файлом настроек.
    
    3. Запустите Wget с параметром -d и отправьте журнал (или его части). Намного намного легче отыскивать
    ошибки с такими журналами.
    
    4. Если Wget "вылетел", попытайтесь запустить его в отладчике, например "gdb `which wget` core" и
    введите "where" для получения обратной трассировки.
    СМ. ТАКЖЕ
    
    GNU Info для wget.
    АВТОРЫ
    Hrvoje Niksic <hniksic(at)arsdigita.com>.
    
    ПЕРЕВОД
    
    Н. Шафоростов <admin(at)program.net.ua>
    АВТОРСКИЕ ПРАВА
    
    Copyright (c) 1996, 1997, 1998, 2000, 2001 Free Software Foundation, Inc.

    Примеры команды wget — загрузка файлов с помощью команды wget

    Команда wget используется в основном для получения файлов с внешних ресурсов через HTTP или FTP, в этой статье мы приведем несколько примеров того, как ее использовать.

    Загрузка файла с помощью wget

    Следующая команда загрузит файл через HTTP-запрос

     wget domain.com/file.txt 

    Это сохранит его под тем же именем, что и на сервере, вы можете сохранить его под желаемым именем.Обратите внимание, что файлы должны сохранять свои расширения

     wget -O myFile.txt domain.com/file.txt 

    Может использоваться для загрузки внешних файлов, необходимых для проекта

    Загрузка файла JavaScript:

     wget https://code.jquery.com/jquery-3.3.1.min.js 

    Загрузка одного файла по FTP

    wget может использоваться для загрузки файлов через FTP, а также через HTTP, вам необходимо знать свои учетные данные и имя хоста или IP-адрес FTP-сервера.

     wget --ftp-user = FTP_USERNAME --ftp-password = 'FTP_PASSWORD' ftp: // URL / PATH_TO_FILE / FILE_NAME 

    Скачивание всех файлов в каталоге

    Синтаксис такой же, как и для одного файла, однако в конце каталога стоит символ * вместо указанного файла.

     wget --ftp-user = FTP_USERNAME --ftp-password = 'FTP_PASSWORD' ftp: // URL / PATH_TO_FTP_DIRECTORY / * 

    Скачать файл в фоновом режиме

    Можно скачать файл в фоновом режиме

     wget -bq домен.com / file.txt 

    Загрузить полный HTML-файл веб-сайта

    Вы можете реплицировать HTML-содержимое веб-сайта с помощью параметра –mirror (или для краткости -m)

     wget -m http://domain.com 

    Загрузка нескольких файлов

    Вы можете загрузить несколько файлов, URL-адреса которых хранятся в файле, каждый в отдельной строке

     cat urls.txt
    url1.com/file
    url2.com/file
    url3.com/file 
     wget -i urls.txt 

    Поэкспериментируйте с различными командами wget или используйте вышеупомянутые примеры wget в наших дешевых хостинговых пакетах cPanel, планах Linux SSD VPS или выделенных серверах Linux.

    Скачивание файлов с помощью wget | База знаний пары

    Общий

    VPS

    Выделенный

    WP Professional

    WP Professional Plus

    Команда wget — это программа для загрузки файлов из Интернета, которая может загружать все, что угодно, от файлов и веб-страниц до целых веб-сайтов.

    Базовое использование

    Формат команды wget:

     wget [параметры] url 

    Например, в простейшей форме вы должны написать команду примерно так:

     wget http: // www.domain.com/filename.zip 

    Это загрузит файл filename.zip с www.domain.com и поместит его в текущий каталог.

    Перенаправление вывода

    Параметр -O устанавливает имя выходного файла. Если файл назывался filename-4.0.1.zip и вы хотите сохранить его непосредственно в filename.zip , вы должны использовать такую ​​команду:

     wget -O filename.zip http://www.domain.com/filename-4.0.1.zip 

    Программа wget может работать с множеством различных протоколов, наиболее распространенными из которых являются ftp: // и http: //.

    Загрузка в фоновом режиме.

    Если вы хотите скачать большой файл и закрыть соединение с сервером, вы можете использовать команду:

     wget -b url 

    Загрузка нескольких файлов

    Если вы хотите загрузить несколько файлов, вы можете создать текстовый файл со списком целевых файлов. Каждое имя файла должно быть в отдельной строке. Затем вы запустите команду:

     wget -i filename.txt 

    Вы также можете сделать это с помощью файла HTML.Если у вас есть HTML-файл на вашем сервере и вы хотите загрузить все ссылки на этой странице, вам нужно добавить --force-html в свою команду.

    Чтобы использовать это, все ссылки в файле должны быть полными ссылками, если это относительные ссылки, вам нужно будет добавить после к HTML-файлу перед запуском команды:

     wget --force-html -i filename.html 

    Ограничение скорости загрузки

    Обычно вы хотите, чтобы загрузка была как можно быстрее.Однако, если вы хотите продолжить работу во время загрузки, вам нужно уменьшить скорость.

    Для этого используйте параметр --limit-rate . Вы бы использовали это так:

      wget --limit-rate = 200k http://www.domain.com/filename.tar.gz  

    Продолжается неудачная загрузка

    Если при загрузке большого файла происходит сбой, в большинстве случаев вы можете продолжить загрузку, используя параметр -c .

    Например:

     wget -c http: // www.domain.com/filename.tar.gz 

    Обычно при перезапуске загрузки с тем же именем файла к загружаемому файлу добавляется номер, начинающийся с .1, и начинается снова с начала.

    Загрузка в фоновом режиме

    Если вы хотите загрузить в фоновом режиме, используйте опцию -b . Пример этого:

     wget -b http://domain.com/filename.tar.gz 

    Проверка наличия удаленных файлов перед загрузкой по расписанию

    Если вы хотите запланировать большую загрузку заранее, стоит проверить, существуют ли удаленные файлы.Вариант запуска проверки файлов — --spider .

    В таких случаях у вас обычно есть файл со списком файлов для загрузки внутри. Пример того, как эта команда будет выглядеть при проверке списка файлов:

     wget --spider -i filename.txt 

    Однако, если вы хотите проверить только один файл, вы можете использовать эту формулу:

     wget --spider http://www.domain.com/filename.tar.gz 

    Копирование всего веб-сайта

    Если вы хотите скопировать весь веб-сайт, вам необходимо использовать параметр --mirror .Поскольку это может быть сложной задачей, вам могут потребоваться другие параметры, такие как -p , -P , --convert-links , --reject и --user-agent .

    -п Этот параметр необходим, если вы хотите, чтобы все дополнительные файлы, необходимые для просмотра страницы, такие как файлы CSS и изображения
    -P Этот параметр устанавливает каталог загрузки.Пример: -P загружено
    — переходники Эта опция исправит все ссылки в загруженных файлах. Например, он изменит любые ссылки, которые относятся к другим файлам, которые были загружены, на локальные.
    — отклонить Этот параметр запрещает загрузку определенных типов файлов. Если, например, вам нужны все файлы, кроме файлов флэш-видео (flv), вы должны использовать --reject = flv
    —пользователь-агент Этот параметр используется, когда на сайте установлена ​​защита для предотвращения соскабливания.Вы могли бы использовать это, чтобы настроить свой пользовательский агент так, чтобы он выглядел так, как будто вы используете обычный веб-браузер, а не wget.

    Использование всех этих параметров для загрузки веб-сайта будет выглядеть так:

     wget --mirror -p --convert-links -P ./local-dir --user-agent = "Mozilla / 5.0 (Windows NT 6.3; WOW64; rv: 40.0" http://www.domain.com/ 
    СОВЕТ: Будьте милым

    Всегда лучше спрашивать разрешения перед загрузкой сайта, принадлежащего кому-то другому, и даже если у вас есть разрешение, всегда хорошо поиграть с его сервером.Эти два дополнительных параметра гарантируют, что вы не нанесете вред их серверу во время загрузки.

     --wait = 15 --limit-rate = 50K 

    Это будет ждать 15 секунд между каждой страницей и ограничить скорость загрузки до 50 КБ / сек.

    Загрузка по FTP

    Если вы хотите загрузить файл через FTP и требуются имя пользователя и пароль, вам нужно будет использовать параметры --ftp-user и --ftp-password .

    Пример этого может выглядеть так:

     wget --ftp-user = ИМЯ ПОЛЬЗОВАТЕЛЯ --ftp-password = ПАРОЛЬ ftp: // ftp.domain.com/filename.tar.gz 

    Повторить

    Если во время загрузки возникают сбои, вы можете использовать опцию -t , чтобы установить количество повторных попыток. Такая команда может выглядеть так:

     wget -t 50 http://www.domain.com/filename.tar.gz 

    Вы также можете установить бесконечное количество попыток, используя -t inf .

    Рекурсивно до уровня X

    Если вы хотите получить только первый уровень веб-сайта, вы должны использовать опцию -r в сочетании с опцией -l .

    Например, если вам нужен только первый уровень веб-сайта, вы должны использовать:

     wget -r -l1 http://www.example.com/ 

    Установка логина и пароля для аутентификации

    Если вам нужно аутентифицировать HTTP-запрос, используйте команду:

     wget --http-user = ИМЯ ПОЛЬЗОВАТЕЛЯ --http-password = ПАРОЛЬ http://domain.com/filename.html 

    wget — очень сложная и полная утилита для скачивания. В нем есть еще много опций и множество комбинаций для решения конкретной задачи.Для получения дополнительной информации вы можете использовать команду man wget в терминале / командной строке, чтобы открыть руководство по wget. Вы также можете найти руководство по wget здесь в формате веб-страницы.

    Команда

    Wget в Linux с примерами

    GNU Wget — это утилита командной строки для загрузки файлов из Интернета. С Wget вы можете загружать файлы, используя протоколы HTTP, HTTPS и FTP. Wget предоставляет ряд опций, позволяющих загружать несколько файлов, возобновлять загрузки, ограничивать полосу пропускания, рекурсивные загрузки, загружать в фоновом режиме, зеркалировать веб-сайт и многое другое.

    В этой статье показано, как использовать команду wget на практических примерах и подробных объяснениях наиболее распространенных параметров.

    Установка Wget #

    Пакет wget предустановлен сегодня в большинстве дистрибутивов Linux.

    Чтобы проверить, установлен ли пакет Wget в вашей системе, откройте консоль, введите wget и нажмите Enter. Если у вас установлен wget, система напечатает wget: missing URL .В противном случае он напечатает Команда wget не найдена .

    Если wget не установлен, вы можете легко установить его с помощью диспетчера пакетов вашего дистрибутива.

    Установка Wget на Ubuntu и Debian #

      sudo apt install wget  

    Установка Wget на CentOS и Fedora #

      sudo yum install wget  

    Синтаксис команды Wget #

    Перед тем, как перейти к использованию wget , давайте начнем с обзора основного синтаксиса.

    Выражения утилиты wget имеют следующий вид:

    • options — Параметры Wget
    • url — URL-адрес файла или каталога, который вы хотите загрузить или синхронизировать.

    Как загрузить файл с помощью

    wget #

    В простейшей форме, при использовании без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.

    В следующем примере мы загружаем tar-архив ядра Linux:

      wget https: // cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.2.tar.xz  

    Как видно из изображения выше, wget начинается с разрешения IP-адреса домена, а затем подключается к удаленный сервер и начинает передачу.

    Во время загрузки wget показывает индикатор выполнения вместе с именем файла, размером файла, скоростью загрузки и расчетным временем завершения загрузки. После завершения загрузки вы можете найти загруженный файл в своем текущем рабочем каталоге. .

    Чтобы отключить вывод, используйте опцию -q .

    Если файл уже существует, wget добавит .N (номер) в конце имени файла.

    Сохранение загруженного файла под другим именем #

    Чтобы сохранить загруженный файл под другим именем, передайте параметр -O , за которым следует выбранное имя:

      wget -O latest-hugo.zip https: // github.com/gohugoio/hugo/archive/master.zip  

    Приведенная выше команда сохранит последнюю версию hugo zip-файл с GitHub как latest-hugo.zip вместо первоначального имени.

    Загрузка файла в определенный каталог #

    По умолчанию wget сохранит загруженный файл в текущем рабочем каталоге. Чтобы сохранить файл в определенном месте, используйте параметр -P :

      wget -P / mnt / iso http://mirrors.mit.edu/centos/7/isos/x86_64/CentOS-7-x86_64 -Minimal-1804.iso  

    Приведенная выше команда сообщает wget сохранить ISO-файл CentOS 7 в каталог / mnt / iso .

    Ограничение скорости загрузки #

    Чтобы ограничить скорость загрузки, используйте параметр --limit-rate . По умолчанию скорость измеряется в байтах в секунду. Добавьте k для килобайт, m для мегабайт и g для гигабайт.

    Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 МБ:

      wget --limit-rate = 1m https://dl.google.com/go/go1.10.3.linux-amd64.tar .gz  

    Этот параметр полезен, если вы не хотите, чтобы wget занимал всю доступную полосу пропускания.

    Возобновление загрузки #

    Вы можете возобновить загрузку с помощью параметра -c . Это полезно, если ваше соединение прерывается во время загрузки большого файла, и вместо того, чтобы начинать загрузку с нуля, вы можете продолжить предыдущую.

    В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:

      wget -c http://releases.ubuntu.com/18.04/ubuntu-18.04-live-server-amd64.iso  

    Если удаленный сервер не поддерживает возобновление загрузки, wget начнет загрузку с начала и перезапишет существующий файл.

    Загрузка в фоновом режиме #

    Для загрузки в фоновом режиме используйте параметр -b . В следующем примере мы загружаем iso-файл OpenSuse в фоновом режиме:

      wget -b https://download.opensuse.org/tumbleweed/iso/openSUSE-Tumbleweed-DVD-x86_64-Current.iso  

    По умолчанию вывод перенаправляется в файл wget-log в текущем каталоге. Чтобы следить за статусом загрузки, используйте tail команда:

      tail -f wget-log  

    Изменение агента пользователя Wget #

    Иногда при загрузке файла удаленный сервер может быть настроен на блокировку агента пользователя Wget.В подобных ситуациях, чтобы эмулировать другой браузер, передайте опцию -U .

      wget --user-agent = "Mozilla / 5.0 (X11; Linux x86_64; rv: 60.0) Gecko / 20100101 Firefox / 60.0" http://wget-forbidden.com/  

    Приведенная выше команда будет эмулировать Firefox 60 запрос страницы с wget-forbidden.com

    Загрузка нескольких файлов #

    Если вы хотите загрузить несколько файлов одновременно, используйте параметр -i , за которым следует путь к локальному или внешнему файлу, содержащему список URL-адресов для загрузки.Каждый URL-адрес должен быть в отдельной строке.

    В следующем примере показано, как загрузить iso-файлы Arch Linux, Debian и Fedora, используя URL-адреса, указанные в файле linux-distros.txt :

      wget -i linux-distros.txt  

    linux- distros.txt

      http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso
    https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
    https: // скачать.fedoraproject.org/pub/fedora/linux/releases/28/Server/x86_64/iso/Fedora-Server-dvd-x86_64-28-1.1.iso
      

    Если вы укажете - в качестве имени файла, URL-адреса будут считываться из стандартного ввода.

    Загрузка через FTP #

    Чтобы загрузить файл с защищенного паролем FTP-сервера, укажите имя пользователя и пароль, как показано ниже:

      wget --ftp-user = FTP_USERNAME --ftp-password = FTP_PASSWORD ftp: / /ftp.example.com/filename.tar.gz  

    Создание зеркала веб-сайта #

    Чтобы создать зеркало веб-сайта с помощью wget , используйте параметр -m .Это создаст полную локальную копию веб-сайта, следуя и загружая все внутренние ссылки, а также ресурсы веб-сайта (JavaScript, CSS, изображения).

      wget -m https://example.com  

    Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.

      wget -m -k -p https://example.com  

    Параметр -k заставит wget преобразовать ссылки в загруженных документах, чтобы сделать их пригодными для локального просмотра.Опция -p сообщит wget о необходимости загрузки всех необходимых файлов для отображения HTML-страницы.

    Пропуск проверки сертификата #

    Если вы хотите загрузить файл через HTTPS с хоста с недействительным сертификатом SSL, используйте опцию --no-check-certificate :

      wget --no-check- сертификат https://domain-with-invalid-ss.com  

    Загрузка на стандартный вывод #

    В следующем примере wget незаметно (флаг -q ) загрузит и выведет последнюю версию WordPress на stdout (флаг -O - ) и направьте его в утилиту tar , которая распакует архив в каталог / var / www .

      wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C / var / www  

    Заключение №

    С помощью wget вы можете загружать несколько файлов, возобновлять частичные загрузки, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.

    Чтобы узнать больше о Wget, посетите GNU wget Manual страница.

    Руководство по Wget — Примеры

    Руководство по Wget — Примеры Перейти к первому, предыдущему, следующему, последнему разделу оглавления.

    Для ясности примеры разделены на три раздела.Первый раздел — это учебник для начинающих. Второй раздел объясняет некоторые из более сложных функций программы. Третий раздел содержит советы администраторам зеркал, а также еще более сложные особенности (которые некоторые назвали бы извращенными).

    • Скажем, вы хотите загрузить URL-адрес. Просто введите:
      wget http://fly.cc.fer.hr/
       
      Ответ будет примерно таким:
      --13: 30: 45-- http://fly.cc.fer.hr:80/
                 => `index.html '
      Подключение к полетам.cc.fer.hr:80 ... подключено!
      HTTP-запрос отправлен, получение заголовков ... готово.
      Длина: 1749 [text / html]
      
          0K ->.
      
      13:30:46 (68,32 К / с) - `index.html 'сохранен [1749/1749]
       
    • Но что произойдет, если соединение медленное, а файл длинный? Соединение, вероятно, завершится ошибкой до того, как будет получен весь файл, больше чем единожды. В этом случае Wget будет пытаться получить файл, пока он либо получает все, либо превышает количество повторных попыток по умолчанию (это 20). Количество попыток легко изменить до 45, чтобы убедитесь, что весь файл будет доставлен в целости и сохранности:
      wget --tries = 45 http: // fly.cc.fer.hr/jpg/flyweb.jpg
       
    • Теперь оставим Wget работать в фоновом режиме и запишем его прогресс. для регистрации файла `log ‘. Набирать `—tries ‘ утомительно, поэтому мы должен использовать `-t ‘.
      wget -t 45 -o log http://fly.cc.fer.hr/jpg/flyweb.jpg &
       
      Амперсанд в конце строки гарантирует, что Wget работает в задний план. Чтобы не ограничивать количество повторных попыток, используйте `-t inf ‘.
    • Использовать FTP так же просто. Wget позаботится о логине и пароль.
      $ wget ftp://gnjilux.cc.fer.hr/welcome.msg
      --23: 35: 55-- ftp://gnjilux.cc.fer.hr:21/welcome.msg
                 => `welcome.msg '
      Подключение к gnjilux.cc.fer.hr:21 ... подключено!
      Авторизоваться как аноним ... Авторизоваться!
      ==> ТИП I ... готово. ==> CWD не нужен.
      ==> ПОРТ ... готово. ==> RETR welcome.msg ... готово.
      Длина: 1340 (неавторизованный)
       
          0K ->.
       
      23:35:56 (37.39K / s) - сохранен файл `welcome.msg '[1340]
       
    • Если вы укажете каталог, Wget получит список каталогов, проанализировать его и преобразовать в HTML.Пытаться:
      wget ftp://prep.ai.mit.edu/pub/gnu/
      lynx index.html
       
    • Вы хотите прочитать список URL-адресов из файла? Не проблема с этим:
      wget -i файл
       
      Если вы укажете `- ‘ в качестве имени файла, URL-адреса будут считываться из стандартный ввод.
    • Создайте зеркальное отображение WWW-сайта GNU (с той же структурой каталогов оригинал имеет) только с одной попыткой для каждого документа, сохраняя журнал действия для `gnulog ‘:
      wget -r -t1 ​​http: // www.gnu.ai.mit.edu/ -o gnulog
       
    • Получите первый уровень ссылок Yahoo:
      wget -r -l1 http://www.yahoo.com/
       
    • Получите index.html `www.lycos.com ‘, показывая исходный заголовки сервера:
      wget -S http://www.lycos.com/
       
    • Сохраните заголовки сервера вместе с файлом:
      wget -s http://www.lycos.com/
      подробнее index.html
       
    • Получите первые два уровня `wuarchive.wustl.edu ‘, сохранив их в / tmp.
      wget -P / tmp -l2 ftp://wuarchive.wustl.edu/
       
    • Вы хотите загрузить все GIF-файлы из каталога HTTP. `wget http: //host/dir/*.gif ‘ не работает, так как HTTP поиск не поддерживает подстановку. В этом случае используйте:
      wget -r -l1 --no-parent -A.gif http: // хост / каталог /
       
      Это немного похоже на кладж, но это работает. `-r -l1 ‘ означает получить рекурсивно (See section Рекурсивное извлечение) с максимальной глубиной 1. `—no-parent ‘ означает, что ссылки на родительский каталог игнорируется (See section Ограничения на основе каталогов), и `-A.gif ‘ означает скачивайте только файлы GIF. `-A» * .gif «‘ работал бы слишком.
    • Предположим, вы были в процессе загрузки, когда Wget был прервано. Теперь вы не хотите уничтожать уже существующие файлы. Это было бы:
      wget -nc -r http://www.gnu.ai.mit.edu/
       
    • Если вы хотите закодировать собственное имя пользователя и пароль в HTTP или FTP используйте соответствующий синтаксис URL (см. Раздел Формат URL).
      wget ftp: // hniksic: mypassword @ jagor.srce.hr/.emacs
       
    • Если вам не нравится визуализация поиска по умолчанию (1K точек с 10 точек на кластер и 50 точек на строку), вы можете настроить его через точку настройки (See section Команды Wgetrc). Например, многим нравится «бинарный» стиль поиска с 8K точек и 512K строк:
      wget --dot-style = двоичный ftp://prep.ai.mit.edu/pub/gnu/README
       
      Вы можете поэкспериментировать с другими стилями, например:
      wget --dot-style = мега ftp://ftp.xemacs.org/pub/xemacs/xemacs-20.4 / xemacs-20.4.tar.gz
      wget --dot-style = micro http://fly.cc.fer.hr/
       
      Чтобы сделать эти настройки постоянными, поместите их в свой `.wgetrc ‘, как описанный ранее (См. раздел Пример Wgetrc).
    • Если вы хотите, чтобы Wget сохранял зеркало страницы (или FTP подкаталоги) используйте `—mirror ‘ (` -m’ ), что является сокращением для `-r -N ‘. Вы можете поместить Wget в файл crontab, попросив его перепроверяйте сайт каждое воскресенье:
      crontab
      0 0 * * 0 wget --mirror ftp: // ftp.xemacs.org/pub/xemacs/ -o / home / me / weeklog
       
    • Вы можете сделать то же самое с чьей-либо домашней страницей. Но ты не хотите загрузить все эти изображения — вас интересует только HTML.
      wget --mirror -A.html http://www.w3.org/
       
    • Но как насчет зеркалирования хостов, которые сетеобразно близки вам? Это кажется ужасно медленным из-за всего этого разрешения DNS. Просто используйте `-D ‘ (См. Раздел« Принятие домена »).
      wget -rN -Dsrce.hr http: // www.srce.hr/
       
      Теперь Wget правильно обнаружит, что `regoc.srce.hr ‘ то же самое как `www.srce.hr ‘, но даже не будем принимать во внимание ссылка на `www.mit.edu ‘.
    • У вас есть презентация, и вы хотите, чтобы тупые абсолютные ссылки были преобразован в родственник? Используйте `-k ‘:
      wget -k -r  URL 
       
    • Вы хотите, чтобы выходные документы выводились на стандартный вывод вместо в файлы? ОК, но Wget автоматически отключится (включите `—quiet ‘), чтобы предотвратить смешивание вывода Wget и полученного документы.
      wget -O - http://jagor.srce.hr/ http://www.srce.hr/
       
      Вы также можете комбинировать эти два варианта и создавать странные конвейеры для получить документы из удаленных горячих списков:
      wget -O - http://cool.list.com/ | wget --force-html -i -
       

    Перейти к первому, предыдущему, следующему, последнему разделу оглавления.

    Справка по команде Linux wget и примеры

    wget — бесплатная утилита для неинтерактивной загрузки файлов из Интернета.Он поддерживает протоколы HTTP, HTTPS и FTP, а также поиск через HTTP-прокси.

    wget не интерактивен, что означает, что он может работать в фоновом режиме, пока пользователь не вошел в систему, что позволяет вам начать поиск и отключиться от системы, позволяя wget завершить работу. Напротив, большинство веб-браузеров требуют постоянного взаимодействия с пользователем, что затрудняет передачу большого объема данных.

    wget может переходить по ссылкам на страницах HTML и XHTML и создавать локальные версии удаленных веб-сайтов, полностью воссоздавая структуру каталогов исходного сайта, что иногда называют «рекурсивной загрузкой».» При этом wget соблюдает стандарт исключения роботов (robots.txt). wget можно указать для преобразования ссылок в загруженных файлах HTML в локальные файлы для просмотра в автономном режиме.

    wget разработан для обеспечения устойчивости к медленным или нестабильным сетевым соединениям; если загрузка не удалась из-за проблем с сетью, она будет повторять попытки до тех пор, пока не будет получен весь файл. Если сервер поддерживает повторную загрузку, он даст указание серверу продолжить загрузку с того места, где она была остановлена.

    Самый простой способ использовать wget — указать ему местоположение файла для загрузки по HTTP. Например, чтобы загрузить файл http://website.com/files/file.zip , используйте следующую команду:

    Существует множество вариантов, которые позволяют использовать wget по-разному, для разных целей. Они описаны ниже.

    Для других операционных систем см. Документацию диспетчера пакетов для получения информации о том, как найти двоичный пакет wget и установить его.Или вы можете установить его из исходного кода с веб-сайта GNU по адресу https://www.gnu.org/software/wget/.

    Для поддержки зашифрованных загрузок HTTP (HTTPS), wget должен быть скомпилирован с внешней библиотекой SSL, в настоящее время OpenSSL. Если wget скомпилирован без поддержки SSL, ни один из этих вариантов недоступен.

    Загрузите файл домашней страницы по умолчанию (index.htm) с сайта www.computerhope.com . Файл будет сохранен в рабочем каталоге.

    Скачайте файл archive.zip с www.example.org и ограничьте использование полосы пропускания загрузки до 200 к / с .

    Загрузите archive.zip с example.org и, если в текущем каталоге существует частичная загрузка, возобновите загрузку с того места, где она была остановлена.

    Загрузите archive.zip в фоновом режиме, тем временем вернув вас в командную строку.

    Использует режим «паука» для проверки существования удаленного файла. Результат будет примерно таким:

    Загрузите полное зеркало веб-сайта www.example.org в папку ./example-mirror для локального просмотра.

    Остановите загрузку archive.zip после успешной передачи пяти мегабайт. Позднее эту передачу можно будет возобновить с помощью опции -c .

    -V , — версия Отобразите версию wget и выйдите.
    -h , —help Распечатайте справочное сообщение, описывающее все параметры командной строки wget , и завершите работу.
    -b , — фон Перейти в фоновый режим сразу после запуска.Если выходной файл не указан через -o , вывод перенаправляется на wget-log .
    -e команда ,
    — выполнить команду
    Выполнить команду , как если бы она была частью файла .wgetrc . Вызванная таким образом команда будет выполняться после команд в .wgetrc , таким образом имея приоритет над ними.
    -o файл журнала ,
    —output-file = файл журнала
    Записывать все сообщения в файл журнала .Сообщения обычно передаются стандартной ошибке.
    -a файл журнала ,
    —append-output = файл журнала
    Добавить к файлу журнала . Этот параметр аналогичен параметру -o , только добавляет в файл журнала вместо перезаписи старого файла журнала. Если файл журнала не существует, создается новый файл.
    -d , —отладка Включите вывод отладки, что означает различную информацию, важную для разработчиков wget , если она не работает должным образом.Ваш системный администратор, возможно, решил скомпилировать wget без поддержки отладки, и в этом случае -d не будет работать.

    Обратите внимание, что компиляция с поддержкой отладки всегда безопасна; wget , скомпилированный с поддержкой отладки, не будет печатать какую-либо отладочную информацию, если не будет запрошено с помощью -d .

    -q , — тихий Отключить вывод wget .
    -v , -verbose Включите подробный вывод со всеми доступными данными.По умолчанию вывод является подробным.
    -nv , — без подробностей Невнятный вывод. Отключите подробный вывод, не будучи полностью тихим (используйте для этого -q ), что означает, что сообщения об ошибках и основная информация по-прежнему печатаются.
    -i файл , —input-file = файл Чтение URL-адресов из локального или внешнего файла. Если «» указано как файл , URL-адреса считываются из стандартного ввода.(Используйте « ./- » для чтения из файла с буквальным названием «».)

    Если используется эта функция, в командной строке указывать URL-адреса не требуется. Если есть URL-адреса как в командной строке, так и во входном файле, URL-адреса в командной строке будут извлечены в первую очередь. Если —force-html не указан, то файл должен состоять из серии URL-адресов, по одному в строке.

    Однако, если вы укажете —force-html , документ будет рассматриваться как HTML.В этом случае у вас могут возникнуть проблемы с относительными ссылками, которые можно решить либо добавив в документы url «> в HTML или используя параметр командной строки —base.

    -B URL
    —base = URL
    Разрешает относительные ссылки, используя URL-адрес в качестве точки отсчета, при чтении ссылок из файла HTML, указанного с помощью параметра -i / —input-file (вместе с —force-html или когда ввод файл был получен удаленно с сервера, описав его как HTML).Этот параметр эквивалентен наличию тега « BASE » во входном файле HTML с URL-адресом в качестве значения для атрибута « href ».

    Например, если вы укажете http: //foo/bar/a.html для URL, а wget прочитает ../baz/b.html из входного файла, он будет преобразован в http : //foo/baz/b.html .

    —config = ФАЙЛ Укажите расположение файла запуска, который вы хотите использовать.
    —bind-address = АДРЕС При создании клиентских подключений TCP / IP привяжите к АДРЕСУ на локальном компьютере. АДРЕС может быть указан как имя хоста или IP-адрес. Эта опция может быть полезна, если ваш компьютер привязан к нескольким IP-адресам.
    -t номер , — попытки = номер Установить количество попыток на число . Укажите 0 или inf для бесконечного повторения.По умолчанию повторяется 20 раз, за ​​исключением фатальных ошибок, таких как «соединение отклонено» или «не найдено» (404), которые не повторяются.
    -O файл , —output-document = файл Документы не будут записаны в соответствующие файлы, но все они будут объединены и записаны в файл .

    Если «» используется как файл , документы будут распечатаны на стандартный вывод, отключив преобразование ссылок.(Используйте « ./- » для печати в файл с буквальным названием «».)

    Использование -O не означает «использовать файл имени вместо того, который указан в URL»; скорее, это аналог перенаправления оболочки: wget -O file http: // foo предназначен для работы как wget -O — http: // foo> file ; файл будет немедленно усечен, и все загруженное содержимое будет записано в него.

    По этой причине -N (для проверки отметки времени) не поддерживается в сочетании с -O : поскольку файл всегда создается заново, он всегда будет иметь очень новую отметку времени.При использовании этой комбинации будет выдано предупреждение.

    Аналогично, использование -r или -p с -O может работать не так, как вы ожидаете: wget не просто загрузит первый файл в файл, а затем загрузит остальные под их обычными именами: все загруженный контент будет помещен в файл. Это было отключено в версии 1.11, но было восстановлено (с предупреждением) в 1.11.2, поскольку в некоторых случаях это поведение действительно может иметь какое-то применение.

    Обратите внимание, что комбинация с -k разрешена только при загрузке одного документа, так как в этом случае она просто преобразует все относительные URI во внешние; -k не имеет смысла для нескольких URI, когда все они загружаются в один файл; -k можно использовать только в том случае, если вывод — это обычный файл.

    -nc , -no-clobber Если файл загружается более одного раза в один и тот же каталог, поведение wget зависит от нескольких параметров, включая -nc . В некоторых случаях при повторной загрузке локальный файл «затирается» (перезаписывается). В остальных случаях он будет сохранен.

    При запуске wget без -N , -nc или -r загрузка того же файла в том же каталоге приведет к сохранению исходной копии файла, а второй копии будет присвоено имя file.1 . Если этот файл будет загружен еще раз, третья копия будет называться файл.2 и так далее. Если указан -nc , такое поведение подавляется, и wget откажется загружать новые копии файла. Следовательно, «no-clobber» — неправильное название в этом режиме: предотвращается не затирание (поскольку числовые суффиксы уже предотвращали затирание), а скорее отключенное сохранение нескольких версий.

    При запуске wget с -r , но без -N или -nc повторная загрузка файла приведет к тому, что новая копия перезапишет старую.Добавление -nc предотвратит такое поведение, вместо этого сохраняя исходную версию и игнорируя все новые копии на сервере.

    При запуске wget с -N , с -r или без него, решение о том, загружать или нет новую копию файла, зависит от локальной и удаленной метки времени и размера файла. -nc нельзя указывать одновременно с -N .

    Обратите внимание, что при указании -nc файлы с суффиксами .html или .htm будет загружен с локального диска и проанализирован, как если бы они были получены из Интернета.

    -c , — продолжение Продолжить получение частично загруженного файла. Эта опция полезна, когда вы хотите завершить загрузку, начатую предыдущим экземпляром wget или другой программой. Например:
     wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z 
    Если есть файл с именем ls-lR.Z в текущем каталоге, wget будет считать, что это первая часть удаленного файла, и попросит сервер продолжить поиск со смещения, равного длине локального файла.

    Обратите внимание, что вам не нужно указывать этот параметр, если вы просто хотите, чтобы текущий вызов wget повторил попытку загрузки файла, если соединение будет потеряно на полпути, что является поведением по умолчанию. -c влияет только на возобновление загрузок, начатых до этого вызова wget , и чьи локальные файлы все еще остаются.

    Без -c предыдущий пример просто загрузил бы удаленный файл на ls-lR.Z.1 , оставив только усеченный файл ls-lR.Z .

    Начиная с wget 1.7, если вы используете -c для непустого файла, и оказывается, что сервер не поддерживает продолжение загрузки, wget откажется начать загрузку с нуля, что приведет к эффективно разрушить существующее содержимое. Если вы действительно хотите, чтобы загрузка началась с нуля, удалите файл.

    Кроме того, начиная с wget 1.7, если вы используете -c для файла того же размера, что и файл на сервере, wget откажется загрузить файл и напечатает пояснительное сообщение. То же самое происходит, когда файл меньше на сервере, чем локально (предположительно, потому что он был изменен на сервере с момента вашей последней попытки загрузки), потому что «продолжение» не имеет смысла, загрузка не происходит.

    С другой стороны, при использовании -c любой файл, размер которого на сервере больше, чем локально, будет считаться неполной загрузкой, и только (длина (удаленная) — длина (локальная)) байты будут загружены и прикреплены к конец локального файла.Такое поведение может быть желательным в определенных случаях: например, вы можете использовать wget -c для загрузки только новой части, которая была добавлена ​​в сбор данных или файл журнала.

    Однако, если файл на сервере больше из-за того, что он был изменен, а не просто добавлен, вы получите искаженный файл. wget не может проверить, действительно ли локальный файл является действительным префиксом удаленного файла. Вы должны быть особенно осторожны с этим при использовании -c вместе с -r , так как каждый файл будет рассматриваться как кандидат на «неполную загрузку».

    Другой случай, когда вы получите искаженный файл, если попытаетесь использовать -c , — это если у вас некачественный HTTP-прокси, который вставляет строку «передача прервана» в локальный файл. В будущем для решения этой проблемы может быть добавлена ​​опция «отката».

    Обратите внимание, что -c работает только с FTP-серверами и с HTTP-серверами, которые поддерживают заголовок «Диапазон».

    —progress = тип Выберите индикатор выполнения, который вы хотите использовать.Юридические индикаторы: « точек, » и « бар, ».

    По умолчанию используется индикатор « bar ». Он рисует графику индикатора выполнения в формате ASCII (он же «дисплей термометра»), указывающий на статус поиска. Если вывод не является телетайпом, по умолчанию будет использоваться полоса « точек, ».

    Используйте —progress = dot , чтобы переключиться на отображение « dot ». Он отслеживает извлечение путем печати точек на экране, каждая точка представляет фиксированный объем загруженных данных.

    При использовании точечного извлечения вы также можете установить стиль, указав тип как точка: стиль . В разных стилях одной точке присваивается разное значение. В стиле « по умолчанию » каждая точка представляет 1 Кбайт, десять точек в кластере и 50 точек в строке. Стиль « binary » имеет более «компьютерную» ориентацию: 8 тыс. Точек, кластеры из 16 точек и 48 точек на строку (что составляет 384 тыс. Строк). Стиль « мега » подходит для загрузки очень больших файлов; каждая точка представляет 6 извлеченных 4K, есть восемь точек в кластере и 48 точек в каждой строке (так что каждая строка содержит 3 M).

    Обратите внимание, что вы можете установить стиль по умолчанию с помощью команды progress в .wgetrc . Этот параметр можно изменить из командной строки. Исключением является то, что, когда вывод не является TTY, прогресс « точек, » будет иметь преимущество перед « bar ». Чтобы форсировать выход стержня, используйте —progress = bar: force .

    -N , — временная метка Включите отметку времени. Выходной файл будет иметь временную метку, соответствующую удаленной копии; если файл уже существует локально, а удаленный файл не новее, загрузка не произойдет.
    — отметки времени no-use-server Не устанавливать метку времени локального файла по метке на сервере.

    По умолчанию, когда файл загружается, его временные метки устанавливаются в соответствии с метками из удаленного файла, что позволяет использовать —timestamping при последующих вызовах wget . Однако иногда бывает полезно основывать временную метку локального файла на том, когда он был фактически загружен; для этой цели предусмотрена опция —no-use-server-timestamps .

    -S , — ответ сервера Распечатать заголовки, отправленные серверами HTTP, и ответы, отправленные серверами FTP.
    — паук При вызове с этой опцией wget будет вести себя как веб-паук, что означает, что он не будет загружать страницы, просто убедитесь, что они есть. Например, вы можете использовать wget для проверки закладок:
     wget --spider --force-html -i bookmarks.html 
    Эта функция требует гораздо большей работы для wget , чтобы приблизиться к функциональности настоящих веб-пауков.
    -T секунд , —timeout = секунд Установите время ожидания сети на секунд секунд. Этот параметр эквивалентен одновременному указанию —dns-timeout , —connect-timeout и —read-timeout .

    При взаимодействии с сетью wget может проверить тайм-аут и прервать операцию, если она длится слишком долго.Это предотвращает аномалии, такие как зависание чтения и бесконечные подключения. Единственный включенный по умолчанию тайм-аут — это 900-секундный тайм-аут чтения. Установка тайм-аута на 0 полностью отключает его. Если вы не знаете, что делаете, лучше не изменять настройки тайм-аута по умолчанию.

    Все параметры, связанные с тайм-аутом, принимают десятичные значения, а также субсекундные значения. Например, 0,1 секунда является допустимым (хотя и неразумным) выбором тайм-аута. Субсекундные таймауты полезны для проверки времени ответа сервера или для проверки задержки в сети.

    —dns-timeout = секунд Установите время ожидания поиска DNS на секунд секунд. Поиск DNS, который не завершится в течение указанного времени, завершится ошибкой. По умолчанию для DNS-запросов нет тайм-аута, кроме тех, которые реализованы системными библиотеками.
    — тайм-аут соединения = секунд Установите время ожидания подключения на секунд секунд. TCP-соединения, для установления которых требуется больше времени, будут прерваны.По умолчанию тайм-аут подключения отсутствует, кроме установленного системными библиотеками.
    — тайм-аут чтения = секунд Установите тайм-аут чтения (и записи) на секунд секунд. Чтения, которые занимают больше времени, завершатся ошибкой. Значение тайм-аута чтения по умолчанию — 900 секунд.
    — предел-ставка = сумма Ограничьте скорость загрузки до , количество байт в секунду. Количество может быть выражено в байтах, килобайтах (с суффиксом k ) или мегабайтах (с суффиксом m ).Например, —limit-rate = 20k ограничит скорость извлечения до 20 КБ / с. Эта опция полезна, когда по какой-либо причине вы не хотите, чтобы wget занимал всю доступную полосу пропускания.

    Эта опция позволяет использовать десятичные числа, обычно в сочетании с суффиксами мощности; например, —limit-rate = 2,5k — допустимое значение.

    Обратите внимание, что wget реализует ограничение путем ожидания соответствующего периода времени после чтения из сети, которое заняло меньше времени, чем указано в скорости.В конце концов, эта стратегия приводит к замедлению передачи TCP примерно до указанной скорости. Однако для достижения этого баланса может потребоваться некоторое время, поэтому не удивляйтесь, если ограничение скорости не работает с очень маленькими файлами.

    -w секунд , —wait = секунд Подождите указанное количество секунд между извлечениями. Рекомендуется использовать эту опцию, так как она снижает нагрузку на сервер, делая запросы менее частыми.Вместо секунд можно указать время в минутах с суффиксом m , в часах с суффиксом h или в днях с суффиксом d .

    Указание большого значения для этой опции полезно, если сеть или целевой хост не работают, так что wget может ждать достаточно долго, чтобы разумно ожидать, что сетевая ошибка будет исправлена ​​перед повторной попыткой. На интервал ожидания, задаваемый этой функцией, влияет параметр —random-wait (см. Ниже).

    — ожидание = секунд Если вы не хотите, чтобы wget ожидал между каждым получением, а только между повторными попытками неудачных загрузок, вы можете использовать эту опцию. wget будет использовать линейный откат, ожидая 1 секунду после первого сбоя для данного файла, а затем ожидая 2 секунды после второго сбоя для этого файла, до максимального количества секунд , которое вы укажете. Следовательно, значение 10 фактически заставит wget ждать до (1 + 2 +… + 10) = 55 секунд на файл.

    По умолчанию wget принимает значение 10 секунд.

    — случайное ожидание Некоторые веб-сайты могут выполнять анализ журналов для выявления программ поиска, таких как wget , путем поиска статистически значимых сходств во времени между запросами. Эта опция заставляет время между запросами варьироваться от 0 до 2 * wait секунд, где wait был указан с использованием опции —wait , чтобы замаскировать присутствие wget из такого анализа.
    — без прокси Не используйте прокси, даже если определена соответствующая переменная среды * _proxy .
    -Q квота , —quota = квота Укажите квоту загрузки для автоматического получения. Значение может быть указано в байтах (по умолчанию), килобайтах (с суффиксом k ) или мегабайтах (с суффиксом m ).

    Обратите внимание, что квота никогда не влияет на загрузку одного файла.Поэтому, если вы укажете wget -Q10k ftp://wuarchive.wustl.edu/ls-lR.gz , все файлы ls-lR.gz будут загружены. То же самое происходит, даже когда в командной строке указано несколько URL-адресов. Однако квота соблюдается при извлечении рекурсивно или из входного файла. Таким образом, вы можете спокойно ввести wget -Q2m -i sites ; загрузка будет прервана при превышении квоты.

    Установка квоты на 0 или на inf снимает ограничение на загрузку.

    —no-dns-cache Отключить кеширование запросов DNS. Обычно wget запоминает адреса, которые он искал из DNS, поэтому ему не нужно повторно связываться с DNS-сервером для того же (обычно небольшого) набора адресов, которые он извлекает. Этот кеш существует только в памяти; новый запуск wget снова свяжется с DNS.

    Однако сообщалось, что в некоторых ситуациях нежелательно кэшировать имена хостов даже на время короткого выполнения приложения, такого как wget .С этой опцией wget выполняет новый поиск DNS (точнее, новый вызов « gethostbyname » или « getaddrinfo ») каждый раз, когда устанавливает новое соединение. Обратите внимание, что этот параметр не повлияет на кэширование, которое может выполняться библиотекой разрешения или внешним слоем кэширования, например NSCD.

    —restrict-file-names = режимы Измените, какие символы, найденные в удаленных URL-адресах, могут отображаться в именах локальных файлов, созданных на основе этих URL-адресов.Символы, которые ограничены этой опцией, экранируются, т. Е. Заменяются на % HH , где HH — шестнадцатеричное число, соответствующее ограниченному символу.

    По умолчанию wget экранирует символы, которые недопустимы как часть имен файлов в вашей операционной системе, а также управляющие символы, которые обычно не печатаются. Эта опция полезна для изменения этих значений по умолчанию, либо потому, что вы загружаете в чужой раздел, либо потому, что вы хотите отключить экранирование управляющих символов.

    Режимы — это набор текстовых значений, разделенных запятыми. Допустимые значения: unix , windows , nocontrol , ascii , нижний регистр и верхний регистр . Значения unix и windows являются взаимоисключающими (одно перекрывает другое), как и строчные и прописные . Последние являются особыми случаями, поскольку они не изменяют набор символов, которые должны быть экранированы, а скорее заставляют локальные пути к файлам преобразовываться в нижний или верхний регистр.

    Когда режим установлен на unix , wget экранирует символ / и управляющие символы в диапазонах 0 31 и 128 159 . Этот параметр установлен по умолчанию в Unix-подобных ОС.

    Когда режим установлен на windows , wget экранирует символы \ , | , /, : , ? , «, * , <, > , а управляющие символы в диапазонах 0 31 и 128 159 .В дополнение к этому, wget в режиме Windows использует + вместо : для разделения хоста и порта в именах локальных файлов и использует @ вместо и для отделения части запроса имени файла от остальное. Следовательно, URL-адрес, который будет сохранен как www.xemacs.org:4300/search.pl?input=blah в режиме Unix, будет сохранен как www.xemacs.org + 4300 / [email protected] = blah в Режим Windows. Этот режим установлен в Windows по умолчанию.

    Если указать nocontrol , то экранирование управляющих символов также будет отключено. Этот параметр может иметь смысл, когда вы загружаете URL-адреса, имена которых содержат символы UTF-8, в системе, которая может сохранять и отображать файлы файлов в UTF-8 (некоторые возможные значения байтов, используемые в байтовых последовательностях UTF-8, попадают в диапазон значений обозначается wget как «контроль»).

    Режим ascii используется для указания, что любые байты, значения которых выходят за пределы диапазона символов ASCII (то есть больше 127), должны экранироваться.Этот режим может быть полезен при сохранении имен файлов, кодировка которых не соответствует используемой локально.

    -4 , —inet4-only ; -6 , — только для интернета Принудительно подключиться к адресам IPv4 или IPv6. С —inet4-only или -4 , wget будет подключаться только к хостам IPv4, игнорируя записи AAAA в DNS и отказываясь подключаться к адресам IPv6, указанным в URL-адресах. И наоборот, с —inet6-only или -6 , wget будет подключаться только к хостам IPv6 и игнорировать записи A и адреса IPv4.

    Обычно ни одна из опций не требуется. По умолчанию, wget с поддержкой IPv6 будет использовать семейство адресов, указанное в DNS-записи хоста. Если DNS отвечает адресами IPv4 и IPv6, wget будет пробовать их последовательно, пока не найдет тот, к которому можно подключиться. (Также см. Параметр « —prefer-family », описанный ниже.)

    Эти параметры могут использоваться для преднамеренного принудительного использования семейств адресов IPv4 или IPv6 в системах с двумя семействами, обычно для облегчения отладки или устранения неисправностей. конфигурация сети.Одновременно можно указать только один из —inet6-only и —inet4-only . Ни один из вариантов недоступен в wget , скомпилированном без поддержки IPv6.

    —prefer-family = { none | IPv4 | IPv6 } Если предоставляется выбор из нескольких адресов, сначала подключитесь к адресам с указанным семейством адресов. Порядок адресов, возвращаемый DNS, по умолчанию используется без изменений.

    Это позволяет избежать ложных ошибок и попыток подключения при доступе к узлам, которые разрешают адреса как IPv6, так и IPv4 из сетей IPv4.Например, www.kame.net преобразуется в 2001: 200: 0: 8002: 203: 47ff: fea5: 3085 и в 203.178.141.194 . Если предпочтительным семейством является « IPv4 », первым используется адрес IPv4; когда предпочтительным семейством является « IPv6 », первым используется адрес IPv6; если указанное значение — « нет », порядок адресов, возвращаемый DNS, используется без изменений.

    В отличие от -4 и -6 , этот параметр не запрещает доступ к какому-либо семейству адресов, он только изменяет порядок доступа к адресам.Также обратите внимание, что переупорядочивание, выполняемое этой опцией, является стабильным; это не влияет на порядок адресов одного семейства. То есть относительный порядок всех адресов IPv4 и всех адресов IPv6 остается неизменным во всех случаях.

    — отказ от повторного соединения Считайте «соединение отклонено» временной ошибкой и повторите попытку. Обычно wget отказывается от URL-адреса, когда он не может подключиться к сайту, потому что сбой подключения рассматривается как признак того, что сервер вообще не работает и повторные попытки не помогут.Этот вариант предназначен для зеркалирования ненадежных сайтов, серверы которых обычно исчезают на короткое время.
    —user = user ,
    —password = пароль
    Укажите имя пользователя , пользователь и пароль , для получения файлов по FTP и HTTP. Эти параметры можно изменить с помощью параметров —ftp-user и —ftp-password для FTP-подключений и параметров —http-user и —http-password для HTTP-подключений.
    — пароль-аск Запрашивать пароль для каждого установленного соединения. Нельзя указать при использовании —password , потому что они исключают друг друга.
    — без iri Отключите поддержку интернационализированного URI (IRI). Используйте —iri , чтобы включить его. Поддержка IRI активирована по умолчанию.

    Вы можете установить состояние поддержки IRI по умолчанию, используя команду « iri » в .wgetrc . Этот параметр можно изменить из командной строки.

    —local-encoding = кодировка Заставить wget использовать кодировку в качестве системной кодировки по умолчанию. Это влияет на то, как wget преобразует URL-адреса, указанные в качестве аргументов, из локали в UTF-8 для поддержки IRI.

    wget используйте функцию « nl_langinfo () », а затем переменную среды «CHARSET», чтобы получить локаль. Если это не удается, используется ASCII.

    Вы можете установить локальную кодировку по умолчанию с помощью команды « local_encoding » в .wgetrc . Этот параметр можно изменить из командной строки.

    —remote-encoding = кодировка Заставить wget использовать кодировку в качестве кодировки удаленного сервера по умолчанию. Это влияет на то, как wget преобразует URI, найденные в файлах, из удаленной кодировки в UTF-8 во время рекурсивной выборки. Эта опция полезна только для поддержки IRI, для интерпретации символов, отличных от ASCII.

    Для HTTP удаленное кодирование можно найти в заголовке HTTP « Content-Type » и в метатеге HTML « Content-Type http-Equiv ».

    Вы можете установить кодировку по умолчанию с помощью команды « remoteencoding » в .wgetrc . Этот параметр можно изменить из командной строки.

    —unlink Заставить wget разорвать связь с файлом вместо затирания существующего файла. Эта опция полезна для загрузки в каталог с жесткими ссылками.
    , — без справочников Не создавайте иерархию каталогов при рекурсивном извлечении. Если этот параметр включен, все файлы будут сохраняться в текущем каталоге без искажения (если имя отображается более одного раза, имена файлов будут иметь расширения .n ).
    -x , —force-каталоги Противоположность ; создать иерархию каталогов, даже если в противном случае она не была бы создана.Например, wget -x http://fly.srk.fer.hr/robots.txt сохранит загруженный файл в fly.srk.fer.hr/robots.txt .
    -nH ,
    —no-host-каталогов
    Отключить создание каталогов с префиксом хоста. По умолчанию вызов wget с -r http://fly.srk.fer.hr/ создаст структуру каталогов, начинающуюся с fly.srk.fer.hr/ . Эта опция отключает такое поведение.
    — протокол-каталоги Используйте имя протокола как компонент каталога для имен локальных файлов.Например, с этой опцией wget -r http: // host сохранит на http / host / …, а не только на host / ….
    —cut-dirs = номер Игнорировать компоненты каталога номер . Эта опция полезна для получения детального контроля над каталогом, в котором будет сохраняться рекурсивный поиск.

    Возьмем, к примеру, каталог по адресу ftp://ftp.xemacs.org/pub/xemacs/ . Если вы получите его с помощью команды -r , он будет сохранен локально под ftp.xemacs.org/pub/xemacs/ . В то время как опция -nH может удалить часть ftp.xemacs.org/ , вы по-прежнему застряли с pub / xemacs , где вам пригодится —cut-dirs ; это заставляет wget не «видеть» номер компоненты удаленного каталога. Вот несколько примеров того, как работает параметр —cut-dirs :

    (без параметров) ftp.xemacs.org/pub/xemacs/
    -nH pub / xemacs /
    -nH —cut-dirs = 1 xemacs /
    -nH —cut-dirs = 2 .
    —cut-dirs = 1 ftp.xemacs.org/xemacs/

    Если вы просто хотите избавиться от структуры каталогов, этот параметр аналогичен комбинации и -P . Однако, в отличие от -го , —cut-dirs не проигрывает подкаталогам; например, при -nH —cut-dirs = 1 подкаталог beta / будет помещен в xemacs / beta , как и следовало ожидать.
    -P префикс ,
    —directory-prefix = префикс
    Установить префикс каталога на префикс . Префикс каталога — это каталог, в котором будут сохранены все другие файлы и подкаталоги, то есть верхняя часть дерева поиска. По умолчанию это «. » (текущий каталог).
    -E , —html-extension Если загружен файл типа application / xhtml + xml или text / html , а URL-адрес не заканчивается регулярным выражением « \.[Hh] [Tt] [Mm] [Ll]? «, этот параметр приведет к добавлению суффикса .html к имени локального файла. Этот параметр полезен, например, когда вы зеркалируете удаленный сайт, который использует страницы .asp , но вы хотите, чтобы зеркальные страницы для просмотра на вашем стандартном сервере Apache. Еще одно хорошее применение — это загрузка материалов, созданных с помощью CGI. URL-адрес типа http://site.com/article.cgi?25 будет сохранен как article.cgi? 25.html .

    Обратите внимание, что имена файлов, измененные таким образом, будут повторно загружаться каждый раз при повторном зеркалировании сайта, поскольку wget не может определить, что локальный X.Файл .html соответствует удаленному URL-адресу X (поскольку он еще не знает, что URL-адрес производит вывод типа text / html или application / xhtml + xml ).

    Начиная с версии 1.12, wget также гарантирует, что все загруженные файлы типа text / css оканчиваются на суффикс .css , а параметр был переименован с —html-extension , чтобы лучше отразить его новое поведение. Старое имя опции по-прежнему приемлемо, но теперь его следует считать устаревшим.

    В какой-то момент в будущем этот параметр вполне может быть расширен за счет включения суффиксов для других типов контента, включая типы контента, которые не анализируются wget .

    —http-user = пользователь ,
    —http-passwd = пароль
    Укажите имя пользователя , пользователь и пароль , на HTTP-сервере. Согласно задаче, wget закодирует их, используя либо «базовую» (небезопасную), либо «дайджест» схему аутентификации.

    Другой способ указать имя пользователя и пароль — в самом URL. Любой из этих методов показывает ваш пароль всем, кто пытается запустить ps . Чтобы пароли не были видны, сохраните их в .wgetrc или .netrc и обязательно защитите эти файлы от других пользователей с помощью chmod . Если пароли важны, не оставляйте их лежать в этих файлах; отредактируйте файлы и удалите их после того, как wget начнет загрузку.

    — без кеширования Отключить кеширование на стороне сервера.В этом случае wget отправит удаленному серверу соответствующую директиву (Pragma: no-cache ), чтобы получить файл от удаленной службы, вместо того, чтобы возвращать кэшированную версию. Эта опция особенно полезна для получения и удаления устаревших документов на прокси-серверах.

    Кэширование разрешено по умолчанию.

    — без печенья Отключить использование файлов cookie. Файлы cookie — это механизм для поддержания состояния на стороне сервера.Сервер отправляет клиенту файл cookie, используя заголовок « Set-Cookie », и клиент отвечает тем же файлом cookie на дальнейшие запросы. Поскольку файлы cookie позволяют владельцам серверов отслеживать посетителей, а сайты обмениваться этой информацией, некоторые считают их нарушением конфиденциальности. По умолчанию используются файлы cookie; однако сохранение файлов cookie по умолчанию отключено.
    — загрузить файлы cookie файл Загрузить файлы cookie из файла перед первым запросом HTTP. файл — это текстовый файл в формате, который изначально использовался файлом Netscape cookies.txt .

    Вы обычно будете использовать эту опцию при зеркальном отображении сайтов, которые требуют, чтобы вы вошли в систему для доступа к некоторой части или всему их содержимому. Процесс входа в систему обычно выполняется веб-сервером, который выдает файл cookie HTTP после получения и проверки ваших учетных данных. Затем файл cookie повторно отправляется браузером при доступе к этой части сайта и, таким образом, подтверждает вашу личность.

    Для зеркалирования такого сайта требуется wget для отправки тех же файлов cookie, которые ваш браузер отправляет при взаимодействии с сайтом.Для этого используйте —load-cookies ; укажите wget в расположение файла cookies.txt , и он будет отправлять те же файлы cookie, которые ваш браузер отправляет в той же ситуации. Разные браузеры хранят текстовые файлы cookie в разных местах:

    Файл cookie
    Netscape 4.x Файлы cookie находятся в ~ / .netscape / cookies.txt .
    Mozilla и Netscape 6.x Mozilla также называется cookie.txt , расположенный где-то под ~ / .mozilla , в каталоге вашего профиля. Полный путь обычно выглядит как ~ / .mozilla / default / some-weird-string / cookies.txt .
    Internet Explorer Вы можете создать файл cookie, который wget сможет использовать, используя меню «Файл», «Импорт и экспорт», «Экспорт файлов cookie». Протестировано с Internet Explorer 5 (ого, это старый), но его работа с более ранними версиями не гарантируется.
    другие браузеры Если вы используете другой браузер для создания файлов cookie, —load-cookies работает только в том случае, если вы можете найти или создать файл cookie в формате Netscape, который ожидает wget .

    Если вы не можете использовать —load-cookies , возможно, есть альтернатива. Если ваш браузер поддерживает «менеджер файлов cookie», вы можете использовать его для просмотра файлов cookie, используемых при доступе к сайту, который вы зеркалируете. Запишите имя и значение файла cookie и вручную дайте команду wget отправить эти файлы cookie, минуя «официальную» поддержку файлов cookie:
     wget --no-cookies --header "Cookie:  = " 
    —сохранить-куки файл Сохраните файлы cookie в файле перед выходом.При этом не будут сохраняться файлы cookie с истекшим сроком действия или без срока действия (так называемые «сеансовые файлы cookie»), но также см. —keep-session-cookies .
    — куки-файлы для сессий Если указано, —save-cookies также сохраняет файлы cookie сеанса. Сеансовые куки-файлы обычно не сохраняются, потому что они предназначены для хранения в памяти и забывания при выходе из браузера. Сохранение их полезно на сайтах, которые требуют, чтобы вы вошли в систему или зашли на домашнюю страницу, прежде чем вы сможете получить доступ к некоторым страницам.С этой опцией несколько запусков wget считаются одним сеансом браузера для сайта.

    Поскольку формат файла cookie обычно не содержит cookie сеанса, wget помечает их меткой времени истечения срока действия 0 . wget —load-cookies распознает их как файлы cookie сеанса, но это может сбить с толку другие браузеры. Также обратите внимание, что загруженные таким образом файлы cookie будут обрабатываться как другие файлы cookie сеанса, а это означает, что если вы хотите, чтобы —save-cookies сохранял их снова, вы должны снова использовать —keep-session-cookies .

    — длина игнорирования К сожалению, некоторые HTTP-серверы (точнее, программы CGI) отправляют фальшивые заголовки « Content-Length », из-за чего wget начинает кричать, как застрявшая свинья, поскольку считает, что не весь документ был получен. Вы можете обнаружить этот синдром, если wget пытается получить один и тот же документ снова и снова, каждый раз утверждая, что соединение (в остальном нормальное) закрылось на том же самом байте.

    С этой опцией wget игнорирует заголовок « Content-Length », как будто его никогда не существовало.

    —header = строка заголовка Отправлять строку заголовка вместе с остальными заголовками в каждом HTTP-запросе. Предоставленный заголовок отправляется как есть, что означает, что он должен содержать имя и значение, разделенные двоеточием, и не должен содержать новых строк.

    Вы можете определить более одного дополнительного заголовка, указав —header более одного раза.

     wget --header = 'Accept-Charset: iso-8859-2' --header = 'Accept-Language: hr' http://fly.srk.fer.hr/ 
    Указание пустой строки в качестве заголовка value очистит все предыдущие пользовательские заголовки.

    Начиная с версии wget 1.10, эту опцию можно использовать для переопределения заголовков, которые в противном случае генерируются автоматически. Этот пример указывает wget подключиться к localhost, но указать foo.bar в заголовке « Host »:

     wget --header = «Host: foo.bar "http: // localhost / 
    В версиях wget до 1.10 такое использование —header вызывало отправку повторяющихся заголовков.
    —max-redirect = номер Задает максимальное количество перенаправлений для ресурса. По умолчанию установлено 20, что обычно намного больше, чем необходимо. Однако в тех случаях, когда вы хотите разрешить больше (или меньше), это вариант, который можно использовать.
    —proxy-user = user ,
    —proxy-password = пароль
    Укажите имя пользователя , пользователь и пароль , для аутентификации на прокси-сервере. wget закодирует их, используя «базовую» схему аутентификации.

    Соображения безопасности, аналогичные тем, которые используются с —http-password , также относятся к этому.

    —referer = url Включить заголовок « Referer: url » в HTTP-запрос. Полезно для получения документов с обработкой на стороне сервера, которые предполагают, что они всегда извлекаются интерактивными веб-браузерами и выводятся правильно только тогда, когда Referer установлен на одну из страниц, которые указывают на них.
    —сохраняющие заголовки Сохраните заголовки, отправленные HTTP-сервером, в файл, предшествующие фактическому содержимому, с пустой строкой в ​​качестве разделителя.
    -U строка агента ,
    —user-agent = строка агента
    Определить как строка агента для HTTP-сервера.

    Протокол HTTP позволяет клиентам идентифицировать себя с помощью поля заголовка « User-Agent ».Это позволяет различать программное обеспечение WWW, обычно для статистических целей или для отслеживания нарушений протокола. wget обычно идентифицируется как « Wget / версия », версия является текущим номером версии wget .

    Однако известно, что некоторые сайты применяют политику адаптации вывода в соответствии с предоставленной информацией « User-Agent ». Хотя теоретически это не такая уж и плохая идея, серверы злоупотребляли ею, отказывая в информации клиентам, отличным от (исторически) Netscape или, что чаще, Microsoft Internet Explorer.Эта опция позволяет вам изменить строку « User-Agent », выдаваемую wget . Использование этой опции не рекомендуется, если вы действительно не знаете, что делаете.

    Указание пустого пользовательского агента с помощью —user-agent = «» инструктирует wget не отправлять заголовок « User-Agent » в HTTP-запросах.

    —post-data = строка ,
    —post-file = файл
    Используйте POST в качестве метода для всех HTTP-запросов и отправьте указанные данные в теле запроса. —post-data отправляет строку в качестве данных, тогда как —post-file отправляет содержимое файла . В остальном они работают точно так же. В частности, они оба ожидают содержимого формы « ключ1 = значение1 & ключ2 = значение2 » с процентным кодированием для специальных символов; единственное отличие состоит в том, что один ожидает свое содержимое как параметр командной строки, а другой принимает свое содержимое из файла. В частности, —post-file не предназначен для передачи файлов в виде вложений к форме: они должны отображаться как данные « ключ = значение » (с соответствующим процентным кодированием), как и все остальное. wget в настоящее время не поддерживает « multipart / form-data » для передачи данных POST ; только « application / x-www-form-urlencoded ». Должен быть указан только один из —post-data и —post-file .

    Имейте в виду, что wget необходимо заранее знать размер данных POST . Следовательно, аргумент « —post-file » должен быть обычным файлом; указание FIFO или чего-то вроде / dev / stdin не сработает.Не совсем понятно, как обойти это ограничение, присущее HTTP / 1.0. Хотя HTTP / 1.1 вводит фрагментированную передачу, для которой не требуется заранее знать длину запроса, клиент не может использовать фрагментированную передачу, если он не знает, что обращается к серверу HTTP / 1.1. И он не может знать этого, пока не получит ответ, который, в свою очередь, требует, чтобы запрос был завершен, что является своего рода проблемой курицы и яйца.

    Обратите внимание, что если wget перенаправляется после завершения запроса POST, он не будет отправлять данные POST на перенаправленный URL-адрес.Потому что URL-адреса, которые обрабатывают POST, часто отвечают перенаправлением на обычную страницу, которая не желает и не принимает POST. Не совсем ясно, оптимально ли такое поведение; если не получится, возможно, в будущем его поменяют.

    В этом примере показано, как войти на сервер с помощью POST, а затем продолжить загрузку желаемых страниц, предположительно доступных только авторизованным пользователям. Сначала мы авторизуемся на сервере, что можно сделать только один раз.

     wget --save-cookies cookies.txt --post-data 'user = foo & password = bar' http://server.com/auth.php 
    И затем мы берем страницу (или страницы), которые нам интересны:
     wget --load-cookies cookies.txt - p http://server.com/interesting/article.php 
    Если сервер использует файлы cookie сеанса для отслеживания аутентификации пользователя, вышеуказанное не будет работать, потому что —save-cookies не сохранит их (как и браузеры) и файл cookies.txt будет пустым. В этом случае используйте —keep-session-cookies вместе с —save-cookies , чтобы принудительно сохранить файлы cookie сеанса.
    —содержание-расположение Если это установлено, экспериментальная (не полностью функциональная) поддержка заголовков « Content-Disposition » включена. Эта опция в настоящее время может приводить к дополнительным циклам обращения к серверу для запроса « HEAD » и, как известно, страдает несколькими ошибками, поэтому в настоящее время она не включена по умолчанию.

    Эта опция полезна для некоторых программ CGI для загрузки файлов, которые используют заголовки « Content-Disposition » для описания имени загружаемого файла.

    —rust-server-names Если это установлено, при перенаправлении последний компонент URL-адреса перенаправления будет использоваться как имя локального файла. По умолчанию используется последний компонент в исходном URL-адресе.
    — аутентификация без запроса Если задана эта опция, wget будет отправлять базовую информацию аутентификации HTTP (имя пользователя и пароль в виде открытого текста) для всех запросов, как и wget 1.10.2 и более ранние версии делались по умолчанию.

    Использование этой опции не рекомендуется и предназначено только для поддержки нескольких малоизвестных серверов, которые никогда не отправляют запросы аутентификации HTTP, но принимают незапрашиваемую информацию аутентификации, скажем, в дополнение к аутентификации на основе форм.

    —secure-protocol = протокол Выберите безопасный протокол, который будет использоваться. Допустимые значения: auto , SSLv2 , SSLv3 и TLSv1 . Если используется auto , библиотеке SSL предоставляется свобода выбора соответствующего протокола автоматически, что достигается путем отправки приветствия SSLv2 и объявления поддержки SSLv3 и TLSv1, которые используются по умолчанию.

    Указание SSLv2, SSLv3 или TLSv1 приводит к принудительному использованию соответствующего протокола.Эта опция полезна при разговоре со старыми и ошибочными реализациями сервера SSL, из-за которых OpenSSL затрудняется выбрать правильную версию протокола. К счастью, такие серверы встречаются довольно редко.

    — сертификат без проверки Не сверяйте сертификат сервера с доступными центрами сертификации. Кроме того, не требуется, чтобы имя хоста URL совпадало с общим именем, указанным в сертификате.

    Начиная с версии wget 1.10, по умолчанию выполняется проверка сертификата сервера на соответствие признанным центрам сертификации, разрывая квитирование SSL и прерывая загрузку в случае сбоя проверки.Хотя это обеспечивает более безопасную загрузку, это нарушает взаимодействие с некоторыми сайтами, которые работали с предыдущими версиями wget , особенно с теми, которые используют самозаверяющие, просроченные или иным образом недействительные сертификаты. Этот параметр включает «небезопасный» режим работы, который превращает ошибки проверки сертификата в предупреждения и позволяет продолжить.

    Если вы столкнулись с ошибками «проверки сертификата» или с сообщениями о том, что «общее имя не совпадает с запрошенным именем хоста», вы можете использовать эту опцию, чтобы обойти проверку и продолжить загрузку.Используйте эту опцию только в том случае, если вы уверены в подлинности сайта или если вас действительно не волнует срок действия его сертификата. Почти всегда плохая идея — не проверять сертификаты при передаче конфиденциальных или важных данных.

    —сертификат = файл Используйте сертификат клиента, хранящийся в файле . Эта информация необходима для серверов, которые настроены так, чтобы требовать сертификаты от клиентов, которые к ним подключаются.Обычно сертификат не требуется, и этот переключатель не является обязательным.
    — тип сертификата = тип Укажите тип сертификата клиента. Допустимые значения: PEM (предполагается по умолчанию) и DER, также известный как ASN1.
    — закрытый ключ = файл Прочитать закрытый ключ из файла . Эта опция позволяет вам предоставить закрытый ключ в файле отдельно от сертификата.
    — тип закрытого ключа = тип Укажите тип закрытого ключа. Допустимые значения: PEM (по умолчанию) и DER.
    —ca-certificate = файл Используйте файл как файл с пакетом центров сертификации («CA») для проверки одноранговых узлов. Сертификаты должны быть в формате PEM.

    Без этой опции wget ищет сертификаты CA в указанных системой местах, выбранных во время установки OpenSSL.

    —ca-directory = directory Задает каталог, содержащий сертификаты CA в формате PEM. Каждый файл содержит один сертификат CA, а имя файла основано на хэш-значении, полученном из сертификата. Это достигается обработкой каталога сертификатов утилитой « c_rehash », поставляемой с OpenSSL. Использование —ca-directory более эффективно, чем —ca-certificate , когда установлено много сертификатов, потому что это позволяет Wget получать сертификаты по запросу.

    Без этой опции wget ищет сертификаты CA в указанных системой местах, выбранных во время установки OpenSSL.

    —случайный файл = файл Используйте файл в качестве источника случайных данных для заполнения генератора псевдослучайных чисел в системах без / dev / random .

    В таких системах библиотеке SSL для инициализации требуется внешний источник случайности. Случайность может быть предоставлена ​​EGD (см. —egd-file ниже) или считана из внешнего источника, указанного пользователем.Если этот параметр не указан, wget ищет случайные данные в $ RANDFILE или, если он не задан, в $ HOME / .rnd . Если ни один из них не доступен, вполне вероятно, что шифрование SSL не будет использоваться.

    Если вы получаете сообщение «Не удалось запустить OpenSSL PRNG; отключение SSL». ошибка, вам следует предоставить случайные данные, используя некоторые из методов, описанных выше.

    —egd-file = файл Использовать файл как сокет EGD.EGD означает Entropy Gathering Daemon, программу пользовательского пространства, которая собирает данные из различных непредсказуемых системных источников и делает их доступными для других программ, которым они могут понадобиться. Программное обеспечение для шифрования, такое как библиотека SSL, нуждается в источниках неповторяющейся случайности для заполнения генератора случайных чисел, используемого для создания криптографически стойких ключей.

    OpenSSL позволяет пользователю указать свой собственный источник энтропии с помощью переменной окружения «RAND_FILE». Если эта переменная не установлена ​​или указанный файл не создает достаточной случайности, OpenSSL будет читать случайные данные из сокета EGD, указанного с помощью этой опции.

    Если эта опция не указана (и эквивалентная команда запуска не используется), EGD никогда не связывается. EGD не требуется в современных системах Unix, которые поддерживают / dev / random .

    —ftp-user = user ,
    —ftp-password = пароль
    Укажите имя пользователя , пользователь и пароль , на FTP-сервере. Без этого или соответствующего параметра запуска пароль по умолчанию — [защищенная электронная почта] , обычно используемый для анонимного FTP.

    Другой способ указать имя пользователя и пароль — в самом URL. Любой из этих методов показывает ваш пароль всем, кто пытается запустить ps . Чтобы пароли не были видны, сохраните их в .wgetrc или .netrc и обязательно защитите эти файлы от других пользователей с помощью chmod . Если пароли важны, не оставляйте их лежать в этих файлах; отредактируйте файлы и удалите их после того, как wget начнет загрузку.

    — список без удаления Не снимайте временный .перечисляет файл, сгенерированный поиском по FTP. Обычно эти файлы содержат необработанные списки каталогов, полученные от FTP-серверов. Отказ от их удаления может быть полезен для целей отладки или когда вы хотите иметь возможность легко проверять содержимое каталогов удаленного сервера (например, чтобы убедиться, что запущенное вами зеркало готово).

    Обратите внимание, что даже несмотря на то, что wget записывает в известное имя файла для этого файла, это не дыра в безопасности в сценарии, когда пользователь делает .listing символической ссылкой на / etc / passwd или что-то еще и запрашивает root для запуска wget в своем каталоге.В зависимости от используемых параметров, либо wget откажется записывать в .listing , что приведет к сбою операции подстановки / рекурсии / отметки времени, либо символическая ссылка будет удалена и заменена фактическим файлом .listing, либо листинг будет записан в файл .listing.number.

    Несмотря на то, что эта ситуация не является проблемой, root никогда не должен запускать wget в каталоге недоверенного пользователя. Пользователь мог сделать что-нибудь простое, например привязать индекс .html от до / etc / passwd и попросив root запустить wget с -N или -r , чтобы файл был перезаписан.

    — без шара Отключить глобальный доступ к FTP. Globbing относится к использованию специальных символов, подобных оболочке (подстановочных знаков), например * , ? , [ и ] для одновременного получения нескольких файлов из одного каталога, например:
     wget ftp: //gnjilux.srk.fer.hr/*.msg 
    По умолчанию подстановка будет включена, если URL-адрес содержит подстановочный символ. Эта опция может использоваться для постоянного включения или выключения глобализации.

    Возможно, вам придется указать URL-адрес в кавычках, чтобы защитить его от расширения вашей оболочкой. Globbing заставляет wget искать список каталогов, который зависит от системы. Вот почему в настоящее время он работает только с FTP-серверами Unix (и теми, которые эмулируют вывод Unix ls ).

    — не пассивный-ftp Отключить использование пассивного режима передачи FTP.Пассивный FTP требует, чтобы клиент подключился к серверу для установления соединения для передачи данных, а не наоборот.

    Если машина подключена к Интернету напрямую, пассивный и активный FTP должны работать одинаково хорошо. За большинством конфигураций брандмауэра и NAT у пассивного FTP больше шансов на работу. Однако в некоторых редких конфигурациях брандмауэра активный FTP действительно работает, а пассивный — нет. Если вы подозреваете, что это так, используйте эту опцию или установите « passive_ftp = off » в вашем файле инициализации.

    —retr-symlinks Обычно при рекурсивном получении каталогов FTP и обнаружении символической ссылки связанный файл не загружается. Вместо этого в локальной файловой системе создается соответствующая символическая ссылка. Указанный файл не будет загружен, если этот рекурсивный поиск не обнаружит его отдельно и все равно загрузит.

    Однако, если указан —retr-symlinks , символьные ссылки проходят и файлы, на которые указывают ссылки, извлекаются.В настоящее время эта опция не заставляет wget переходить по символическим ссылкам в каталоги и рекурсивно просматривать их, но в будущем для этого необходимо усовершенствовать.

    Обратите внимание, что при получении файла (не каталога) из-за того, что он был указан в командной строке, а не из-за рекурсии, этот параметр не действует. В этом случае переход по символическим ссылкам осуществляется всегда.

    -r , — рекурсивный Включите рекурсивное извлечение.
    -l глубина , —уровень = глубина Укажите максимальный уровень глубины рекурсии глубину . По умолчанию максимальная глубина составляет 5 .
    — удалить после Этот параметр указывает wget удалить каждый загружаемый файл после этого. Это полезно для предварительной загрузки популярных страниц через прокси, например:
     wget -r -nd --delete-after http: // something.com / ~ popular / page / 
    Параметр -r предназначен для рекурсивного извлечения, а -nd — не создавать каталоги.

    Обратите внимание, что —delete-after удаляет файлы на локальном компьютере. Например, он не отправляет команду DELE FTP для удаленных FTP-сайтов. Также обратите внимание, что когда указано —delete-after , —convert-links игнорируется, поэтому файлы .orig не создаются в первую очередь.

    -k , — преобразователи После завершения загрузки преобразуйте ссылки в документе, чтобы сделать их пригодными для локального просмотра.Это влияет не только на видимые гиперссылки, но и на любую часть документа, которая ссылается на внешнее содержимое, такое как встроенные изображения, ссылки на таблицы стилей, гиперссылки на содержимое, отличное от HTML, и т. Д. Обратите внимание, что когда —output-document — указано, —convert-links игнорируется. Каждая ссылка будет изменена одним из двух способов:

    1. Ссылки на файлы, которые были загружены с помощью wget , будут изменены, чтобы ссылаться на файл, на который они указывают, как относительную ссылку. Пример: если загруженный файл / foo / doc.html ссылается на /bar/img.gif , также загруженный, тогда ссылка в doc.html будет изменена на ../bar/img.gif . Такое преобразование надежно работает для произвольных комбинаций каталогов.

    2. Ссылки на файлы, которые не были загружены wget , будут изменены, чтобы включать имя хоста и абсолютный путь к месту, на которое они указывают. Пример: если загруженный файл /foo/doc.html ссылается на / bar / img.gif (или на ../bar/img.gif ), тогда ссылка в doc.html будет изменена на http: //hostname/bar/img.gif .

    Благодаря этому локальный просмотр работает надежно: если связанный файл был загружен, ссылка будет ссылаться на его локальное имя; если он не был загружен, ссылка будет относиться к его полному интернет-адресу, а не указывать на неработающую ссылку. Тот факт, что прежние ссылки преобразуются в относительные, гарантирует, что вы можете переместить загруженную иерархию в другой каталог.

    Обратите внимание, что только в конце загрузки wget может узнать, какие ссылки были загружены. По этой причине работа, выполненная с помощью -k , будет выполнена в конце всех загрузок.

    -K , — с резервным преобразованием При преобразовании файла сделайте резервную копию исходной версии с суффиксом .orig . Влияет на поведение -N .
    , -зеркало Включите параметры, подходящие для зеркального отображения.Эта опция включает рекурсию и отметку времени, устанавливает бесконечную глубину рекурсии и сохраняет списки каталогов FTP. В настоящее время он эквивалентен -r -N -l inf -nr .
    -p , — страница-реквизиты Эта опция заставляет wget загружать все файлы, необходимые для правильного отображения данной HTML-страницы. Включая такие вещи, как встроенные изображения, звуки и таблицы стилей, на которые есть ссылки. Обычно при загрузке одной HTML-страницы любые необходимые документы, которые могут потребоваться для ее правильного отображения, не загружаются.Использование -r вместе с -l может помочь, но поскольку wget обычно не различает внешние и встроенные документы, обычно остаются «листовые документы», в которых отсутствуют их реквизиты.

    Например, скажем, документ 1.html содержит тег , ссылающийся на 1.gif , и тег , указывающий на внешний документ 2.html . Предположим, что 2.html аналогичен, но его изображение 2.gif и ссылка на 3.html . Скажем, это продолжается до некоторого произвольно большого числа.

    Если выполнить команду:

     wget -r -l 2 http: //  /1.html 
    , то 1.html , 1.gif , 2.html , 2. gif и 3.html будут загружены. Как видите, 3.html не содержит реквизитов 3.gif , потому что wget считает количество переходов (до 2) от 1.html , чтобы определить, где остановить рекурсию. Однако с помощью этой команды:
     wget -r -l 2 -p http: //  /1.html 
    будут загружены все вышеуказанные файлы и 3.html реквизит 3.gif . Аналогично,
     wget -r -l 1 -p http: //  /1.html 
    вызовет 1.html , 1.gif , 2.html и 2.gif на быть загруженным. Можно подумать, что:
     wget -r -l 0 -p http: //  /1.html 
    загрузит только 1.html и 1.gif , но, к сожалению, это не так, потому что -l 0 эквивалентно -l inf ; то есть бесконечная рекурсия. Чтобы загрузить одну HTML-страницу (или несколько из них, все они указаны в командной строке или во входном файле URL-адреса -i ) и ее (или их) реквизиты, оставьте -r и -l :
     wget -p http: //  /1.html 
    Обратите внимание, что wget будет вести себя так, как если бы был указан -r , но будет загружена только эта отдельная страница и ее реквизиты.Ссылки с этой страницы на внешние документы переходить не будут. Фактически, чтобы загрузить одну страницу и все ее реквизиты (даже если они существуют на отдельных веб-сайтах) и убедиться, что лот отображается правильно локально, этот автор любит использовать несколько параметров в дополнение к -p :
     wget -E -H -k -K -p http: //  /  
    Чтобы завершить эту тему, стоит знать, что идея wget для ссылки на внешний документ — это любой URL, указанный в
    , тег или тег , отличный от « .
    —строгие комментарии Включите строгий анализ комментариев HTML. По умолчанию комментарии завершаются при первом появлении -> .

    Согласно спецификациям, комментарии HTML выражаются в виде деклараций SGML. Объявление — это специальная разметка, которая начинается с и заканчивается на > , например , который может содержать комментарии между парой разделителей .Комментарии HTML — это «пустые объявления», объявления SGML без какого-либо текста, не являющегося комментарием. Следовательно, является допустимым комментарием, как и , но не является.

    С другой стороны, большинство разработчиков HTML не воспринимают комментарии как что-либо иное, кроме текста с разделителями , что не совсем то же самое. Например, что-то вроде работает как допустимый комментарий, если количество тире кратно четырем.Если нет, комментарий технически длится до следующего , который может быть на другом конце документа. Из-за этого многие популярные браузеры полностью игнорируют спецификацию и реализуют то, что пользователи ожидают: комментарии, разделенные знаками .

    До версии 1.9, wget интерпретировал комментарии строго, что приводило к отсутствию ссылок на многих веб-страницах, которые хорошо отображались в браузерах, но имели несчастье содержать несоответствующие комментарии.Начиная с версии 1.9, wget пополнил ряды клиентов, которые реализуют «наивные» комментарии, завершая каждый комментарий при первом появлении -> .

    Если по какой-либо причине вам нужен строгий синтаксический анализ комментариев, используйте эту опцию, чтобы включить его.

    -A acclist , — принять acclist ;
    -R rejlist , —reject rejlist
    Укажите разделенные запятыми списки суффиксов или шаблонов имен файлов, которые необходимо принять или отклонить.Обратите внимание, что если какой-либо из подстановочных знаков, * , ? , [ или ] , появляются в элементе acclist или rejlist , он будет рассматриваться как шаблон, а не суффикс.
    -D список доменов ,
    —domains = список доменов
    Установить отслеживаемые домены. список-доменов — это список доменов, разделенных запятыми. Обратите внимание, что он не включает -H .
    —exclude-domains список доменов Укажите домены, за которыми не следует следить.
    — Follow-ftp Переходите по FTP-ссылкам из HTML-документов. Без этой опции wget будет игнорировать все FTP-ссылки.
    —follow-tags = список wget имеет внутреннюю таблицу пар тегов / атрибутов HTML, которую он учитывает при поиске связанных документов во время рекурсивного поиска.Однако, если пользователь хочет, чтобы учитывалась только часть этих тегов, ему или ей следует указать такие теги в списке, разделенном запятыми, с помощью этой опции.
    —ignore-tags = список Эта опция является противоположностью опции —follow-tags . Чтобы пропустить определенные теги HTML при рекурсивном поиске документов для загрузки, укажите их в списке, разделенном запятыми.

    В прошлом этот вариант был лучшим выбором для загрузки отдельной страницы и ее реквизитов с использованием командной строки, например:

     wget --ignore-tags = a, area -H -k -K -r http: / /  /  
    Однако автор этой опции натолкнулся на страницу с тегами типа « » и пришел к выводу, что указание тегов игнорируется было недостаточно.Нельзя просто указать wget игнорировать « », потому что тогда таблицы стилей не будут загружены. Теперь лучший вариант для загрузки отдельной страницы и ее реквизитов — это специальный параметр —page-Requisites .
    — игнорирование Игнорировать регистр при сопоставлении файлов и каталогов. Это влияет на поведение параметров -R , -A , -I и -X , а также на подстановку, реализованную при загрузке с FTP-сайтов.Например, с этой опцией -A * .txt будет соответствовать file1.txt , но также file2.TXT , file3.TxT и т. Д.
    -H —span-hosts Включить охват между хостами при рекурсивном извлечении.
    -L — относительно Переходите только по относительным ссылкам. Полезно для получения определенной домашней страницы, не отвлекаясь, даже если она находится на одних и тех же хостах.
    -I список ,
    —include-directoryies = список
    Укажите разделенный запятыми список каталогов, по которым вы хотите следовать при загрузке. Элементы списка могут содержать подстановочные знаки.
    -X список ,
    —exclude-directoryies = список
    Укажите разделенный запятыми список каталогов, которые нужно исключить из загрузки. Элементы списка могут содержать подстановочные знаки.
    -np , — без родителей Не переходить в родительский каталог при рекурсивном извлечении. Этот вариант полезен, поскольку он гарантирует, что будут загружены только файлы, находящиеся ниже определенной иерархии.

    Как загрузить файлы данных — Документация по учебным модулям ENA 1

    Предоставление пользователям возможности загружать представленные данные для дальнейшего Цели анализа — ключевая часть миссии ENA. Таким образом, файлы доступны через общедоступный FTP-сервер.Здесь вы можете узнать, как устроен этот сервер, и как его скачать, прочитать и файлы анализа.

    Структура FTP

    Корневой адрес FTP-сервера, содержащий все данные чтения и анализа:

     ftp://ftp.sra.ebi.ac.uk/vol1/
     

    Между тем, собранные и аннотированные данные последовательности можно найти по адресу:

     ftp://ftp.ebi.ac.uk/pub/databases/ena/
     

    Любой файл, загружаемый с ENA, поступает с одного из этих двух FTP-серверов. Их содержание и структура подробно описаны на следующих страницах:

    Загрузка файлов

    ENA предоставляет множество способов доступа к данным, которые он размещает, подходя для целого ряда варианты использования и уровни вычислительной способности.Они описаны ниже, отсортированные от низкого к высокому, в зависимости от того, сколько вычислительные способности могут потребоваться:

    Примечание

    Большинство каталогов содержат файл «.md5». Вы можете рассчитать значение MD5 для файл, который вы скачали, и сравните его с соответствующим файлом .md5, чтобы Подтвердите, что он был переведен полностью.

    Использование браузера ENA

    Браузер ENA — это наш веб-сайт, на котором вы можете получить информацию о ENA, а также доступ ко всем имеющимся у нас данным.Приходите к нам здесь:

    https://www.ebi.ac.uk/ena/browser/home

    Вы можете перейти к любому присоединению, введя его в поле «Ввести присоединение» на ссылка выше. Если, например, вы видите в документе ссылку на присоединение к ENA, вы можете увидеть данные для себя таким образом. Оказавшись там, вы можете загрузить любые связанные файлы, щелкнув соответствующий ссылки. Для получения дополнительной информации о том, как исследовать запись в ENA, посетите наше руководство. о том, как изучить проект ENA

    Использование загрузчика FTP ENA

    Загрузчик файлов FTP ENA — это приложение, которое можно загрузить с GitHub.При присоединении эта программа представит вам список связанных файлов. можно скачать. Кроме того, вы можете предоставить запрос из нашего API расширенного поиска или портала. API для выполнения массовой загрузки всех файлов по заданному набору критериев. Узнайте больше об этих API из нашего руководства о том, как получить доступ к ENA. Программно.

    Использование

    Globus

    Globus предоставляет более удобный, многофункциональный интерфейс каталогов для взаимодействие с FTP-сервером. Файлы могут быть загружены через Globus «Общая общедоступная конечная точка EMBL-EBI». конечная точка из подпапки ‘/ gridftp / ena’:

    Использование

    wget

    wget — это простой инструмент командной строки, повсеместно доступный в Linux и Mac. выпускает.Файл можно загрузить с помощью wget, просто указав его местоположение:

     $ wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR164/ERR164407/ERR164407.fastq.gz
     

    Использование FTP-клиента

    FTP-клиенты командной строки позволяют интерактивно исследовать FTP-сервер и загрузить данные на свой локальный компьютер. При запросе имени пользователя используйте «анонимный». При запросе пароля нажмите нажмите клавишу ввода, чтобы пропустить это.

     ftp ftp.sra.ebi.ac.uk
    Имя: анонимный
    Пароль:
    ftp> cd vol1 / fastq / ERR164 / ERR164407
    ftp> получить ERR164407.fastq.gz
     

    В приведенном выше примере команда «cd» используется для «смены каталога» на требуемый каталог. Затем используется команда «get», чтобы указать интересующий файл. В любое время вы можете использовать «ls» для просмотра содержимого текущего каталога. Команда «pwd» может использоваться для определения текущего каталога.

    Использование

    Aspera

    Клиент командной строки Aspera ascp можно загрузить с Aspera. Пожалуйста, выберите правильную версию для вашей операционной системы.Клиент командной строки ascp распространяется как часть соединения Aspera. высокопроизводительный плагин для браузера передачи.

    Для загрузки общедоступных данных требуется файл аутентификации с открытым ключом. Это предоставляется в пакете загрузки клиента командной строки Aspera как Файл «asperaweb_id_dsa.openssh». Расположение этого файла варьируется от платформы.

    Ниже приведены некоторые примеры использования Aspera для загрузки данных ENA:

    Unix
     ascp -QT -l 300m -P33001 -i путь / к / aspera / installation / etc / asperaweb_id_dsa.локальный \ целевой \ каталог
     
    Загрузка личных файлов

    например Если вы хотите использовать aspera для загрузки закрытого файла данных с использованием аутентификации datahub (dcc), укажите имя пользователя dcc вместо era-fasp, и вам будет предложено ввести пароль.

     ascp -QT -l 300m -P33001 \
    [email protected]: /vol1/fastq/ERR327/009/ERR3278169/ERR3278169_1.fastq.gz \
    локальный / целевой / каталог
     
    Загрузка собранных и аннотированных данных последовательности

    Файлы из общедоступных FTP-папок также можно загрузить с помощью Aspera.

    например последовательность WGS, такая как ftp://ftp.ebi.ac.uk/pub/databases/ena/wgs/public/wy/WYAA01.dat.gz

     ascp -QT -l 300m -P33001 -i путь / к / aspera / installation / asperaweb_id_dsa.openssh /
    [email protected]: базы данных / ena / wgs / public / wy / WYAA01.dat.gz local / target / directory
     

    Получить файлы из сети через HTTP (S) и FTP

    История фиксации — (может быть неполным: см. Ссылку SVNWeb выше для получения полной информации)
    Дата Автор Описание
    06 апр 2021 14:31:07
    1.21
    мат
     Удалите # $ FreeBSD $ из Makefiles. 
    13 января 2021 г. 00:29:41
    1,21
    пкубай
     ftp / wget: исправление сборки на архитектурах GCC
    
    tempname.c: В функции 'try_tempname_len':
    tempname.c: 288: error: начальное объявление цикла for, используемое вне режима C99 
    07 янв.2021 15:28:14
    1,21
    vd
     ftp / wget: обновление с 1.От 20,3 до 1,21
    
    Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git/plain/NEWS
    
    PR: порты / 252369
    Сообщает: Ясухиро Кимура  
    16 ноя 2020 20:36:22
    1.20.3_1
    amdmi3
     - Обрабатывать две недостающие зависимости, pcre2 и nettle.
    - Улучшена обработка PCRE в опциях, добавлена ​​опция NTLM.
    - Безоговорочно используйте pkg-config, он используется для определения всех зависимостей и является
    требуется для правильного обнаружения pcre2
    - Используйте USES = localbase вместо дубликатов CPPFLAGS / LDFLAGS для большинства опций.
    
    PR: 251189
    Утверждено: vd (сопровождающий) 
    09 окт 2019 10:40:21
    1.20,3
    крещение
     Удалите виртуальную категорию ipv6 для категории f *, поскольку она больше не актуальна 
    27 сен 2019 15:01:32
    1.20.3
    данфе
     Преобразовать в USES + = tar: lz (доступно с r504008). 
    10 апр 2019 10:42:19
    1.20.3
    vd
     ftp / wget: обновление с 1.20 до 1.20.3
    
    Журнал изменений: http: // git.savannah.gnu.org/cgit/wget.git/plain/NEWS
    
    MFH: 2 квартал 2019 г.
    Безопасность: CVE-2018-20483 
    09 фев 2019 23:25:37
    1.20_2
    солнечный поэт
     Обновление dns / libidn2 до версии 2.1.1
    
    - Bump PORTREVISION зависимых портов для смены shlib
    
    Изменения: https://gitlab.com/libidn/libidn2/blob/master/NEWS 
    06 янв 2019 20:39:43
    1.20_1
    солнечный поэт
     Обновите dns / libidn2 до 2.1.0
    
    - Bump PORTREVISION зависимых портов для смены shlib
    
    Изменения: https://gitlab.com/libidn/libidn2/blob/master/NEWS 
    03 декабря 2018 09:38:25
    1,20
    vd
     ftp / wget: обновление с 1.19.5 до 1.20
    
    Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git/plain/NEWS
    
    PR: порты / 233738
    Сообщает: [email protected] 
    11 ноя 2018 13:33:22
    1.19.5_1
    крещение
     Отбойники, которые должны были быть подбиты вместе с r484628
    
    Сообщает: kib 
    30 авг 2018 04:05:08
    1.19,5
    данфе
     Удалите избыточные DOCS, NLS, ПРИМЕРЫ и IPV6 из OPTIONS_DEFAULT, поскольку они
    помещаются туда фреймворком (см. строку 200 Mk / bsd.options.mk), кроме
    для `finance / Quantlib ', что делает очень неортодоксальное использование параметров порта. 
    09 мая 2018 16:18:53
    1.19.5
    vd
     ftp / wget: обновление с 1.19.4 до 1.19.5
    
    Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git / plain / НОВОСТИ
    
    PR: порты / 228071
    Автор: Ясухиро КИМУРА 
    MFH: 2 квартал 2018 г.
    Безопасность: CVE-2018-0494 
    27 фев 2018 13:24:14
    1.19.4_2
    солнечный поэт
     Обновить dns / libpsl до 0.20.1
    
    - Bump PORTREVISION зависимых портов для смены shlib
    
    Изменения: https://github.com/rockdaboot/libpsl/blob/master/NEWS
    https://github.com/rockdaboot/libpsl/blob/libpsl-0.20.1/NEWS 
    23 фев 2018 19:23:57
    1.19.4_1
    солнечный поэт
     Обновить dns / libpsl до 0.20.0
    
    - Bump PORTREVISION зависимых портов для смены shlib
    
    Изменения: https://github.com/rockdaboot/libpsl/blob/master/NEWS 
    15 фев 2018 14:41:29
    1.19.4
    brnrd
     security / openssl-devel: удалить BROKEN из некоторых портов
    
     * базы данных / freetds: исправлено 14 февраля 2017 г.
     * database / postgresql10-server: исправлено 15.09.2016 [1]
     * ftp / lftp: исправлено в 4.8.0
     * ftp / proftpd: исправлено в версии 1.3.5c
     * ftp / wget: исправлено в 1.19.3 [2]
     * lang / erlang-runtime20: исправлено в 20.0
     * net / socat: исправлено в 1.7.3.2
     * security / libssh3: исправлено в 1.8.0 [3]
     * security / p5-Crypt-OpenSSL-X509: исправлено в 1.8.8
     * sysutils / bacula9-server: исправлено в 9.0.6.
     * www / nginx: исправлено в 1.9.14
    
     * Массовая сборка OK 10.3 / 11.1 для i386 и amd64:
        - мультимедиа / librtmp
        - сеть / libvncserver
        - www / lynx
    
    PR: 225875 [1], 225872 [2], 225873 [3] 
    22 янв 2018 17:20:18
    1.19,4
    vd
     ftp / wget: обновление с 1.19.2 до 1.19.4
    
    Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git/plain/NEWS 
    27 октября 2017 г. 12:50:37
    1.19.2
    vd
     ftp / wget: обновление с 1.19.1 до 1.19.2
    
    Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git/plain/NEWS
    
    Автор: Эндрю Перри 
    Безопасность: CVE-2017-13089
    Безопасность: CVE-2017-13090 
    28 июл 2017 21:45:20
    1.19.1_1
    jkim
     Задайте для MAKEINFO полный путь к makeinfo, если установлено USES = makeinfo.
    
    PR: 221027
    Рецензент: mat
    Утверждено: portmgr (antoine) 
    26 июл 2017 18:14:22
    1.19.1_1
    vd
     ftp / wget: принудительно перестроить информационную страницу
    
    MAKEINFO должен быть определен в среде настройки, чтобы
    информационная страница будет перестроена.
    
    Прислал: jkim 
    26 июл 2017 07:12:57
    1.19.1_1
    vd
     ftp / wget: исправить путь makeinfo
    
    В FreeBSD 10.x makeinfo находится в / usr / bin / makeinfo, тогда как в 11.x
    он находится в / usr / local / bin / makeinfo. Не указывайте его полный путь
    расположение, например DOCS_CONFIGURE_ENV = MAKEINFO = "$ {LOCALBASE} / bin / makeinfo"
    поскольку достаточно иметь его в PATH (в / usr / bin или / usr / local / bin).
    
    Автор: Вальтер Шварценфельд  
    26 июл 2017 05:02:41
    1.19.1_1
    vd
     ftp / wget: параметры документации Tweak
    
    * Добавьте отдельную опцию, чтобы контролировать, должна ли быть установлена ​​страница руководства
    * Обрабатывать wgetrc.sample с помощью @sample согласно
      https://www.freebsd.org/doc/en/books/porters-handbook/plist-config.html и
     
    https://www.freebsd.org/doc/en/books/porters-handbook/plist-keywords.html#plist-keywords-sample
    * Теперь опция DOCS только контролирует, установлена ​​ли информационная страница или нет.
    
    Прислал: jkim 
    20 июл 2017 09:59:33
    1.19,1
    vd
     ftp / wget: сделать установку документации необязательной
    
    Прислал: jkim 
    06 апр 2017 08:56:23
    1.19.1
    vd
     Обновление ftp / wget с 1.19 до 1.19.1
    
    Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git/plain/NEWS
    
    - добавить тестовую цель и TEST_DEPENDS
    - удалить gmake из ИСПОЛЬЗОВАНИЯ: текущую версию wget можно собрать без
      gmake
    - параметр unbreak IDN: с версии 1.19 wget использует libidn2 вместо libidn
    - libidn2 использует libunistring из портов, поэтому, когда включена опция IDN
      используйте libunistring из портов вместо прилагаемого
    - отключение поддержки pcre с помощью./ configure --disable-pcre в настоящее время работает,
      используй это
    - удалить Makefile и настроить исправления, которые больше не нужны
    - патч / usr / local к $ PREFIX также в wget.info
    - удалить файлы / patch-src__main.c - эта ошибка исправлена
      2 марта 2015 г. [1]
    
    [1]
    http://git.savannah.gnu.org/cgit/wget.git/commit/?id=9dde436dd689bd51eef71d64152dde9c8c0b5f65
    
    PR: 218408
    Прислал: Антон Южанинов  
    15 марта 2017 14:45:31
    1,19
    мат
     Удалить все вхождения USE_OPENSSL.Спонсор: Absolight 
    05 фев 2017 16:47:34
    1,19
    vd
     ftp / wget: исправить ошибку компиляции из-за передачи -R в clang
    
    gcc принимает -R, но clang требует -Wl, -R и, поскольку мы меняем
    это используйте правильный -Wl, -rpath.
    
    Сообщают: Вальтер Шварценфельд, Барбара Гуида, Джимми Олджени, Кен Дж. 
    05 фев 2017 09:54:32
    1,19
    vd
     ftp / wget: обновление с 1.18_2 к 1.19 
    17 декабря 2016 12:50:19
    1.18_2
    солнечный поэт
     - обновление до 0.16.1
    - Bump PORTREVISION для зависимых портов
    
    Изменения: https://github.com/rockdaboot/libpsl/blob/master/NEWS 
    12 декабря 2016 20:57:42
    1.18_1
    солнечный поэт
     - Обновление до 0.16.0
    - Bump PORTREVISION для зависимых портов
    
    Изменения: https://github.com/rockdaboot/libpsl/blob/master/NEWS 
    29 ноя 2016 18:46:22
    1.18
    мат
     Отметить некоторые порты как неготовые к openssl-devel.
    
    Спонсор: Absolight 
    21 ноя 2016 17:36:35
    1,18
    солнечный поэт
     - Добавить опции METALINK и PSL
    
    ====> Выполнение тестов Q / A (stage-qa)
    Ошибка: / usr / local / bin / wget связан с /usr/local/lib/libmetalink.so.3 из
    misc / libmetalink, но он не объявлен как зависимость
    Предупреждение: вам понадобится LIB_DEPENDS + = libmetalink.так: разное / libmetalink
    Ошибка: / usr / local / bin / wget связан с /usr/local/lib/libpsl.so.5 из
    dns / libpsl, но он не объявлен как зависимость
    Предупреждение: вам нужен LIB_DEPENDS + = libpsl.so: dns / libpsl
    
    PR: 214269
    Дифференциальная версия: https://reviews.freebsd.org/D8456
    Прислал: sunpoet (я)
    Утверждено: сопровождающим (тайм-аут, 15 дней) 
    21 июня 2016 19:52:42
    1,18
    vd
     ftp / wget: исправить компиляцию, когда IDN и NLS отключены
    
    PR: 210441
    Прислал: Хельге Олдах  
    21 июня 2016 08:02:57
    1,18
    vd
     ftp / wget: обновление с 1.16.3_1 до 1.18
    
    PR: 210421
    Прислал: Владимир Крстуля 
    Безопасность: CVE-2016-4971 
    01 апр 2016 14:00:57
    1.16.3_1
    мат
     Удалите $ {PORTSDIR} / из зависимостей категорий d, e, f и g.
    
    В шляпе: portmgr
    Спонсор: Absolight 
    01 апр 2016 13:18:17
    1.16.3_1
    мат
     Исправьте некоторые проблемы с пробелами в начале строк.
    
    В шляпе: portmgr
    Спонсор: Absolight 
    27 марта 2016 14:58:00
    1.16.3_1
    tijl
     - Обновление security / gnutls до 3.4.10.
    - Переименуйте опцию LIBDANE в DANE, потому что это имя протокола.
      поддерживается libgnutls-dane и gnutls-cli. Также уточните вариант
      описание.
    - Добавить опцию IDN.- libgnutls-openssl был удален в 3.4. Некоторые порты использовали эту библиотеку
      в их LIB_DEPENDS, но на самом деле ни один порт не требовал этого.
    - Удалены некоторые старые функции API. Порты, которые их использовали, были
      обновлен или исправлен для использования нового API.
    - Добавьте патч в print / cups, чтобы предотвратить перекрытие libgnutls.so.
    - Поднять PORTREVISION на зависимые порты.
    
    net-im / jabber: этот порт использовал старый API, чтобы дать пользователям мелкозернистую
    контроль над тем, какие криптоалгоритмы использовались, через файл конфигурации.Не сразу понятно, как перенести это на новый API, чтобы порт
    теперь всегда использует значения по умолчанию.
    
    www / hydra: Марк БРОКЕН. Это использует больше удаленных вызовов, чем другие порты,
    считается альфа-качеством, не полностью функциональным и от него отказались
    10 лет назад.
    
    PR: 207768
    Экспертиза: антуан
    Утверждено: portmgr (antoine) 
    12 янв 2016 16:20:32
    1.16.3
    amdmi3
     Преобразовать LICENSE = "GPLxx # или более поздняя версия" в "GPLxx +"
    
    Утверждено: portmgr blanket 
    19 июня 2015 14:59:14
    1.16,3
    адамв
     Обновление до 1.16.3. Это обновление также исправляет сборку с LibreSSL [2].
    
    PR: 199316
    1 [2]
    Утверждено: тайм-аут сопровождающего (> 2 месяцев) 
    11 апреля 2015 18:05:15
    1.16.2_1
    робак
     ftp / wget: добавить информацию о CPE
    
    - Тайм-аут сопровождающего ([email protected])
    
    PR: 198840
    Прислал: Шун  
    06 марта 2015 20:00:38
    1.16.2_1
    vd
     ftp / wget: исправить ошибку восходящего потока # 44403: wget --quiet больше не тихо
    
    http://savannah.gnu.org/bugs/index.php?44403 
    04 марта 2015 16:08:42
    1.16.2
    vd
     ftp / wget: обновление с 1.16 до 1.16.2 
    11 декабря 2014 14:07:26
    1,16
    amdmi3
     - Дальнейшее упрощение MASTER_SITES
    
    Предложил: danfe
    Утверждено: тайм-аут сопровождающего 
    11 декабря 2014 г. 13:03:54
    1.16
    amdmi3
     - Убрать скрытую зависимость libuuid.so из misc / e2fsprogs-libuuid
    
    Пока здесь:
    - Упростите MASTER_SITES
    - Уточните ЛИЦЕНЗИЮ и добавьте LICENSE_FILE
    
    PR: 180619
    Прислал: [email protected]
    Утверждено: тайм-аут сопровождающего (vd, 16 месяцев) 
    06 ноя 2014 13:26:28
    1,16
    vd
     ftp / wget: обновление с 1.15_2 до 1.16
    
    PR: порты / 194784
    Прислал: Ясухиро КИМУРА
    Безопасность: CVE-2014-4877 
    30 августа 2014 18:18:14
    1.15_2
    tijl
     DNS / libidn:
    - Добавить USES = libtool и поднять зависимые порты
    - Добавить INSTALL_TARGET = install-strip
    - Всегда устанавливайте libidn-components.png, потому что он используется libidn.info
    - Добавьте -lintl в Libs.private вместо Libs в libidn.pc 
    23 июля 2014 09:54:02
    1.15_1
    tijl
     - Замените security / gnutls на security / gnutls3 и обновите до 3.2.15
    - Bump PORTREVISION на всех портах, зависящих от безопасности / gnutls и
      настроить все порты зависящие от безопасности / gnutls3
    - Обновите почту / анубис до версии 4.2, который поддерживает gnutls 3.x
    - Обновите mail / libvmime до снимка состояния разработки (рекомендовано апстримом).
      Разработчики)
    
    PR: 1
    Экспертиза: антуан
    Утверждено: portmgr (antoine) 
    03 июл 2014 17:34:12
    1,15
    адамв
     Используйте помощники OPTIONS.
    
    Утверждено: portmgr (blanket) 
    26 июня 2014 13:51:14
    1,15
    антуан
     Разрешить сборку с texinfo из портов
    
    В шляпе: portmgr 
    17 июн 2014 21:51:22
    1.15
    ракуко
     Перейти к USES = tar: xz.
    
    PR: 1
    Прислал: [email protected] 
    14 фев 2014 11:25:46
    1,15
    vd
     ftp / wget: используйте LIB_DEPENDS в форме lib <имя> .so
    
    https://wiki.freebsd.org/ports/fix_lib_depends
    
    PR: порты / 186718
    Прислал: Ээро Ханнинен  
    14 фев 2014 07:59:02
    1.15
    vd
     ftp / wget: обновление с 1.14_2 до 1.15
    
    PR: ports / 186718 (его части)
    Прислал: Ээро Ханнинен  
    12 фев 2014 13:22:28
    1.14_3
    tijl
     Добавить недостающую зависимость от iconv. 
    28 января 2014 13:33:40
    1.14_2
    miwi
     - Опора сцены 
    24 окт 2013 14:23:53
    1.14_2
    vd
     Исправить компиляцию ftp / wget при установленном perl 5.18.
    
    Патч из upstream репо, предложенный Антоном Южаниновым .
    
    PR: порты / 182159
    Прислал: Джереми Чедвик  
    20 сен 2013 17:23:19
    1.14_2
    крещение
     Добавьте NO_STAGE повсюду в рамках подготовки к промежуточной поддержке (кат.
    ftp) 
    14 сен 2013 12:04:19
    1.14_2
    az
     - преобразовать в новый фреймворк perl5
    - преобразовать USE_GMAKE в Uses
    
    Утверждено: portmgr (bapt @, blanket) 
    14 августа 2013 22:35:54
    1.14_2
    ak
     - Удалить переменную MAKE_JOBS_SAFE
    
    Утверждено: portmgr (пивоварня) 
    17 мая 2013 08:11:03
    1.14_2
    vd
     ftp / wget: исправление сборки с установленным texinfo-5
    
    PR: порты / 178646
    Прислал: Кристоф Мёнч-Тегедер  
    14 мая 2013 08:27:48
    1.14_2
    vd
     ftp / wget: добавьте параметр для выбора, использовать ли PCRE или нет.
    
    Была предложена штука "CONFIGURE_ENV = ac_cv_header_pcre_h = no"
    by bapt @, спасибо! 
    13 мая 2013 13:52:37
    1.14_1
    vd
     ftp / wget: подключить зависимость к devel / pcre
    
    PR: порты / 178285
    Прислал: pawel @ 
    26 апреля 2013 10:44:29
    1.14
    ak
     - Преобразование USE_GETTEXT в USES (часть 4)
    
    Утверждено: portmgr (bapt) 
    18 апреля 2013 06:09:24
    1,14
    vd
     ftp / wget:
    
    Нефункциональное изменение - замените файл патча командой sed.
    
    PR: порты / 177792
    Прислал: jgh @
    Функция безопасна: да 
    11 апреля 2013 10:03:50
    1,14
    vd
     ftp / wget:
    
    * Исправлена ​​опечатка в переменной опций (введена в r315271)
    * Изменение пробелов для выравнивания значений
    
    PR: порты / 177662
    Прислал: Джереми Чедвик 
    Утверждено: portmgr 
    26 марта 2013 09:58:34
    1,14
    крещение
     Преобразование левых неконвертированных портов в ftp в новую структуру опций 
    18 марта 2013 11:40:04
    1,14
    крещение
     Исправить давнюю ошибку, связанную с перезаписью, изменением и изменением lib / charset.alias.
    плохо отслеживается портами.
    
    Сделайте lib / charset.alias файлом, предоставляемым только конвертерами / libiconv
    Создайте новый USES: charsetfix, который изменит файл Makefile после обновления.в
    запретить порт изменять / перезаписывать файл charset.alias во время make
    установить.
    Не позволяйте программе devel / gettext устанавливать эти файлы.
    Исправьте пару портов, которые действительно касаются charset.alias на этапе сборки.
    
    По мотивам патча Эля
    (http://lists.freebsd.org/pipermail/freebsd-gnome/2012-October/027747.html)
    
    Утверждено: kwm (gnome)
    Эксплуатация: miwi 
    18 фев 2013 16:01:01
    1,14
    vd
     Обновить ftp / wget с версии 1.13,4 к 1,14
    
    PR: порты / 174818
    Прислал: "Андерс Н."  
    05 фев 2013 16:17:07
    1.13.4_2
    роман
     - Добавить запись ОБНОВЛЕНИЕ для обновления gnutls
    - Чейз шлиб версии отбойника для зависимых портов 
    21 сен 2011 06:31:51
    1.13.4_1
    vd
     Исправить pkg-plist: не удалять lib / charset.alias
    
    Обнаружил: olgeni @, pav @ 
    20 сен 2011 12:59:04
    1.13,4
    vd
     Исправить компиляцию с SSL.
    
    Прислал: Sture Ã… hlin  
    20 сен 2011 06:17:40
    1.13.4
    vd
     Обновление ftp / wget с 1,12 до 1,13,4 
    05 июня 2011 18:43:16
    1.12_4
    роман
     Выполните обновление безопасности / gnutls и добавьте запись ОБНОВЛЕНИЕ. 
    19 марта 2011 12:38:54
    1.12_3
    miwi
     - Избавиться от поддержки MD5 
    15 марта 2011 13:34:26
    1.12_3
    vd
     Добавить необязательную зависимость в libidn
    
    Раньше, если libidn присутствовала во время настройки wget, тогда
    wget подхватил бы его, но зависимости не было бы
    записывается в базу данных установленных пакетов, поэтому позже обновляется или
    удаление libidn приведет к поломке wget.
    
    Заметил: [email protected], [email protected] 
    06 сен 2010 17:15:01
    1.12_2
    vd
     Продолжение предыдущего коммита: исправьте недавно добавленные патчи 
    06 сен 2010 16:54:23
    1.12_2
    vd
     Примените исправление из апстрима для CVE-2010-2252.
    
    Это идентификатор ревизии: [email protected]-sy6rf3fgeydgvl1k
    из http://bzr.savannah.gnu.org/r/wget/trunk/ без изменения на
    src / ftp.c, потому что это изменение только пробела.
    
    PR: порты / 150293
    Прислал: Джо Хорн 
    Безопасность: CVE-2010-2252 
    04 июня 2010 08:09:20
    1.12_1
    пав
     - Представлена ​​новая ручка USE_XZ, которая обрабатывает сжатые файлы дистрибутива lzma / xz
    - Преобразуйте кучу портов, чтобы использовать ее
    
    PR: порты / 146329
    Прислал: mm
    В шляпе: portmgr 
    31 мая 2010 02:01:56
    1.12_1
    ade
     Bounce PORTREVISION для портов, связанных с gettext. Веселитесь, да ладно. 
    20 февраля 2010 г. 19:59:59
    1,12
    vd
     ftp / wget: исправление сборки с GNUTLS
    
    PR: порты / 144144
    Прислал: Санпоэт По-Чуан Се 
    Функция безопасна: да 
    20 февраля 2010 г. 13:03:56
    1,12
    vd
     Исправить pkg-plist (2-я попытка).share / locale / en_AU не указан в /etc/mtree/BSD.local.dist, но
    QAT @ жалуется, что порт удалил его при деинсталляции.
    
    Функция безопасна: да 
    20 фев 2010 12:54:00
    1,12
    vd
     Исправить pkg-plist
    
    Автор: QAT @
    Функция безопасна: да 
    20 фев 2010 11:38:09
    1,12
    vd
     * Обновление ftp / wget с 1.11.4 до 1.12
    * Не снимайте .gmo, потому что это приводит к тому, что файлы .po не будут
      установлен
    * Сделайте команды post-patch: видимыми
    
    Функция безопасна: да 
    16 августа 2009 18:04:40
    1.11.4_1
    роман
     Bump PORTREVISIONs зависимых от gnutls портов для отслеживания обновления gnutls. 
    27 марта 2009 г. 06:59:32
    1.11.4
    vd
     Отметить ftp / wget как безопасный для сборки с помощью make -jX.PR: порты / 133000
    Прислал: mm @ 
    01 фев 2009 07:21:22
    1.11.4
    vd
     Обновите ftp / wget с 1.11.2 до 1.11.4. 
    21 августа 2008 06:18:49
    1.11.2_1
    рафан
     Обновите CONFIGURE_ARGS, чтобы узнать, как мы передаем CONFIGURE_TARGET для скрипта настройки.
    В частности, новый autoconf (> 2.13) имеет другую семантику
    настроить цель.Короче говоря, следует использовать --build = CONFIGURE_TARGET
    вместо CONFIGURE_TARGET напрямую. В противном случае вы получите предупреждение
    и старая семантика может быть удалена в более поздних выпусках autoconf.
    
    Чтобы обойти эту проблему, многие порты взламывают переменную CONFIGURE_TARGET.
    так что он содержит префикс `` --build = ''.
    
    Чтобы решить эту проблему, при том, что на некоторых портах все еще есть
    скрипт configure, сгенерированный старым autoconf, мы используем определение времени выполнения
    в цели do-configure, чтобы можно было использовать правильный аргумент.Изменения в Mk / *:
     - Добавить магию обнаружения времени выполнения в bsd.port.mk 
    (выше показаны только первые 15 строк сообщения фиксации)
    06 июня 2008 13:28:21
    1.11.2_1
    Эдвин
     Поднять портирование в связи с обновлением devel / gettext.
    
    Затронутые порты - это те, у которых gettext в качестве зависимости выполнения
    по портам / INDEX-7 (их 5007) и с USE_GETTEXT
    в Makefile (29 из них).
    
    PR: порты / 124340
    Прислал: edwin @
    Утверждено: portmgr (pav) 
    06 мая 2008 13:51:15
    1.11,2
    vd
     Обновите ftp / wget с 1.11 до 1.11.2.
    
    PR: порты / 122482 (на основе)
    Прислал: bf  
    02 февраля 2008 08:03:21
    1,11
    vd
     Обновите ftp / wget с 1.10.2 до 1.11.
    
    ПР: порты / 120119 (на основе)
    Прислал: Олег Гаврилов  
    11 апреля 2007 г. 19:38:50
    1.10.2_1
    vd
     * Установите wgetrc как etc / wgetrc.sample, а не etc / wgetrc, чтобы предотвратить
      потеря пользовательских модификаций [1].
    * Используйте ситуацию для переименования файлов / patch-ac в files / patch-doc_Makefile.in
      в соответствии с соглашением /usr/ports/Tools/scripts/splitpatch.pl.
    
    На основе: ports / 110512 [1]
    Прислал: Александр Логвинов  [1] 
    02 августа 2006 г. 19:33:51
    1.10.2
    собомакс
     Добавить USE_GMAKE - система сборки порта некорректно работает с bmake, что
    приводит к созданию двоичного файла на этапе установки.
    15 апреля 2006 г. 09:27:14
    1.10.2
    vd
     Удалить КОНФЛИКТЫ - нет необходимости конфликтовать с несуществующим портом 
    15 апреля 2006 г. 09:18:48
    1.10.2
    vd
     Принять 
    14 апреля 2006 г. 20:09:26
    1.10.2
    линимон
     Сбросить sf как сопровождающего из-за отсутствия ответа на сообщения электронной почты.Головной убор: portmgr 
    22 января 2006 г. 09:48:59
    1.10.2
    Эдвин
     SHA256ify
    
    Утвердил: krion @ 
    04 декабря 2005 23:35:14
    1.10.2
    Эдвин
     Удалить информацию об установке из файла Makefile, это автоматически выполняется при определении INFO 
    20 октября 2005 13:20:44
    1.10.2
    mnag
     Обновление до 1.10.2
    
    PR: 87592
    Прислал: Фил Олесон 
    Утверждено: sf (тайм-аут сопровождающего, 2 дня одобрено so @)
    Безопасность: CAN-2005-3185, http://secunia.com/advisories/17192/ 
    28 августа 2005 16:31:10
    1.10.1
    SF
     обновление до 1.10.1.
    
    PR: 85121
    Прислал: Васил Димов  
    09 августа 2005 05:48:32
    1.10_2
    SF
     Не освобождать RESPLINE, если ftp_response возвращает статус, отличный от FTPOK.Это исправление было применено в репозитории wget subversion.
    
    PR: 84666
    Прислал: Васил Димов 
    Утверждено: portmgr (marcus) 
    22 июня 2005 г. 09:37:08
    1.10_1
    SF
     исправить путь wgetrc.
    
    PR: 82473 
    10 июня 2005 08:14:48
    1,10
    SF
     обновление до 1.10. 
    .

    Добавить комментарий

    Ваш адрес email не будет опубликован. Обязательные поля помечены *

    Copyright © 2024
    Дропшиппинг в России.
    Сообщество поставщиков дропшипперов и интернет предпринимателей.
    Все права защищены.
    ИП Калмыков Семен Алексеевич. ОГРНИП: 313695209500032.
    Адрес: ООО «Борец», г. Москва, ул. Складочная 6 к.4.
    E-mail: [email protected]. Телефон: +7 (499) 348-21-17