Я пытаюсь загрузить файл, расположенный на сервере FTP. Я могу загрузить файл вручную через браузер, но время загрузки истекает, когда я использую wget для того же самого. Может ли кто — нибудь…

В настоящее время я использую скрипт shell для загрузки файлов с сервера FTP. Ansible выполнит мой сценарий и продолжит другие автоматизированные задания. Пожалуйста, дайте мне знать, как лучше…

Я загружаю файл с сервера FTP с помощью wget. Если я наберу ftp://username:[email protected]/some_path/file в мой браузер файл загружается нормально. Если я вместо этого сделаю, wget…

Я использую wget для загрузки файлов из ftp. Ftp папка имеет имя /var/www/html/ Внутри этой папки находится дерево папок & файлов, ~20 уровней. Я пытаюсь сделать загрузку ftp (не имею доступа…

У меня есть вопрос относительно wget, который я, кажется, не могу понять. Я использую следующую команду для загрузки всего содержимого моего сервера FTP (который работает нормально) wget -m -P c:\…

Я пытаюсь загрузить файл XML с сервера FTP с помощью wget в моей программе Java. Я должен ждать, пока он не закончит загрузку. String command = WGET -O +props.getProperty(xmlFolder)++ +…

Я хочу настроить задание cron для загрузки данных с сервера (http). Каждый каталог имеет date/time-stamped в формате YYYYMMDDHH , где есть 2 версии ежедневно, поэтому HH-это либо 00, либо 12. Мне…

У меня есть сервер FTP с тысячами каталогов. Что я хочу сделать, так это загрузить определенное количество из них (например, 500 каталогов) с помощью скрипта shell. Как я могу это сделать? Я…

Я хотел скачать выбранные файлы с этого сайта: ftp://ftp-trace.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByStudy/sra/SRP/SRP042/SRP042286 Если бы я хотел скачать их все я мог бы это сделать: $wget -r…

Я загружаю данные с сервера ‘ftp’ , используя ‘wget’ из командной строки системы Ubuntu. Я знаю, как загрузить все каталоги из определенного URL. Есть ли у них какая-либо команда для выбора и…

Команда Wget в Linux с примерами

Установка Wget

Пакет wget уже предустановлен в большинстве дистрибутивов Linux.

Чтобы проверить, установлен ли пакет Wget в вашей системе, откройте консоль, введите wgetи нажмите клавишу ввода. Если у вас установлен wget, система напечатает wget: missing URL, в противном случае он будет печатать wget command not found.

Если wget не установлен, вы можете легко установить его с помощью менеджера пакетов вашего дистрибутива.

Установка Wget на Ubuntu и Debian

sudo apt install wget

Установка Wget на CentOS и Fedora

sudo yum install wget

Синтаксис команды Wget

Прежде чем перейти к использованию wgetкоманды, давайте начнем с обзора основного синтаксиса.

В wget полезности выражение принимает следующий вид:

• options — варианты Wget
• url — URL файла или каталога, который вы хотите скачать или синхронизировать.

Как скачать файл с помощью Wget

В простейшей форме, когда используется без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.

В следующем примере мы загружаем tar-архив ядра Linux:

wget https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.2.tar.xz

Как видно из рисунка выше, Wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.

Во время загрузки Wget показывает индикатор выполнения наряду с именем файла, размером файла, скоростью загрузки и предполагаемым временем завершения загрузки. После завершения загрузки вы можете найти загруженный файл в текущем рабочем каталоге .

Чтобы отключить вывод Wget, используйте -q опцию.

Если файл уже существует, Wget добавит .N (число) в конце имени файла.

Использование команды Wget для сохранения загруженного файла под другим именем

Чтобы сохранить загруженный файл под другим именем, передайте -O опцию, а затем выбранное имя:

wget -O latest-hugo.zip https://github.com/gohugoio/hugo/archive/master.zip

Команда выше сохранит последнюю файл hugo zip из GitHub latest-hugo.zip вместо его исходного имени.

Использование команды Wget для загрузки файла в определенный каталог

По умолчанию Wget сохраняет загруженный файл в текущем рабочем каталоге. Чтобы сохранить файл в определенном месте, используйте -P параметр:

wget -P /mnt/iso http://mirrors.mit.edu/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

С помощью приведенной выше команды мы сообщаем Wget сохранить ISO-файл CentOS 7 в /mnt/iso каталог.

Как ограничить скорость загрузки с помощью Wget

Чтобы ограничить скорость загрузки, используйте --limit-rate опцию. По умолчанию скорость измеряется в байтах / секунду. Добавить kза килобайт, m за мегабайты и g за гигабайты.

Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 Мб:

wget --limit-rate=1m https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz

Эта опция полезна, когда вы не хотите, чтобы wget использовал всю доступную пропускную способность.

Как возобновить загрузку с помощью Wget

Вы можете возобновить загрузку, используя -cопцию. Это полезно, если ваше соединение разрывается во время загрузки большого файла, и вместо того, чтобы начать загрузку с нуля, вы можете продолжить предыдущую.

В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:

wget -c http://releases.ubuntu.com/18.04/ubuntu-18.04-live-server-amd64.iso

Если удаленный сервер не поддерживает возобновление загрузки, Wget начнет загрузку с начала и перезапишет существующий файл.

Как скачать в фоновом режиме с Wget

Для загрузки в фоновом режиме используйте -b опцию. В следующем примере мы загружаем iso-файл OpenSuse в фоновом режиме:

wget -b https://download.opensuse.org/tumbleweed/iso/openSUSE-Tumbleweed-DVD-x86_64-Current.iso

По умолчанию выходные данные перенаправляются в wget-log файл в текущем каталоге. Чтобы посмотреть статус загрузки, используйте tail команду:

tail -f wget-log

Как изменить Wget User-Agent от Wget

Иногда при загрузке файла удаленный сервер может быть настроен на блокировку Wget User-Agent. В подобных ситуациях для эмуляции другого браузера передайте -U опцию.

wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0" http://wget-forbidden.com/

Приведенная выше команда будет эмулировать Firefox 60, запрашивающий страницу у wget-forbidden.com

Как скачать несколько файлов с помощью Wget

Если вы хотите загрузить несколько файлов одновременно, используйте -iпараметр, после которого укажите путь к локальному или внешнему файлу, содержащему список URL-адресов для загрузки. Каждый URL должен быть в отдельной строке.

В следующем примере мы загружаем iso файлы Arch Linux, Debian и Fedora с URL-адресами, указанными в linux-distros.txt файле:

wget -i linux-distros.txt

linux-distros.txt

http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso
https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
https://download.fedoraproject.org/pub/fedora/linux/releases/28/Server/x86_64/iso/Fedora-Server-dvd-x86_64-28-1.1.iso

Если вы укажете -имя файла, URL будут считаны из стандартного ввода.

Использование команды Wget для загрузки через FTP

Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:

wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gz

Использование команды Wget для создания зеркала сайта

Чтобы создать зеркало сайта с помощью Wget, используйте -m опцию. Это создаст полную локальную копию веб-сайта, перейдя и загрузив все внутренние ссылки, а также ресурсы веб-сайта (JavaScript, CSS, изображения).

wget -m https://example.com

Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.

wget -m -k -p https://example.com

Эта -k опция заставит Wget конвертировать ссылки в загруженных документах, чтобы сделать их пригодными для локального просмотра. -p Опция покажет Wget , чтобы загрузить все необходимые файлы для отображения страницы HTML.

Как пропустить проверку сертификата с помощью Wget

Если вы хотите загрузить файл через HTTPS с хоста, имеющего недействительный сертификат SSL, используйте --no-check-certificate параметр:

wget --no-check-certificate https://domain-with-invalid-ss.com

Как скачать в стандартный вывод с помощью Wget

В следующем примере Wget тихо (пометит -q) загрузит и выведет последнюю версию WordPress в stdout (пометит -O -) и tar передаст ее утилите, которая извлечет архив в /var/www каталог.

wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/www

Вывод

С помощью Wget вы можете загружать несколько файлов, возобновлять частичную загрузку, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.

wget — руководство GNU Wget

GNU Wget

НАЗВАНИЕ

wget -- Руководство GNU Wget

СИНТАКСИС

wget [параметры]... [URL]...

ОПИСАНИЕ

GNU Wget это открыто распространяемая утилита для загрузки файлов из интернет. Она поддерживает
протоколы HTTP, HTTPS, и FTP, загрузку с прокси-серверов по протоколу HTTP.

Wget может следовать по ссылкам HTML страниц и создавать локальные копии удалённых web сайтов, 
возможно полное восстановление структуры каталогов сайта. Это называется "recursive downloading"
(рекурсивная загрузка). При выполнении такого задания, Wget ищет файл с правами доступа для 
роботов (/robots.txt). Возможна также конвертация ссылок в загруженных HTML файлах для просмотра 
сайта в автономном режиме ("Off-line browsing").

Проверка заголовков файлов. Wget может прочитать заголовок файла, что доступно по протоколам 
HTTP и FTP и сравнить с заголовком файла, который был загружен ранее, и, если это так, загрузить 
новую версию файла.
Благодаря этому, с Wget возможно зеркальное хранение сайтов и коллекций файлов по FTP.

Wget разработан для медленных или нестабильных соединений: если во время загрузки возникнет 
проблема, Wget будет продолжать пытаться загрузить файл. Если сервер, с которого загружается 
файл, поддерживает докачку, Wget продолжит загружать файл с того места, где оборвалась загрузка.

OПЦИИ

Основные параметры

-V
--version
Отобразить версию Wget.

-h
--help
Отобразить параметры командной строки Wget.

-b
--background
Перейти в фоновый режим после запуска. Если файл для сообщений не указан параметром -o, он
записывается в wget-log

-e command
--execute command
Выполнить command как если бы она была частью .wgetrc. Команда будет выполнена после команд 
в .wgetrc.

Параметры сообщений

-o logfile
--output-file=logfile
Записывать все сообщения в logfile. Иначе они будут направлены в stderr.

-a logfile
--append-output=logfile
Дополнить logfile. Как и -o, только logfile не заменяется, а дополняется. Если logfile 
не существует, создаётся новый файл.

-d
--debug
Отображать сообщения отладки - разная информация, важная для разработчиков Wget.

-q
--quiet
Выключить сообщения Wget.

-v
--verbose
Включить подробные сообщения, со всеми доступными данными. По умолчанию включено.

-nv
--non-verbose
Не подробные сообщения (чтобы выключить сообщения см. -q). Сообщения об ошибках и основная 
информация будут отображаться.

-i file
--input-file=file
Прочитать URL из file. В этом случае указывать URL в командной строке не требуется. Если URL 
указаны и в командной строке и в file, сначала будут загружены URL из командной строки. file 
не обязательно должен иметь формат HTML (но ничего страшного, если это так) -- URL просто 
должны быть указаны в нём.

Если вы укажите --force-html, файл будет прочтён как html. В этом случае могут возникнуть 
проблемы с относительными ссылками. Это можно предотвратить добавлением в него 
"<base href="url">" или вводом в командной строке --base=url.

-F
--force-html
При чтении URL из файла, включает чтение файла как HTML. Чтобы предотвратить ошибкам, если 
файл HTML является локальным, добавьте "<base href="url">" в файл или введите параметр 
командной строки --base.

-B URL
--base=URL
При чтении URL из файла (-F), определяет URL, добавляемый к относительным адресам файла, 
указанного параметром -i.

Параметры загрузки

--bind-address=ADDRESS
При соединениях по протоколам TCP/IP, передаёт "bind()" в ADDRESS на локальной машине. 
В ADDRESS может быть указано как имя хоста, так и IP адрес. Используется, когда ваш 
компьютер имеет несколько IP адресов.

-t number
--tries=number
Устанавливает число повторов number. Укажите 0 или inf для бесконечного числа повторов.

-O file
--output-document=file
Документы не будут записываться в соответствующие файлы, а будут соединены вместе и 
записаны в file. Если file существует, он будет заменён. Если file указан как -, 
документы будут выводиться в стандартный вывод (stdout). Этот параметр автоматически 
устанавливает число повторов в 1. Полезен при закачке файлов, разделённых на части, 
с почтовых серверов через web-интерфейс

-nc
--no-clobber
Если при загрузке сайта связь оборвалась, для продолжения с того же места, укажите 
этот параметр.

При запуске Wget без -N, -nc, или -r, повторная загрузка одного и того же файла в один 
каталог приведёт к созданию копии файла с именем file.1. Если существует файл и с таким 
именем, третья копия будет называться file.2 и т. д. При параметре -nc это будет 
предупреждено.

При запуске Wget с параметром -r, но без -N или -nc, новая загрузка сайта приведёт к 
замене уже загруженных файлов. При параметре -nc загрузка продолжится с места обрыва 
и загруженные файлы не будут загружаться заново (если только они не изменились).

При запуске Wget с параметром -N, с или без -r, файл будет загружен если он новее, 
или если размер его не совпадает с загруженной копией (см. Сравнение по дате). -nc не 
комбинируется с -N..


При указанном параметре -nc, файлы с расширениями .html или (что очень ужасно) .htm 
с локальных дисков будут загружаться как из интернет.

-c
--continue
Возобновление загрузки файла. Используется если загрузка файла была прервана. Например:

Если в текущем каталоге есть файл с именем ls-lR.Z, Wget проверит, соответствует ли 
данный файл загружаемому (не по размеру!), и, если это так, отправит запрос на сервер 
на продолжение загрузки файла с того же места, где оборвалась загрузка в прошлый раз.

Помните, что при обрыве связи Wget повторяет попытки самостоятельно и без -c, и только 
когда он "сдастся" и закончит работу, для возобновления будет нужен этот параметр.

Без опции -c, предыдущий пример приведёт к загрузке указанного файла заново с конечным 
именем ls-lR.Z.1, не трогая ls-lR.Z

Начиная с версии 1.7 при параметре -c, если файл на сервере имеет равный, или меньший, 
чем у локального файла размер, Wget не будет ничего загружать и отобразит соответствующее 
сообщение.

Однако при использовании -c, любой файл на сервере, имеющий больший размер, чем локальный, 
будет рассматриваться, как недокачанный. При этом будет загружено и записано в конец файла 
только "(длина(удал.файл) - длина(локал.файл))" байт. Это может пригодиться, когда вам 
нужно загрузить новые сообщения какого-либо журнала (log).

При этом, если удалённый файл больше потому, что он изменился, вы получите повреждённый 
файл (т.е. файл докачается другим). Вам нужно быть особенно внимательными при 
использовании -c вместе с -r, так как каждый изменённый файл может быть кандидатом на 
"незавершённую загрузку".

Вы также получите повреждённый файл, если ваш HTTP прокси-сервер неправильно настроен 
и при обрыве соединения пишет "transfer interrupted" в файл. В следующих версиях Wget 
сам будет исправлять это.

Помните, что -c работает только с FTP и HTTP серверами, которые поддерживают заголовок 
"Range" (т.е. докачку).

--progress=type
Тип индикатора прогресса. Возможные значения: "dot" и "bar".


"bar" используется по умолчанию. Указание --progress=bar приведёт к прорисовке красивого 
индикатора из символов ASCII (aka "термометр").1;5~ Если стандартный выход не TTY, будет 
использован "t".Sp Укажите --progress=dot чтобы переключится на тип "dot". прогресс будет 
отмечаться добавлением в полосе точки или знака равно, каждый символ представляет
одинаковое количество данных.

При использовании этого типа, вы можете указать его стиль - dot:style. Если стиль 
"default", каждый символ будет представлять 1 Kб, 10 символов в кластере и 50 в строке. 
Стиль "binary" имеет более "компьютерный" вид - 8 Kб символов, 16 символов в кластере 
и 48 символов в строке (получается строка на 384 Kб). Стиль "mega" используется для 
загрузки больших файлов - каждый символ представляет 64 Kб, 8 символов в кластере и 
48 символов в строке (получается 3 Mб на строку).

Вы можете определить стиль по умолчанию используя команду "progress" в .wgetrc. Если 
вы хотите, чтобы тип индикатора "bar" использовался всегда (а не только при выводе в 
stdout), укажите --progress=bar:force.

-N
--timestamping
Включить сравнение по дате.

-S
--server-response
Отображать заголовки, посылаемые HTTP серверам и запросы, посылаемые FTP серверам.

--spider
Установка поведения Wget как паука, т. е. Wget не будет загружать файлы, а только будет 
проверять их наличие. Так можно проверять закладки, ссылки сайта. Например:

wget —spider —force-html -i bookmarks.html

Wget не содержит все возможности настоящих WWW пауков.

-T seconds
--timeout=seconds
Время ожидания в секундах. Время ожидания по умолчанию 900 секунд (15 минут). 
Установка 0 отменяет проверку времени ожидания.

Пожалуйста, не снижайте значение времени ожидания если Вы не знаете, что делаете.

-w seconds
--wait=seconds
Пауза в секундах между несколькими загрузками (в т.ч. повторами). Это снижает 
загруженность сервера. Чтобы указать значение в минутах, используйте "m", в 
часах - "h", в днях - "d" после числа. Указание большого значения этого параметра 
полезно если сеть нестабильна (например обрыв dial up связи).
--waitretry=seconds
Устанавливает паузу только между повторами загрузок, которые оборвались. Wget будет ждать 1 секунду
после первого обрыва, 2 секунды после второго обрыва загрузки того же фала, и т. д. до максимума,
который указывается в секундах. Например, при значении данного параметра 10, Wget будет ждать в общем
(1 + 2 + ... + 10) = 55 секунд для каждого файла.
Это значение указывается по умолчанию в файле wgetrc.
--random-wait
Некоторые серверы, совершая формирование лог-файлов с паузами запросов файлов, могут определить
рекурсивную загрузку файлов - сканирование роботами, такими, как Wget. Этот параметр устанавливает
время между запросами варьируя с временем паузы, рассчитываемым от 0 до 2 * wait (секунд), где wait
указано параметром -w для маскировки Wget.
Нельзя забывать что доступны исходники Wget и даже эту маскировку можно вычислить.
-Y on/off
--proxy=on/off
Поддержка прокси-сервера. Включена по умолчанию если прокси-сервер определён.
-Q quota
--quota=quota
Квота на размер загружаемых файлов. Указывается в байтах (по умолчанию), Кб (в конце k) 
или в Мб (в конце m).
При окончании квоты, текущий файл загружается до конца, значит она не работает при 
загрузке одного файла. Например, если вы укажите wget -Q10k ftp://wuarchive.wustl.edu/ls-lR.gz, 
файл ls-lR.gz будет полностью загружен. Также все указанные в командной строке будут 
обязательно загружены, в отличие от файлов, указанный в файле, или при рекурсивной загрузке.
Указание 0 или inf отменит квоту.
Параметры загрузки каталогов
-nd
--no-directories
Не создавать структуру каталогов при рекурсивной загрузке. При указанном параметре, все файлы 
будут загружаться в один каталог. Если файл с данным именем уже существует, он будет сохранён 
под именем ИмяФайла.n.
-x
--force-directories
Противоположное параметру -nd - создавать структуру каталогов начиная с главной страницы 
сервера. Например загрузка файла wget -x http://fly.srk.fer.hr/robots.txt приведёт к созданию
каталога fly.srk.fer.hr.
-nH
--no-host-directories
Не создавать каталоги c именем хоста в названии. По умолчанию wget -r http://fly.srk.fer.hr/ 
приведёт к созданию структуры каталогов начиная с fly.srk.fer.hr/. Это поведение выключается 
указанием данного параметра.

--cut-dirs=number
Игнорировать number каталогов высшего уровня. Используется при загрузке каталогов и файлов низкого
уровня.

Возьмём, например, каталог ftp://ftp.xemacs.org/pub/xemacs/. Если вы загрузите его с параметром -r,
он сохранится под именем ftp.xemacs.org/pub/xemacs/. При параметре -nH из имени начального каталога
будет вырезано ftp.xemacs.org/, и он будет называться pub/xemacs. А параметр --cut-dirs уберёт 
number компонентов. Примеры работы параметра --cut-dirs.

Если вы хотите просто избавиться от структуры каталогов, вы можете заменить этот параметр на -nd и
-P. В отличие от -nd, --cut-dirs работает с подкаталогами - например при -nH --cut-dirs=1, подкаталог
beta/ запишется в xemacs/beta.

-P prefix
--directory-prefix=prefix
Определяет начальный каталог, в который будет сохранена структура каталогов сайта (или просто файлы).
По умолчанию этот параметр равен . (текущий каталог).

Параметры HTTP

-E
--html-extension
Если тип загруженного файла text/html и его адрес не оканчивается на \.[Hh][Tt][Mm][Ll]?, при данном
параметре к его имени будет добавлено .html. Это может быть полезно при зеркальном хранении страниц
.asp, но вы не хотите, чтобы они вмешивались в ваш сервер Apache. Другой случай применения этого
параметра - загрузка страниц-ответов CGI скриптов. Страница с URL вида http://site.com/article.cgi?25
будет сохранена как article.cgi?25.html.

Примечание. При обновлении или другой перезагрузке страниц с данным параметром, последние будут
загружаться заново в любом случае, т. к. Wget не может узнать, имеет ли отношение локальный файл
X.html к загружаемому с URL X. Чтобы избежать лишней перезагрузки, используйте опции -k и -K. При
этом оригинальные версии файлов будут также сохранены как X.orig.

--http-user=user
--http-passwd=password
Имя пользователя user и пароль password для HTTP сервера. В зависимости от типа отклика, Wget будет
использовать "basic" (небезопасную) или "digest" авторизацию.

Можно также указывать имя пользователя и пароль и в самом URL.

-C on/off
--cache=on/off
Включает или выключает кеширование со стороны сервера. При этом Wget посылает соответствующих запрос
(Pragma: no-cache). Также используется для быстрого обновления файлов на прокси-сервере.

По умолчанию кеширование разрешено.

--cookies=on/off
Включает или выключает использование cookie. Сервер посылает клиенту cookie используя заголовок
"Set-Cookie" и клиент отвечает тем же cookie. Благодаря этому сервер может вести статистику
посетителей. По умолчанию cookie используются, но запись их на диск выключена.

--load-cookies file
Загружать cookie из file перед первой загрузкой HTTP. file имеет текстовый формат, как cookies.txt у
Netscape.

Этот параметр используется при зеркальном хранении. Для этого Wget посылает те же cookies, которые
посылает ваш обозреватель при соединении с HTTP сервером. Это включается данным параметром - просто
укажите Wget путь к cookies.txt. Разные обозреватели хранят cookie в разных каталогах:

Netscape 4.x.
Файл находится в ~/.netscape/cookies.txt.

Mozilla и Netscape 6.x.
Mozilla хранит cookies в cookies.txt, расположенном где-то в ~/.mozilla, в каталоге вашего
профайла. Полный путь обычно заканчивается чем-то вроде ~/.mozilla/default/some-weird-
string/cookies.txt.

Internet Explorer.
Чтобы экспортировать cookie для Wget, выберите Файл | Импорт и экспорт, в мастере выберите
Экспорт файлов cookie. Тестировано в Internet Explorer 5; возможно не будет работать в ранних
версиях.

Другие обозреватели.
Параметр --load-cookies будет работать с cookie в формате Netscape, который поддерживается Wget.

Если вы не можете использовать параметр --load-cookies, есть выход. Если ваш обозреватель
поддерживает

wget —cookies=off —header «Cookie: I<name>=I<value>»

--save-cookies file
Сохранить cookie из file в конце сессии. Устаревшие cookie не сохраняются.

--ignore-length
Некоторые HTTP серверы (точнее CGI скрипты) посылают заголовки "Content-Length", которые указывают
Wget, что загружено ещё не всё. И Wget загружает один документ несколько раз.

С этим параметром, Wget будет игнорировать заголовки "Content-Length".

--header=additional-header
Определяет additional-header, отправляемый HTTP серверу. Он должен содержать : и символы после него.

Вы можете определить несколько дополнительных заголовков использованием --header несколько раз.

Указание пустой строки в значении заголовка очистит все определённые пользователем до этого
заголовки.

--proxy-user=user
--proxy-passwd=password
Определяет имя пользователя user и пароль для авторизации на прокси-сервере. Будет
использован тип авторизации "basic".


--referer=url
Добавляет заголовок `Referer: url' в запрос HTTP. Используется при загрузке страниц, которые
передаются правильно только, если сервер знает, с какой страницы вы пришли.

-s
--save-headers
Сохранять заголовки, посылаемые HTTP серверам.

-U agent-string
--user-agent=agent-string
Идентифицироваться как agent-string при запросе на HTTP сервер.

Протокол HTTP позволяет определять себя использованием заголовка агента. Wget по умолчанию
идентифицируется как Wget/version, где version - это версия Wget.

Некоторые серверы выдают требуемую информацию только для обозревателей, идентифицирующихся как
"Mozilla" или Microsoft "Internet Explorer". Этот параметр позволяет обмануть такие серверы.

Параметры FTP

-nr
--dont-remove-listing
Не удалять временные файлы .listing, генерируемые при загрузке по FTP. Эти файлы содержат информацию
о каталогах FTP серверов. Не удаление поможет вам быстро определить обновление каталогов сервера (т.
е. определять., что ваше зеркало является таковым).

Не удаляя .listing, помните о своей безопасности. Например, с таким именем можно создать
символическую ссылку на /etc/passwd или что-то ещё.

-g on/off
--glob=on/off
Включает или выключает разрешение использовать специальные символы (маски) по FTP протоколу. Это
может быть *, ?, [ и ]. Например:

По умолчанию использование маскировочных символов разрешено, если URL содержит такие символы.

Вы можете также взять URL в кавычки. Это работает только на серверах Unix FTP (и эмулирующих выход
Unix "ls").

--passive-ftp
Включает пассивный режим FTP, когда соединение инициируется клиентом. Используется при наличии fire‐
wall.

--retr-symlinks
При рекурсивной загрузке каталогов FTP, файлы, на которые указывают символические ссылки, не
загружаются. Этот параметр отключает это.

Параметр --retr-symlinks работает сейчас только для файлов, не для каталогов.

Помните, что этот параметр не работает при загрузке одиночного файла.

Параметры рекурсивной загрузки

-r
--recursive
Включить рекурсивную загрузку.

-l depth
--level=depth
Максимальная глубина рекурсивной загрузки depth. По умолчанию значение 5.

--delete-after
Удалять каждую страницу (локально) после её загрузки. Используется для сохранения новых версий часто
запрашиваемых страниц на прокси. Например:

Параметр -r включает загрузку по умолчанию, параметр -nd отключает создание каталогов.

При указанном параметре --delete-after, --convert-links игнорируется.

-k
--convert-links
После завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме. Это
касается не только видимых ссылок на другие документы, а ссылок на все внешние локальные файлы.

Каждая ссылка изменяется одним из двух способов:

• Ссылки на файлы, загруженные Wget изменяются на соответствующие относительные ссылки.

  Например: если загруженный файл /foo/doc.html, ссылка на файл /bar/img.gif, также загруженный, в
  нём будет выглядеть как ../bar/img.gif. Этот способ работает, если есть видимое соотношение между
  каталогами одного и другого файла.

   

• Ссылки на файлы, не загруженные Wget будут изменены на абсолютные адреса этих файлов на удалённом
  сервере.

  Например: если загруженный файл /foo/doc.html содержит ссылку на /bar/img.gif (или на
  ../bar/img.gif), ссылка в файле doc.html изменится на http://host/bar/img.gif.

Благодаря этому, возможен автономный просмотр сайта, файлов: если файл, на который есть ссылка
загружен, ссылка будет указывать на него, если нет - ссылка будет указывать на его адрес в интернет
(если такой существует). При конвертировании ссылок, используются относительные ссылки, значит вы
можете переносить загруженный сайт в другой каталог, не меняя его структуру.

Только после завершения загрузки Wget знает, какие файлы были загружены. Следовательно, при параметре
-k конвертация произойдет только по завершении загрузки.

-K
--backup-converted
Конвертировать ссылки обратно - убирать расширение .orig. Изменяет поведение опции -N.

-m
--mirror
Включить параметры для зеркального хранения сайтов. Этот параметр равен нескольким параметрам: -r -N
-l inf -nr. Для неприхотливого хранения зеркальных копий сайтов вы можете использовать данный
параметр.

-p
--page-requisites
Загружать все файлы, которые нужны для отображения HTML страниц. Например рисунки, звук, каскадные
стили.

По умолчанию такие файлы не загружаются. Параметры -r и -l, указанные вместе могут помочь, но т. к.
Wget не различает внешние и внутренние документы, нет гарантии, что загрузится всё требуемое.

Например, 1.html содержит тег "<IMG>", со ссылкой на 1.gif, и тег "<A>", ссылающийся на внешний
документ 2.html. Страница 2.html аналогична, но её рисунок - 2.gif и ссылается она на 3.html.
Скажем, это продолжается до определённого числа.

Если будет дана команда:

то 1.html, 1.gif, 2.html, 2.gif и 3.html загрузятся. Как видим, 3.html без 3.gif, т. к. Wget просто
считает число прыжков, по которым он перешёл, доходит до 2 и останавливается. А при параметрах:

Все файлы and рисунок 3.gif страницы 3.html загрузятся. Аналогично

приведёт к загрузке 1.html, 1.gif, 2.html и 2.gif. Чтобы загрузить одну указанную HTML страницу со
всеми её элементами, просто не указывайте -r и -l:

При этом Wget будет себя вести как при параметре -r, но будут загружены страница и её вспомогательные
файлы. Если вы хотите, чтобы вспомогательные файлы на других серверах (т.е. через абсолютные ссылки)
были загружены, используйте:

wget -E -H -k -K -p http://I<site>/I<document>

И в завершении, нужно сказать, что для Wget внешняя ссылка - это URL, указанный в тегах "<A>",
"<AREA>" и "<LINK>", кроме "<LINK REL="stylesheet">".

Параметры запрета/разрешения рекурсивной загрузки

-A acclist --accept acclist
-R rejlist --reject rejlist
Список имён файлов, разделённых запятыми, которые следует или не следует загружать. Разрешается
задание имён файлов по маске.

-D domain-list
--domains=domain-list
Список доменов domain-list, с которых разрешено загружать файлы. Разделяется запятыми. Этот параметр
не включает -H.

--exclude-domains domain-list
Список доменов, с которых не разрешено загружать файлы

--follow-ftp
Следовать по ссылкам FTP с HTML страниц. Иначе, ссылки на файлы по протоколу FTP игнорируются.

--follow-tags=list
Wget имеет встроенную таблицу HTML тегов, в которых ищет ссылки на другие файлы. Вы можете указать
дополнительные теги в разделённом запятыми списке list в этом параметре.

-G list
--ignore-tags=list
Обратный --follow-tags. Для пропуска HTML тегов при рекурсивной загрузке, укажите их в разделённом
запятыми списке list.

Раньше параметр -G был лучшим для загрузки отдельных страниц с их вспомогательными файлами. Вы
можете посмотреть, как это было, указав команду

wget -Ga,area -H -k -K -r http://I<site>/I<document>

Но теперь, лучшим параметром для загрузки одной страницы полностью считается --page-requisites.

-H
--span-hosts
Разрешает посещать любые сервера, на которые есть ссылка.

-L
--relative
Следовать только по относительным ссылкам. При этом параметре файлы с других серверов загружаться
точно не будут.

-I list
--include-directories=list
Список, разделённый запятыми, каталогов, из которых разрешено загружать файлы. Элементы списка list
могут содержать маскировочные символы.

-X list
--exclude-directories=list
Список, разделённый запятыми, исключаемых каталогов для загрузки (см. Ограничение по каталогам)
Элементы списка list могут содержать маскировочные символы.

-np
--no-parent
Не подниматься выше начального адреса при рекурсивной загрузке.

ПРИМЕРЫ

Примеры разделены на три категории согласно их сложности.

Простоe использование

• Если вам нужно загрузить URL, введите:

   

• Но что же будет, если соединение медленное, а файл длинный? Есть возможность обрыва связи перед
  завершением загрузки. В этом случае Wget будет продолжать попытки нового соединения пока не кончится
  число попыток (по умолчанию 20). Можно изменить это число, например до 45:

   

• Теперь оставим Wget работать на фоне, а его сообщения писать в журнал log. Долго набирать —tries,
  так что используем -t.

  Символ амперсанда в конце указывает командному интерпретатору продолжать работу с пользователем, не
  дожидаясь завершения работы Wget. Чтобы программа делала повторы бесконечно используйте -t inf.

   

• Использование FTP также простое. Wget берёт на себя заботы по авторизации.

   

• · Если вы укажите адрес каталога, Wget загрузит список содержимого этого каталога и конвертирует его в
  формат HTML. Например:

Расширенное использование

• Если у Вас есть файл с URL, которые вы хотите загрузить, используйте параметр -i:

  Если вы укажите — вместо имени файла, URL будут читаться из стандартного ввода (stdin).

   

• · Создать пятиуровневую копию сайта GNU со

   

• Как и выше, но конвертируя ссылки в HTML файлах в локальные для автономного просмотра:

   

• Загрузить одну HTML страницу и все файлы, требуемые для отображения последней (напр. рисунки, файлы
  каскадных стилей и т. д.). Также конвертировать все ссылки на эти файлы:.Sp

  HTML страница будет сохранена в http://www.server.com/dir/page.html и рисунки, каскадные стили и прочее
  будет сохранено в каталоге http://www.server.com/, кроме случая, когда файлы будут загружаться с других
  серверов.

   

• Как и выше, но без каталога http://www.server.com/. Также все файлы будут сохранены в подкаталогах download/.

   

• Загрузить index.html с http://www.lycos.com, отображая заголовки сервера:

   

• Сохранить заголовки в файл для дальнейшего использования.

   

• Загрузить два высших уровня wuarchive.wustl.edu в /tmp.

   

• Загрузить из каталога GIF-файлы на HTTP сервере. Команда wget http://www.server.com/dir/*.gif не
  будет работать, так как маскировочные символы не поддерживаются при загрузке по протоколу HTTP.
  Используйте:

  -r -l1 включает рекурсивную загрузку с максимальной глубиной в 1. —no-parent выключает следование по ссылкам в родительский каталог, имеющую верхний уровень, -A.gif разрешает загружать только файлы с расширением .GIF. -A «*.gif» также будет работать.

   

• Предположим во время рекурсивной загрузки у вам нужно было срочно выключить/перезагрузить компьютер.
  Чтобы не загружать уже имеющиеся файлы, используйте:
• Если вы хотите указать имя пользователя и пароль для HTTP или FTP сервера, используйте
  соответствующий синтаксис URL:

   

• Вы хотите, чтобы загружаемые документы шли в стандартный вывод, а не в файлы?

  Если вы хотите устроить конвейер и загрузить все сайты, ссылки на которые указаны на одной странице:

Профессиональное использование

Вы также хотите, чтобы ссылки конвертировались в локальные. Но после прочтения этого руководства, вы
знаете, что при этом не будет работать сравнение по времени. Укажите Wget оставлять резервные копии
HTML файлов перед конвертацией. Команда:

А если не работает локальный просмотр HTML файлов с расширением, отличным от .html, например
index.cgi, нужно передать команду на переименование всех таких файлов (content-type = text/html) в
имя.html.

С краткими аналогами команд:

ФАЙЛЫ

/usr/local/etc/wgetrc
Расположение по умолчанию глобального файла настроек.

.wgetrc
Пользовательский файл настроек.

ОШИБКИ

Вы можете отправлять отчёты об ошибках в GNU Wget на <"bug-wget(at)gnu.org"> (на английском).

Перед отправкой:

1. Убедитесь, что поведение программы действительно ошибка. Если Wget "вылетает", это точно ошибка.
Если поведение Wget не соответствует документации, это ошибка. Если все работает странно, но вы не
уверены, как оно должно работать на самом деле, это может быть ошибка.

2. Попытайтесь повторить ошибку в минимальное количество действий.

Не спешите отправлять .wgetrc, попробуйте проделать действия, приведшие к ошибке с другим (или вообще
без него) файлом настроек.

3. Запустите Wget с параметром -d и отправьте журнал (или его части). Намного намного легче отыскивать
ошибки с такими журналами.

4. Если Wget "вылетел", попытайтесь запустить его в отладчике, например "gdb `which wget` core" и
введите "where" для получения обратной трассировки.

СМ. ТАКЖЕ

GNU Info для wget.

АВТОРЫ
Hrvoje Niksic <hniksic(at)arsdigita.com>.

ПЕРЕВОД

Н. Шафоростов <admin(at)program.net.ua>

АВТОРСКИЕ ПРАВА

Copyright (c) 1996, 1997, 1998, 2000, 2001 Free Software Foundation, Inc.

Примеры команды wget — загрузка файлов с помощью команды wget

Команда wget используется в основном для получения файлов с внешних ресурсов через HTTP или FTP, в этой статье мы приведем несколько примеров того, как ее использовать.

Загрузка файла с помощью wget

Следующая команда загрузит файл через HTTP-запрос

 wget domain.com/file.txt 

Это сохранит его под тем же именем, что и на сервере, вы можете сохранить его под желаемым именем.Обратите внимание, что файлы должны сохранять свои расширения

 wget -O myFile.txt domain.com/file.txt 

Может использоваться для загрузки внешних файлов, необходимых для проекта

Загрузка файла JavaScript:

 wget https://code.jquery.com/jquery-3.3.1.min.js 

Загрузка одного файла по FTP

wget может использоваться для загрузки файлов через FTP, а также через HTTP, вам необходимо знать свои учетные данные и имя хоста или IP-адрес FTP-сервера.

 wget --ftp-user = FTP_USERNAME --ftp-password = 'FTP_PASSWORD' ftp: // URL / PATH_TO_FILE / FILE_NAME 

Скачивание всех файлов в каталоге

Синтаксис такой же, как и для одного файла, однако в конце каталога стоит символ * вместо указанного файла.

 wget --ftp-user = FTP_USERNAME --ftp-password = 'FTP_PASSWORD' ftp: // URL / PATH_TO_FTP_DIRECTORY / * 

Скачать файл в фоновом режиме

Можно скачать файл в фоновом режиме

 wget -bq домен.com / file.txt 

Загрузить полный HTML-файл веб-сайта

Вы можете реплицировать HTML-содержимое веб-сайта с помощью параметра –mirror (или для краткости -m)

 wget -m http://domain.com 

Загрузка нескольких файлов

Вы можете загрузить несколько файлов, URL-адреса которых хранятся в файле, каждый в отдельной строке

 cat urls.txt
url1.com/file
url2.com/file
url3.com/file 

 wget -i urls.txt 

Поэкспериментируйте с различными командами wget или используйте вышеупомянутые примеры wget в наших дешевых хостинговых пакетах cPanel, планах Linux SSD VPS или выделенных серверах Linux.

Скачивание файлов с помощью wget | База знаний пары

Общий

VPS

Выделенный

WP Professional

WP Professional Plus

Команда wget — это программа для загрузки файлов из Интернета, которая может загружать все, что угодно, от файлов и веб-страниц до целых веб-сайтов.

Базовое использование

Формат команды wget:

 wget [параметры] url 

Например, в простейшей форме вы должны написать команду примерно так:

 wget http: // www.domain.com/filename.zip 

Это загрузит файл filename.zip с www.domain.com и поместит его в текущий каталог.

Перенаправление вывода

Параметр -O устанавливает имя выходного файла. Если файл назывался filename-4.0.1.zip и вы хотите сохранить его непосредственно в filename.zip , вы должны использовать такую ​​команду:

 wget -O filename.zip http://www.domain.com/filename-4.0.1.zip 

Программа wget может работать с множеством различных протоколов, наиболее распространенными из которых являются ftp: // и http: //.

Загрузка в фоновом режиме.

Если вы хотите скачать большой файл и закрыть соединение с сервером, вы можете использовать команду:

 wget -b url 

Загрузка нескольких файлов

Если вы хотите загрузить несколько файлов, вы можете создать текстовый файл со списком целевых файлов. Каждое имя файла должно быть в отдельной строке. Затем вы запустите команду:

 wget -i filename.txt 

Вы также можете сделать это с помощью файла HTML.Если у вас есть HTML-файл на вашем сервере и вы хотите загрузить все ссылки на этой странице, вам нужно добавить --force-html в свою команду.

Чтобы использовать это, все ссылки в файле должны быть полными ссылками, если это относительные ссылки, вам нужно будет добавить после к HTML-файлу перед запуском команды:

 wget --force-html -i filename.html 

Ограничение скорости загрузки

Обычно вы хотите, чтобы загрузка была как можно быстрее.Однако, если вы хотите продолжить работу во время загрузки, вам нужно уменьшить скорость.

Для этого используйте параметр --limit-rate . Вы бы использовали это так:

  wget --limit-rate = 200k http://www.domain.com/filename.tar.gz  

Продолжается неудачная загрузка

Если при загрузке большого файла происходит сбой, в большинстве случаев вы можете продолжить загрузку, используя параметр -c .

Например:

 wget -c http: // www.domain.com/filename.tar.gz 

Обычно при перезапуске загрузки с тем же именем файла к загружаемому файлу добавляется номер, начинающийся с .1, и начинается снова с начала.

Загрузка в фоновом режиме

Если вы хотите загрузить в фоновом режиме, используйте опцию -b . Пример этого:

 wget -b http://domain.com/filename.tar.gz 

Проверка наличия удаленных файлов перед загрузкой по расписанию

Если вы хотите запланировать большую загрузку заранее, стоит проверить, существуют ли удаленные файлы.Вариант запуска проверки файлов — --spider .

В таких случаях у вас обычно есть файл со списком файлов для загрузки внутри. Пример того, как эта команда будет выглядеть при проверке списка файлов:

 wget --spider -i filename.txt 

Однако, если вы хотите проверить только один файл, вы можете использовать эту формулу:

 wget --spider http://www.domain.com/filename.tar.gz 

Копирование всего веб-сайта

Если вы хотите скопировать весь веб-сайт, вам необходимо использовать параметр --mirror .Поскольку это может быть сложной задачей, вам могут потребоваться другие параметры, такие как -p , -P , --convert-links , --reject и --user-agent .

Использование всех этих параметров для загрузки веб-сайта будет выглядеть так:

 wget --mirror -p --convert-links -P ./local-dir --user-agent = "Mozilla / 5.0 (Windows NT 6.3; WOW64; rv: 40.0" http://www.domain.com/ 

СОВЕТ: Будьте милым

Всегда лучше спрашивать разрешения перед загрузкой сайта, принадлежащего кому-то другому, и даже если у вас есть разрешение, всегда хорошо поиграть с его сервером.Эти два дополнительных параметра гарантируют, что вы не нанесете вред их серверу во время загрузки.

 --wait = 15 --limit-rate = 50K 

Это будет ждать 15 секунд между каждой страницей и ограничить скорость загрузки до 50 КБ / сек.

Загрузка по FTP

Если вы хотите загрузить файл через FTP и требуются имя пользователя и пароль, вам нужно будет использовать параметры --ftp-user и --ftp-password .

Пример этого может выглядеть так:

 wget --ftp-user = ИМЯ ПОЛЬЗОВАТЕЛЯ --ftp-password = ПАРОЛЬ ftp: // ftp.domain.com/filename.tar.gz 

Повторить

Если во время загрузки возникают сбои, вы можете использовать опцию -t , чтобы установить количество повторных попыток. Такая команда может выглядеть так:

 wget -t 50 http://www.domain.com/filename.tar.gz 

Вы также можете установить бесконечное количество попыток, используя -t inf .

Рекурсивно до уровня X

Если вы хотите получить только первый уровень веб-сайта, вы должны использовать опцию -r в сочетании с опцией -l .

Например, если вам нужен только первый уровень веб-сайта, вы должны использовать:

 wget -r -l1 http://www.example.com/ 

Установка логина и пароля для аутентификации

Если вам нужно аутентифицировать HTTP-запрос, используйте команду:

 wget --http-user = ИМЯ ПОЛЬЗОВАТЕЛЯ --http-password = ПАРОЛЬ http://domain.com/filename.html 

wget — очень сложная и полная утилита для скачивания. В нем есть еще много опций и множество комбинаций для решения конкретной задачи.Для получения дополнительной информации вы можете использовать команду man wget в терминале / командной строке, чтобы открыть руководство по wget. Вы также можете найти руководство по wget здесь в формате веб-страницы.

Wget в Linux с примерами

GNU Wget — это утилита командной строки для загрузки файлов из Интернета. С Wget вы можете загружать файлы, используя протоколы HTTP, HTTPS и FTP. Wget предоставляет ряд опций, позволяющих загружать несколько файлов, возобновлять загрузки, ограничивать полосу пропускания, рекурсивные загрузки, загружать в фоновом режиме, зеркалировать веб-сайт и многое другое.

В этой статье показано, как использовать команду wget на практических примерах и подробных объяснениях наиболее распространенных параметров.

Установка Wget #

Пакет wget предустановлен сегодня в большинстве дистрибутивов Linux.

Чтобы проверить, установлен ли пакет Wget в вашей системе, откройте консоль, введите wget и нажмите Enter. Если у вас установлен wget, система напечатает wget: missing URL .В противном случае он напечатает Команда wget не найдена .

Если wget не установлен, вы можете легко установить его с помощью диспетчера пакетов вашего дистрибутива.

Установка Wget на Ubuntu и Debian #

  sudo apt install wget  

Установка Wget на CentOS и Fedora #

  sudo yum install wget  

Синтаксис команды Wget #

Перед тем, как перейти к использованию wget , давайте начнем с обзора основного синтаксиса.

Выражения утилиты wget имеют следующий вид:

• options — Параметры Wget
• url — URL-адрес файла или каталога, который вы хотите загрузить или синхронизировать.

Как загрузить файл с помощью

В простейшей форме, при использовании без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.

В следующем примере мы загружаем tar-архив ядра Linux:

  wget https: // cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.2.tar.xz  

Как видно из изображения выше, wget начинается с разрешения IP-адреса домена, а затем подключается к удаленный сервер и начинает передачу.

Во время загрузки wget показывает индикатор выполнения вместе с именем файла, размером файла, скоростью загрузки и расчетным временем завершения загрузки. После завершения загрузки вы можете найти загруженный файл в своем текущем рабочем каталоге. .

Чтобы отключить вывод, используйте опцию -q .

Если файл уже существует, wget добавит .N (номер) в конце имени файла.

Сохранение загруженного файла под другим именем #

Чтобы сохранить загруженный файл под другим именем, передайте параметр -O , за которым следует выбранное имя:

  wget -O latest-hugo.zip https: // github.com/gohugoio/hugo/archive/master.zip  

Приведенная выше команда сохранит последнюю версию hugo zip-файл с GitHub как latest-hugo.zip вместо первоначального имени.

Загрузка файла в определенный каталог #

По умолчанию wget сохранит загруженный файл в текущем рабочем каталоге. Чтобы сохранить файл в определенном месте, используйте параметр -P :

  wget -P / mnt / iso http://mirrors.mit.edu/centos/7/isos/x86_64/CentOS-7-x86_64 -Minimal-1804.iso  

Приведенная выше команда сообщает wget сохранить ISO-файл CentOS 7 в каталог / mnt / iso .

Ограничение скорости загрузки #

Чтобы ограничить скорость загрузки, используйте параметр --limit-rate . По умолчанию скорость измеряется в байтах в секунду. Добавьте k для килобайт, m для мегабайт и g для гигабайт.

Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 МБ:

  wget --limit-rate = 1m https://dl.google.com/go/go1.10.3.linux-amd64.tar .gz  

Этот параметр полезен, если вы не хотите, чтобы wget занимал всю доступную полосу пропускания.

Возобновление загрузки #

Вы можете возобновить загрузку с помощью параметра -c . Это полезно, если ваше соединение прерывается во время загрузки большого файла, и вместо того, чтобы начинать загрузку с нуля, вы можете продолжить предыдущую.

В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:

  wget -c http://releases.ubuntu.com/18.04/ubuntu-18.04-live-server-amd64.iso  

Если удаленный сервер не поддерживает возобновление загрузки, wget начнет загрузку с начала и перезапишет существующий файл.

Загрузка в фоновом режиме #

Для загрузки в фоновом режиме используйте параметр -b . В следующем примере мы загружаем iso-файл OpenSuse в фоновом режиме:

  wget -b https://download.opensuse.org/tumbleweed/iso/openSUSE-Tumbleweed-DVD-x86_64-Current.iso  

По умолчанию вывод перенаправляется в файл wget-log в текущем каталоге. Чтобы следить за статусом загрузки, используйте tail команда:

  tail -f wget-log  

Изменение агента пользователя Wget #

Иногда при загрузке файла удаленный сервер может быть настроен на блокировку агента пользователя Wget.В подобных ситуациях, чтобы эмулировать другой браузер, передайте опцию -U .

  wget --user-agent = "Mozilla / 5.0 (X11; Linux x86_64; rv: 60.0) Gecko / 20100101 Firefox / 60.0" http://wget-forbidden.com/  

Приведенная выше команда будет эмулировать Firefox 60 запрос страницы с wget-forbidden.com

Загрузка нескольких файлов #

Если вы хотите загрузить несколько файлов одновременно, используйте параметр -i , за которым следует путь к локальному или внешнему файлу, содержащему список URL-адресов для загрузки.Каждый URL-адрес должен быть в отдельной строке.

В следующем примере показано, как загрузить iso-файлы Arch Linux, Debian и Fedora, используя URL-адреса, указанные в файле linux-distros.txt :

  wget -i linux-distros.txt  

linux- distros.txt

  http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso
https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
https: // скачать.fedoraproject.org/pub/fedora/linux/releases/28/Server/x86_64/iso/Fedora-Server-dvd-x86_64-28-1.1.iso
  

Если вы укажете - в качестве имени файла, URL-адреса будут считываться из стандартного ввода.

Загрузка через FTP #

Чтобы загрузить файл с защищенного паролем FTP-сервера, укажите имя пользователя и пароль, как показано ниже:

  wget --ftp-user = FTP_USERNAME --ftp-password = FTP_PASSWORD ftp: / /ftp.example.com/filename.tar.gz  

Создание зеркала веб-сайта #

Чтобы создать зеркало веб-сайта с помощью wget , используйте параметр -m .Это создаст полную локальную копию веб-сайта, следуя и загружая все внутренние ссылки, а также ресурсы веб-сайта (JavaScript, CSS, изображения).

  wget -m https://example.com  

Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.

  wget -m -k -p https://example.com  

Параметр -k заставит wget преобразовать ссылки в загруженных документах, чтобы сделать их пригодными для локального просмотра.Опция -p сообщит wget о необходимости загрузки всех необходимых файлов для отображения HTML-страницы.

Пропуск проверки сертификата #

Если вы хотите загрузить файл через HTTPS с хоста с недействительным сертификатом SSL, используйте опцию --no-check-certificate :

  wget --no-check- сертификат https://domain-with-invalid-ss.com  

Загрузка на стандартный вывод #

В следующем примере wget незаметно (флаг -q ) загрузит и выведет последнюю версию WordPress на stdout (флаг -O - ) и направьте его в утилиту tar , которая распакует архив в каталог / var / www .

  wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C / var / www  

Заключение №

С помощью wget вы можете загружать несколько файлов, возобновлять частичные загрузки, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.

Чтобы узнать больше о Wget, посетите GNU wget Manual страница.

Руководство по Wget — Примеры

Для ясности примеры разделены на три раздела.Первый раздел — это учебник для начинающих. Второй раздел объясняет некоторые из более сложных функций программы. Третий раздел содержит советы администраторам зеркал, а также еще более сложные особенности (которые некоторые назвали бы извращенными).

• Скажем, вы хотите загрузить URL-адрес. Просто введите:

  wget http://fly.cc.fer.hr/
   

  Ответ будет примерно таким:

  --13: 30: 45-- http://fly.cc.fer.hr:80/
             => `index.html '
  Подключение к полетам.cc.fer.hr:80 ... подключено!
  HTTP-запрос отправлен, получение заголовков ... готово.
  Длина: 1749 [text / html]
  
      0K ->.
  
  13:30:46 (68,32 К / с) - `index.html 'сохранен [1749/1749]
   

• Но что произойдет, если соединение медленное, а файл длинный? Соединение, вероятно, завершится ошибкой до того, как будет получен весь файл, больше чем единожды. В этом случае Wget будет пытаться получить файл, пока он либо получает все, либо превышает количество повторных попыток по умолчанию (это 20). Количество попыток легко изменить до 45, чтобы убедитесь, что весь файл будет доставлен в целости и сохранности:

  wget --tries = 45 http: // fly.cc.fer.hr/jpg/flyweb.jpg
   

• Теперь оставим Wget работать в фоновом режиме и запишем его прогресс. для регистрации файла `log ‘. Набирать `—tries ‘ утомительно, поэтому мы должен использовать `-t ‘.

  wget -t 45 -o log http://fly.cc.fer.hr/jpg/flyweb.jpg &
   

  Амперсанд в конце строки гарантирует, что Wget работает в задний план. Чтобы не ограничивать количество повторных попыток, используйте `-t inf ‘.
• Использовать FTP так же просто. Wget позаботится о логине и пароль.

  $ wget ftp://gnjilux.cc.fer.hr/welcome.msg
  --23: 35: 55-- ftp://gnjilux.cc.fer.hr:21/welcome.msg
             => `welcome.msg '
  Подключение к gnjilux.cc.fer.hr:21 ... подключено!
  Авторизоваться как аноним ... Авторизоваться!
  ==> ТИП I ... готово. ==> CWD не нужен.
  ==> ПОРТ ... готово. ==> RETR welcome.msg ... готово.
  Длина: 1340 (неавторизованный)
   
      0K ->.
   
  23:35:56 (37.39K / s) - сохранен файл `welcome.msg '[1340]
   

• Если вы укажете каталог, Wget получит список каталогов, проанализировать его и преобразовать в HTML.Пытаться:

  wget ftp://prep.ai.mit.edu/pub/gnu/
  lynx index.html
   

• Вы хотите прочитать список URL-адресов из файла? Не проблема с этим:

  wget -i файл
   

  Если вы укажете `- ‘ в качестве имени файла, URL-адреса будут считываться из стандартный ввод.
• Создайте зеркальное отображение WWW-сайта GNU (с той же структурой каталогов оригинал имеет) только с одной попыткой для каждого документа, сохраняя журнал действия для `gnulog ‘:

  wget -r -t1 ​​http: // www.gnu.ai.mit.edu/ -o gnulog
   

• Получите первый уровень ссылок Yahoo:

  wget -r -l1 http://www.yahoo.com/
   

• Получите index.html `www.lycos.com ‘, показывая исходный заголовки сервера:

  wget -S http://www.lycos.com/
   

• Сохраните заголовки сервера вместе с файлом:

  wget -s http://www.lycos.com/
  подробнее index.html
   

• Получите первые два уровня `wuarchive.wustl.edu ‘, сохранив их в / tmp.

  wget -P / tmp -l2 ftp://wuarchive.wustl.edu/
   

• Вы хотите загрузить все GIF-файлы из каталога HTTP. `wget http: //host/dir/*.gif ‘ не работает, так как HTTP поиск не поддерживает подстановку. В этом случае используйте:

  wget -r -l1 --no-parent -A.gif http: // хост / каталог /
   

  Это немного похоже на кладж, но это работает. `-r -l1 ‘ означает получить рекурсивно (See section Рекурсивное извлечение) с максимальной глубиной 1. `—no-parent ‘ означает, что ссылки на родительский каталог игнорируется (See section Ограничения на основе каталогов), и `-A.gif ‘ означает скачивайте только файлы GIF. `-A» * .gif «‘ работал бы слишком.
• Предположим, вы были в процессе загрузки, когда Wget был прервано. Теперь вы не хотите уничтожать уже существующие файлы. Это было бы:

  wget -nc -r http://www.gnu.ai.mit.edu/
   

• Если вы хотите закодировать собственное имя пользователя и пароль в HTTP или FTP используйте соответствующий синтаксис URL (см. Раздел Формат URL).

  wget ftp: // hniksic: mypassword @ jagor.srce.hr/.emacs
   

• Если вам не нравится визуализация поиска по умолчанию (1K точек с 10 точек на кластер и 50 точек на строку), вы можете настроить его через точку настройки (See section Команды Wgetrc). Например, многим нравится «бинарный» стиль поиска с 8K точек и 512K строк:

  wget --dot-style = двоичный ftp://prep.ai.mit.edu/pub/gnu/README
   

  Вы можете поэкспериментировать с другими стилями, например:

  wget --dot-style = мега ftp://ftp.xemacs.org/pub/xemacs/xemacs-20.4 / xemacs-20.4.tar.gz
  wget --dot-style = micro http://fly.cc.fer.hr/
   

  Чтобы сделать эти настройки постоянными, поместите их в свой `.wgetrc ‘, как описанный ранее (См. раздел Пример Wgetrc).

• Если вы хотите, чтобы Wget сохранял зеркало страницы (или FTP подкаталоги) используйте `—mirror ‘ (` -m’ ), что является сокращением для `-r -N ‘. Вы можете поместить Wget в файл crontab, попросив его перепроверяйте сайт каждое воскресенье:

  crontab
  0 0 * * 0 wget --mirror ftp: // ftp.xemacs.org/pub/xemacs/ -o / home / me / weeklog
   

• Вы можете сделать то же самое с чьей-либо домашней страницей. Но ты не хотите загрузить все эти изображения — вас интересует только HTML.

  wget --mirror -A.html http://www.w3.org/
   

• Но как насчет зеркалирования хостов, которые сетеобразно близки вам? Это кажется ужасно медленным из-за всего этого разрешения DNS. Просто используйте `-D ‘ (См. Раздел« Принятие домена »).

  wget -rN -Dsrce.hr http: // www.srce.hr/
   

  Теперь Wget правильно обнаружит, что `regoc.srce.hr ‘ то же самое как `www.srce.hr ‘, но даже не будем принимать во внимание ссылка на `www.mit.edu ‘.
• У вас есть презентация, и вы хотите, чтобы тупые абсолютные ссылки были преобразован в родственник? Используйте `-k ‘:

  wget -k -r  URL 
   

• Вы хотите, чтобы выходные документы выводились на стандартный вывод вместо в файлы? ОК, но Wget автоматически отключится (включите `—quiet ‘), чтобы предотвратить смешивание вывода Wget и полученного документы.

  wget -O - http://jagor.srce.hr/ http://www.srce.hr/
   

  Вы также можете комбинировать эти два варианта и создавать странные конвейеры для получить документы из удаленных горячих списков:

  wget -O - http://cool.list.com/ | wget --force-html -i -
   

Перейти к первому, предыдущему, следующему, последнему разделу оглавления.

Справка по команде Linux wget и примеры

wget — бесплатная утилита для неинтерактивной загрузки файлов из Интернета.Он поддерживает протоколы HTTP, HTTPS и FTP, а также поиск через HTTP-прокси.

wget не интерактивен, что означает, что он может работать в фоновом режиме, пока пользователь не вошел в систему, что позволяет вам начать поиск и отключиться от системы, позволяя wget завершить работу. Напротив, большинство веб-браузеров требуют постоянного взаимодействия с пользователем, что затрудняет передачу большого объема данных.

wget может переходить по ссылкам на страницах HTML и XHTML и создавать локальные версии удаленных веб-сайтов, полностью воссоздавая структуру каталогов исходного сайта, что иногда называют «рекурсивной загрузкой».» При этом wget соблюдает стандарт исключения роботов (robots.txt). wget можно указать для преобразования ссылок в загруженных файлах HTML в локальные файлы для просмотра в автономном режиме.

wget разработан для обеспечения устойчивости к медленным или нестабильным сетевым соединениям; если загрузка не удалась из-за проблем с сетью, она будет повторять попытки до тех пор, пока не будет получен весь файл. Если сервер поддерживает повторную загрузку, он даст указание серверу продолжить загрузку с того места, где она была остановлена.

Самый простой способ использовать wget — указать ему местоположение файла для загрузки по HTTP. Например, чтобы загрузить файл http://website.com/files/file.zip , используйте следующую команду:

Существует множество вариантов, которые позволяют использовать wget по-разному, для разных целей. Они описаны ниже.

Для других операционных систем см. Документацию диспетчера пакетов для получения информации о том, как найти двоичный пакет wget и установить его.Или вы можете установить его из исходного кода с веб-сайта GNU по адресу https://www.gnu.org/software/wget/.

Для поддержки зашифрованных загрузок HTTP (HTTPS), wget должен быть скомпилирован с внешней библиотекой SSL, в настоящее время OpenSSL. Если wget скомпилирован без поддержки SSL, ни один из этих вариантов недоступен.

Загрузите файл домашней страницы по умолчанию (index.htm) с сайта www.computerhope.com . Файл будет сохранен в рабочем каталоге.

Скачайте файл archive.zip с www.example.org и ограничьте использование полосы пропускания загрузки до 200 к / с .

Загрузите archive.zip с example.org и, если в текущем каталоге существует частичная загрузка, возобновите загрузку с того места, где она была остановлена.

Загрузите archive.zip в фоновом режиме, тем временем вернув вас в командную строку.

Использует режим «паука» для проверки существования удаленного файла. Результат будет примерно таким:

Загрузите полное зеркало веб-сайта www.example.org в папку ./example-mirror для локального просмотра.

Остановите загрузку archive.zip после успешной передачи пяти мегабайт. Позднее эту передачу можно будет возобновить с помощью опции -c .

 wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z 

 wget --spider --force-html -i bookmarks.html 

 wget --no-cookies --header "Cookie:  = " 

 wget --header = 'Accept-Charset: iso-8859-2' --header = 'Accept-Language: hr' http://fly.srk.fer.hr/ 

 wget --header = «Host: foo.bar "http: // localhost / 

 wget --save-cookies cookies.txt --post-data 'user = foo & password = bar' http://server.com/auth.php 

 wget --load-cookies cookies.txt - p http://server.com/interesting/article.php 

 wget ftp: //gnjilux.srk.fer.hr/*.msg 

 wget -r -nd --delete-after http: // something.com / ~ popular / page / 

 wget -r -l 2 http: //  /1.html 

 wget -r -l 2 -p http: //  /1.html 

 wget -r -l 1 -p http: //  /1.html 

 wget -r -l 0 -p http: //  /1.html 

 wget -p http: //  /1.html 

 wget -E -H -k -K -p http: //  /  

 wget --ignore-tags = a, area -H -k -K -r http: / /  /  

Как загрузить файлы данных — Документация по учебным модулям ENA 1

Предоставление пользователям возможности загружать представленные данные для дальнейшего Цели анализа — ключевая часть миссии ENA. Таким образом, файлы доступны через общедоступный FTP-сервер.Здесь вы можете узнать, как устроен этот сервер, и как его скачать, прочитать и файлы анализа.

Структура FTP

Корневой адрес FTP-сервера, содержащий все данные чтения и анализа:

 ftp://ftp.sra.ebi.ac.uk/vol1/
 

Между тем, собранные и аннотированные данные последовательности можно найти по адресу:

 ftp://ftp.ebi.ac.uk/pub/databases/ena/
 

Любой файл, загружаемый с ENA, поступает с одного из этих двух FTP-серверов. Их содержание и структура подробно описаны на следующих страницах:

Загрузка файлов

ENA предоставляет множество способов доступа к данным, которые он размещает, подходя для целого ряда варианты использования и уровни вычислительной способности.Они описаны ниже, отсортированные от низкого к высокому, в зависимости от того, сколько вычислительные способности могут потребоваться:

Примечание

Большинство каталогов содержат файл «.md5». Вы можете рассчитать значение MD5 для файл, который вы скачали, и сравните его с соответствующим файлом .md5, чтобы Подтвердите, что он был переведен полностью.

Использование браузера ENA

Браузер ENA — это наш веб-сайт, на котором вы можете получить информацию о ENA, а также доступ ко всем имеющимся у нас данным.Приходите к нам здесь:

https://www.ebi.ac.uk/ena/browser/home

Вы можете перейти к любому присоединению, введя его в поле «Ввести присоединение» на ссылка выше. Если, например, вы видите в документе ссылку на присоединение к ENA, вы можете увидеть данные для себя таким образом. Оказавшись там, вы можете загрузить любые связанные файлы, щелкнув соответствующий ссылки. Для получения дополнительной информации о том, как исследовать запись в ENA, посетите наше руководство. о том, как изучить проект ENA

Использование загрузчика FTP ENA

Загрузчик файлов FTP ENA — это приложение, которое можно загрузить с GitHub.При присоединении эта программа представит вам список связанных файлов. можно скачать. Кроме того, вы можете предоставить запрос из нашего API расширенного поиска или портала. API для выполнения массовой загрузки всех файлов по заданному набору критериев. Узнайте больше об этих API из нашего руководства о том, как получить доступ к ENA. Программно.

Использование

Globus предоставляет более удобный, многофункциональный интерфейс каталогов для взаимодействие с FTP-сервером. Файлы могут быть загружены через Globus «Общая общедоступная конечная точка EMBL-EBI». конечная точка из подпапки ‘/ gridftp / ena’:

Использование

wget — это простой инструмент командной строки, повсеместно доступный в Linux и Mac. выпускает.Файл можно загрузить с помощью wget, просто указав его местоположение:

 $ wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR164/ERR164407/ERR164407.fastq.gz
 

Использование FTP-клиента

FTP-клиенты командной строки позволяют интерактивно исследовать FTP-сервер и загрузить данные на свой локальный компьютер. При запросе имени пользователя используйте «анонимный». При запросе пароля нажмите нажмите клавишу ввода, чтобы пропустить это.

 ftp ftp.sra.ebi.ac.uk
Имя: анонимный
Пароль:
ftp> cd vol1 / fastq / ERR164 / ERR164407
ftp> получить ERR164407.fastq.gz
 

В приведенном выше примере команда «cd» используется для «смены каталога» на требуемый каталог. Затем используется команда «get», чтобы указать интересующий файл. В любое время вы можете использовать «ls» для просмотра содержимого текущего каталога. Команда «pwd» может использоваться для определения текущего каталога.

Использование

Клиент командной строки Aspera ascp можно загрузить с Aspera. Пожалуйста, выберите правильную версию для вашей операционной системы.Клиент командной строки ascp распространяется как часть соединения Aspera. высокопроизводительный плагин для браузера передачи.

Для загрузки общедоступных данных требуется файл аутентификации с открытым ключом. Это предоставляется в пакете загрузки клиента командной строки Aspera как Файл «asperaweb_id_dsa.openssh». Расположение этого файла варьируется от платформы.

Ниже приведены некоторые примеры использования Aspera для загрузки данных ENA:

Unix

 ascp -QT -l 300m -P33001 -i путь / к / aspera / installation / etc / asperaweb_id_dsa.локальный \ целевой \ каталог
 

Загрузка личных файлов

например Если вы хотите использовать aspera для загрузки закрытого файла данных с использованием аутентификации datahub (dcc), укажите имя пользователя dcc вместо era-fasp, и вам будет предложено ввести пароль.

 ascp -QT -l 300m -P33001 \
[email protected]: /vol1/fastq/ERR327/009/ERR3278169/ERR3278169_1.fastq.gz \
локальный / целевой / каталог
 

Загрузка собранных и аннотированных данных последовательности

Файлы из общедоступных FTP-папок также можно загрузить с помощью Aspera.

например последовательность WGS, такая как ftp://ftp.ebi.ac.uk/pub/databases/ena/wgs/public/wy/WYAA01.dat.gz

 ascp -QT -l 300m -P33001 -i путь / к / aspera / installation / asperaweb_id_dsa.openssh /
[email protected]: базы данных / ena / wgs / public / wy / WYAA01.dat.gz local / target / directory
 

Получить файлы из сети через HTTP (S) и FTP

 Удалите # $ FreeBSD $ из Makefiles. 

 ftp / wget: исправление сборки на архитектурах GCC

tempname.c: В функции 'try_tempname_len':
tempname.c: 288: error: начальное объявление цикла for, используемое вне режима C99 

 ftp / wget: обновление с 1.От 20,3 до 1,21

Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git/plain/NEWS

PR: порты / 252369
Сообщает: Ясухиро Кимура  

 - Обрабатывать две недостающие зависимости, pcre2 и nettle.
- Улучшена обработка PCRE в опциях, добавлена ​​опция NTLM.
- Безоговорочно используйте pkg-config, он используется для определения всех зависимостей и является
требуется для правильного обнаружения pcre2
- Используйте USES = localbase вместо дубликатов CPPFLAGS / LDFLAGS для большинства опций.

PR: 251189
Утверждено: vd (сопровождающий) 

 Удалите виртуальную категорию ipv6 для категории f *, поскольку она больше не актуальна 

 Преобразовать в USES + = tar: lz (доступно с r504008). 

 ftp / wget: обновление с 1.20 до 1.20.3

Журнал изменений: http: // git.savannah.gnu.org/cgit/wget.git/plain/NEWS

MFH: 2 квартал 2019 г.
Безопасность: CVE-2018-20483 

 Обновление dns / libidn2 до версии 2.1.1

- Bump PORTREVISION зависимых портов для смены shlib

Изменения: https://gitlab.com/libidn/libidn2/blob/master/NEWS 

 Обновите dns / libidn2 до 2.1.0

- Bump PORTREVISION зависимых портов для смены shlib

Изменения: https://gitlab.com/libidn/libidn2/blob/master/NEWS 

 ftp / wget: обновление с 1.19.5 до 1.20

Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git/plain/NEWS

PR: порты / 233738
Сообщает: [email protected] 

 Отбойники, которые должны были быть подбиты вместе с r484628

Сообщает: kib 

 Удалите избыточные DOCS, NLS, ПРИМЕРЫ и IPV6 из OPTIONS_DEFAULT, поскольку они
помещаются туда фреймворком (см. строку 200 Mk / bsd.options.mk), кроме
для `finance / Quantlib ', что делает очень неортодоксальное использование параметров порта. 

 ftp / wget: обновление с 1.19.4 до 1.19.5

Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git / plain / НОВОСТИ

PR: порты / 228071
Автор: Ясухиро КИМУРА 
MFH: 2 квартал 2018 г.
Безопасность: CVE-2018-0494 

 Обновить dns / libpsl до 0.20.1

- Bump PORTREVISION зависимых портов для смены shlib

Изменения: https://github.com/rockdaboot/libpsl/blob/master/NEWS
https://github.com/rockdaboot/libpsl/blob/libpsl-0.20.1/NEWS 

 Обновить dns / libpsl до 0.20.0

- Bump PORTREVISION зависимых портов для смены shlib

Изменения: https://github.com/rockdaboot/libpsl/blob/master/NEWS 

 security / openssl-devel: удалить BROKEN из некоторых портов

 * базы данных / freetds: исправлено 14 февраля 2017 г.
 * database / postgresql10-server: исправлено 15.09.2016 [1]
 * ftp / lftp: исправлено в 4.8.0
 * ftp / proftpd: исправлено в версии 1.3.5c
 * ftp / wget: исправлено в 1.19.3 [2]
 * lang / erlang-runtime20: исправлено в 20.0
 * net / socat: исправлено в 1.7.3.2
 * security / libssh3: исправлено в 1.8.0 [3]
 * security / p5-Crypt-OpenSSL-X509: исправлено в 1.8.8
 * sysutils / bacula9-server: исправлено в 9.0.6.
 * www / nginx: исправлено в 1.9.14

 * Массовая сборка OK 10.3 / 11.1 для i386 и amd64:
    - мультимедиа / librtmp
    - сеть / libvncserver
    - www / lynx

PR: 225875 [1], 225872 [2], 225873 [3] 

 ftp / wget: обновление с 1.19.2 до 1.19.4

Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git/plain/NEWS 

 ftp / wget: обновление с 1.19.1 до 1.19.2

Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git/plain/NEWS

Автор: Эндрю Перри 
Безопасность: CVE-2017-13089
Безопасность: CVE-2017-13090 

 Задайте для MAKEINFO полный путь к makeinfo, если установлено USES = makeinfo.

PR: 221027
Рецензент: mat
Утверждено: portmgr (antoine) 

 ftp / wget: принудительно перестроить информационную страницу

MAKEINFO должен быть определен в среде настройки, чтобы
информационная страница будет перестроена.

Прислал: jkim 

 ftp / wget: исправить путь makeinfo

В FreeBSD 10.x makeinfo находится в / usr / bin / makeinfo, тогда как в 11.x
он находится в / usr / local / bin / makeinfo. Не указывайте его полный путь
расположение, например DOCS_CONFIGURE_ENV = MAKEINFO = "$ {LOCALBASE} / bin / makeinfo"
поскольку достаточно иметь его в PATH (в / usr / bin или / usr / local / bin).

Автор: Вальтер Шварценфельд  

 ftp / wget: параметры документации Tweak

* Добавьте отдельную опцию, чтобы контролировать, должна ли быть установлена ​​страница руководства
* Обрабатывать wgetrc.sample с помощью @sample согласно
  https://www.freebsd.org/doc/en/books/porters-handbook/plist-config.html и
 
https://www.freebsd.org/doc/en/books/porters-handbook/plist-keywords.html#plist-keywords-sample
* Теперь опция DOCS только контролирует, установлена ​​ли информационная страница или нет.

Прислал: jkim 

 ftp / wget: сделать установку документации необязательной

Прислал: jkim 

 Обновление ftp / wget с 1.19 до 1.19.1

Журнал изменений: http://git.savannah.gnu.org/cgit/wget.git/plain/NEWS

- добавить тестовую цель и TEST_DEPENDS
- удалить gmake из ИСПОЛЬЗОВАНИЯ: текущую версию wget можно собрать без
  gmake
- параметр unbreak IDN: с версии 1.19 wget использует libidn2 вместо libidn
- libidn2 использует libunistring из портов, поэтому, когда включена опция IDN
  используйте libunistring из портов вместо прилагаемого
- отключение поддержки pcre с помощью./ configure --disable-pcre в настоящее время работает,
  используй это
- удалить Makefile и настроить исправления, которые больше не нужны
- патч / usr / local к $ PREFIX также в wget.info
- удалить файлы / patch-src__main.c - эта ошибка исправлена
  2 марта 2015 г. [1]

[1]
http://git.savannah.gnu.org/cgit/wget.git/commit/?id=9dde436dd689bd51eef71d64152dde9c8c0b5f65

PR: 218408
Прислал: Антон Южанинов  

 Удалить все вхождения USE_OPENSSL.Спонсор: Absolight 

 ftp / wget: исправить ошибку компиляции из-за передачи -R в clang

gcc принимает -R, но clang требует -Wl, -R и, поскольку мы меняем
это используйте правильный -Wl, -rpath.

Сообщают: Вальтер Шварценфельд, Барбара Гуида, Джимми Олджени, Кен Дж. 

 ftp / wget: обновление с 1.18_2 к 1.19 

 - обновление до 0.16.1
- Bump PORTREVISION для зависимых портов

Изменения: https://github.com/rockdaboot/libpsl/blob/master/NEWS 

 - Обновление до 0.16.0
- Bump PORTREVISION для зависимых портов

Изменения: https://github.com/rockdaboot/libpsl/blob/master/NEWS 

 Отметить некоторые порты как неготовые к openssl-devel.

Спонсор: Absolight 

 - Добавить опции METALINK и PSL

====> Выполнение тестов Q / A (stage-qa)
Ошибка: / usr / local / bin / wget связан с /usr/local/lib/libmetalink.so.3 из
misc / libmetalink, но он не объявлен как зависимость
Предупреждение: вам понадобится LIB_DEPENDS + = libmetalink.так: разное / libmetalink
Ошибка: / usr / local / bin / wget связан с /usr/local/lib/libpsl.so.5 из
dns / libpsl, но он не объявлен как зависимость
Предупреждение: вам нужен LIB_DEPENDS + = libpsl.so: dns / libpsl

PR: 214269
Дифференциальная версия: https://reviews.freebsd.org/D8456
Прислал: sunpoet (я)
Утверждено: сопровождающим (тайм-аут, 15 дней) 

 ftp / wget: исправить компиляцию, когда IDN и NLS отключены

PR: 210441
Прислал: Хельге Олдах  

 ftp / wget: обновление с 1.16.3_1 до 1.18

PR: 210421
Прислал: Владимир Крстуля 
Безопасность: CVE-2016-4971 

 Удалите $ {PORTSDIR} / из зависимостей категорий d, e, f и g.

В шляпе: portmgr
Спонсор: Absolight 

 Исправьте некоторые проблемы с пробелами в начале строк.

В шляпе: portmgr
Спонсор: Absolight 

 - Обновление security / gnutls до 3.4.10.
- Переименуйте опцию LIBDANE в DANE, потому что это имя протокола.
  поддерживается libgnutls-dane и gnutls-cli. Также уточните вариант
  описание.
- Добавить опцию IDN.- libgnutls-openssl был удален в 3.4. Некоторые порты использовали эту библиотеку
  в их LIB_DEPENDS, но на самом деле ни один порт не требовал этого.
- Удалены некоторые старые функции API. Порты, которые их использовали, были
  обновлен или исправлен для использования нового API.
- Добавьте патч в print / cups, чтобы предотвратить перекрытие libgnutls.so.
- Поднять PORTREVISION на зависимые порты.

net-im / jabber: этот порт использовал старый API, чтобы дать пользователям мелкозернистую
контроль над тем, какие криптоалгоритмы использовались, через файл конфигурации.Не сразу понятно, как перенести это на новый API, чтобы порт
теперь всегда использует значения по умолчанию.

www / hydra: Марк БРОКЕН. Это использует больше удаленных вызовов, чем другие порты,
считается альфа-качеством, не полностью функциональным и от него отказались
10 лет назад.

PR: 207768
Экспертиза: антуан
Утверждено: portmgr (antoine) 

 Преобразовать LICENSE = "GPLxx # или более поздняя версия" в "GPLxx +"

Утверждено: portmgr blanket 

 Обновление до 1.16.3. Это обновление также исправляет сборку с LibreSSL [2].

PR: 199316
1 [2]
Утверждено: тайм-аут сопровождающего (> 2 месяцев) 

 ftp / wget: добавить информацию о CPE

- Тайм-аут сопровождающего ([email protected])

PR: 198840
Прислал: Шун  

 ftp / wget: исправить ошибку восходящего потока # 44403: wget --quiet больше не тихо

http://savannah.gnu.org/bugs/index.php?44403 

 ftp / wget: обновление с 1.16 до 1.16.2 

 - Дальнейшее упрощение MASTER_SITES

Предложил: danfe
Утверждено: тайм-аут сопровождающего 

 - Убрать скрытую зависимость libuuid.so из misc / e2fsprogs-libuuid

Пока здесь:
- Упростите MASTER_SITES
- Уточните ЛИЦЕНЗИЮ и добавьте LICENSE_FILE

PR: 180619
Прислал: [email protected]
Утверждено: тайм-аут сопровождающего (vd, 16 месяцев) 

 ftp / wget: обновление с 1.15_2 до 1.16

PR: порты / 194784
Прислал: Ясухиро КИМУРА
Безопасность: CVE-2014-4877 

 DNS / libidn:
- Добавить USES = libtool и поднять зависимые порты
- Добавить INSTALL_TARGET = install-strip
- Всегда устанавливайте libidn-components.png, потому что он используется libidn.info
- Добавьте -lintl в Libs.private вместо Libs в libidn.pc 

 - Замените security / gnutls на security / gnutls3 и обновите до 3.2.15
- Bump PORTREVISION на всех портах, зависящих от безопасности / gnutls и
  настроить все порты зависящие от безопасности / gnutls3
- Обновите почту / анубис до версии 4.2, который поддерживает gnutls 3.x
- Обновите mail / libvmime до снимка состояния разработки (рекомендовано апстримом).
  Разработчики)

PR: 1
Экспертиза: антуан
Утверждено: portmgr (antoine) 

 Используйте помощники OPTIONS.

Утверждено: portmgr (blanket) 

 Разрешить сборку с texinfo из портов

В шляпе: portmgr 

 Перейти к USES = tar: xz.

PR: 1
Прислал: [email protected] 

 ftp / wget: используйте LIB_DEPENDS в форме lib <имя> .so

https://wiki.freebsd.org/ports/fix_lib_depends

PR: порты / 186718
Прислал: Ээро Ханнинен  

 ftp / wget: обновление с 1.14_2 до 1.15

PR: ports / 186718 (его части)
Прислал: Ээро Ханнинен  

 Добавить недостающую зависимость от iconv. 

 - Опора сцены 

 Исправить компиляцию ftp / wget при установленном perl 5.18.

Патч из upstream репо, предложенный Антоном Южаниновым .

PR: порты / 182159
Прислал: Джереми Чедвик  

 Добавьте NO_STAGE повсюду в рамках подготовки к промежуточной поддержке (кат.
ftp) 

 - преобразовать в новый фреймворк perl5
- преобразовать USE_GMAKE в Uses

Утверждено: portmgr (bapt @, blanket) 

 - Удалить переменную MAKE_JOBS_SAFE

Утверждено: portmgr (пивоварня) 

 ftp / wget: исправление сборки с установленным texinfo-5

PR: порты / 178646
Прислал: Кристоф Мёнч-Тегедер  

 ftp / wget: добавьте параметр для выбора, использовать ли PCRE или нет.

Была предложена штука "CONFIGURE_ENV = ac_cv_header_pcre_h = no"
by bapt @, спасибо! 

 ftp / wget: подключить зависимость к devel / pcre

PR: порты / 178285
Прислал: pawel @ 

 - Преобразование USE_GETTEXT в USES (часть 4)

Утверждено: portmgr (bapt) 

 ftp / wget:

Нефункциональное изменение - замените файл патча командой sed.

PR: порты / 177792
Прислал: jgh @
Функция безопасна: да 

 ftp / wget:

* Исправлена ​​опечатка в переменной опций (введена в r315271)
* Изменение пробелов для выравнивания значений

PR: порты / 177662
Прислал: Джереми Чедвик 
Утверждено: portmgr 

 Преобразование левых неконвертированных портов в ftp в новую структуру опций 

 Исправить давнюю ошибку, связанную с перезаписью, изменением и изменением lib / charset.alias.
плохо отслеживается портами.

Сделайте lib / charset.alias файлом, предоставляемым только конвертерами / libiconv
Создайте новый USES: charsetfix, который изменит файл Makefile после обновления.в
запретить порт изменять / перезаписывать файл charset.alias во время make
установить.
Не позволяйте программе devel / gettext устанавливать эти файлы.
Исправьте пару портов, которые действительно касаются charset.alias на этапе сборки.

По мотивам патча Эля
(http://lists.freebsd.org/pipermail/freebsd-gnome/2012-October/027747.html)

Утверждено: kwm (gnome)
Эксплуатация: miwi 

 Обновить ftp / wget с версии 1.13,4 к 1,14

PR: порты / 174818
Прислал: "Андерс Н."  

 - Добавить запись ОБНОВЛЕНИЕ для обновления gnutls
- Чейз шлиб версии отбойника для зависимых портов 

 Исправить pkg-plist: не удалять lib / charset.alias

Обнаружил: olgeni @, pav @ 

 Исправить компиляцию с SSL.

Прислал: Sture Ã… hlin  

 Обновление ftp / wget с 1,12 до 1,13,4 

 Выполните обновление безопасности / gnutls и добавьте запись ОБНОВЛЕНИЕ. 

 - Избавиться от поддержки MD5 

 Добавить необязательную зависимость в libidn

Раньше, если libidn присутствовала во время настройки wget, тогда
wget подхватил бы его, но зависимости не было бы
записывается в базу данных установленных пакетов, поэтому позже обновляется или
удаление libidn приведет к поломке wget.

Заметил: [email protected], [email protected] 

 Продолжение предыдущего коммита: исправьте недавно добавленные патчи 

 Примените исправление из апстрима для CVE-2010-2252.

Это идентификатор ревизии: [email protected]-sy6rf3fgeydgvl1k
из http://bzr.savannah.gnu.org/r/wget/trunk/ без изменения на
src / ftp.c, потому что это изменение только пробела.

PR: порты / 150293
Прислал: Джо Хорн 
Безопасность: CVE-2010-2252 
 04 июня 2010 08:09:20 
 1.12_1 
 пав
 - Представлена ​​новая ручка USE_XZ, которая обрабатывает сжатые файлы дистрибутива lzma / xz
- Преобразуйте кучу портов, чтобы использовать ее

PR: порты / 146329
Прислал: mm
В шляпе: portmgr 
 31 мая 2010 02:01:56 
 1.12_1 
 ade
 Bounce PORTREVISION для портов, связанных с gettext. Веселитесь, да ладно. 
 20 февраля 2010 г. 19:59:59 
 1,12 
 vd
 ftp / wget: исправление сборки с GNUTLS

PR: порты / 144144
Прислал: Санпоэт По-Чуан Се 
Функция безопасна: да 
 20 февраля 2010 г. 13:03:56 
 1,12 
 vd
 Исправить pkg-plist (2-я попытка).share / locale / en_AU не указан в /etc/mtree/BSD.local.dist, но
QAT @ жалуется, что порт удалил его при деинсталляции.

Функция безопасна: да 
 20 фев 2010 12:54:00 
 1,12 
 vd
 Исправить pkg-plist

Автор: QAT @
Функция безопасна: да 
 20 фев 2010 11:38:09 
 1,12 
 vd
 * Обновление ftp / wget с 1.11.4 до 1.12
* Не снимайте .gmo, потому что это приводит к тому, что файлы .po не будут
  установлен
* Сделайте команды post-patch: видимыми

Функция безопасна: да 
 16 августа 2009 18:04:40 
 1.11.4_1 
 роман
 Bump PORTREVISIONs зависимых от gnutls портов для отслеживания обновления gnutls. 
 27 марта 2009 г. 06:59:32 
 1.11.4 
 vd
 Отметить ftp / wget как безопасный для сборки с помощью make -jX.PR: порты / 133000
Прислал: mm @ 
 01 фев 2009 07:21:22 
 1.11.4 
 vd
 Обновите ftp / wget с 1.11.2 до 1.11.4. 
 21 августа 2008 06:18:49 
 1.11.2_1 
 рафан
 Обновите CONFIGURE_ARGS, чтобы узнать, как мы передаем CONFIGURE_TARGET для скрипта настройки.
В частности, новый autoconf (> 2.13) имеет другую семантику
настроить цель.Короче говоря, следует использовать --build = CONFIGURE_TARGET
вместо CONFIGURE_TARGET напрямую. В противном случае вы получите предупреждение
и старая семантика может быть удалена в более поздних выпусках autoconf.

Чтобы обойти эту проблему, многие порты взламывают переменную CONFIGURE_TARGET.
так что он содержит префикс `` --build = ''.

Чтобы решить эту проблему, при том, что на некоторых портах все еще есть
скрипт configure, сгенерированный старым autoconf, мы используем определение времени выполнения
в цели do-configure, чтобы можно было использовать правильный аргумент.Изменения в Mk / *:
 - Добавить магию обнаружения времени выполнения в bsd.port.mk 
(выше показаны только первые 15 строк сообщения фиксации)
 06 июня 2008 13:28:21 
 1.11.2_1 
 Эдвин
 Поднять портирование в связи с обновлением devel / gettext.

Затронутые порты - это те, у которых gettext в качестве зависимости выполнения
по портам / INDEX-7 (их 5007) и с USE_GETTEXT
в Makefile (29 из них).

PR: порты / 124340
Прислал: edwin @
Утверждено: portmgr (pav) 
 06 мая 2008 13:51:15 
 1.11,2 
 vd
 Обновите ftp / wget с 1.11 до 1.11.2.

PR: порты / 122482 (на основе)
Прислал: bf  
 02 февраля 2008 08:03:21 
 1,11 
 vd
 Обновите ftp / wget с 1.10.2 до 1.11.

ПР: порты / 120119 (на основе)
Прислал: Олег Гаврилов  
 11 апреля 2007 г. 19:38:50 
 1.10.2_1 
 vd
 * Установите wgetrc как etc / wgetrc.sample, а не etc / wgetrc, чтобы предотвратить
  потеря пользовательских модификаций [1].
* Используйте ситуацию для переименования файлов / patch-ac в files / patch-doc_Makefile.in
  в соответствии с соглашением /usr/ports/Tools/scripts/splitpatch.pl.

На основе: ports / 110512 [1]
Прислал: Александр Логвинов  [1] 
 02 августа 2006 г. 19:33:51 
 1.10.2 
 собомакс
 Добавить USE_GMAKE - система сборки порта некорректно работает с bmake, что
приводит к созданию двоичного файла на этапе установки.
 15 апреля 2006 г. 09:27:14 
 1.10.2 
 vd
 Удалить КОНФЛИКТЫ - нет необходимости конфликтовать с несуществующим портом 
 15 апреля 2006 г. 09:18:48 
 1.10.2 
 vd
 Принять 
 14 апреля 2006 г. 20:09:26 
 1.10.2 
 линимон
 Сбросить sf как сопровождающего из-за отсутствия ответа на сообщения электронной почты.Головной убор: portmgr 
 22 января 2006 г. 09:48:59 
 1.10.2 
 Эдвин
 SHA256ify

Утвердил: krion @ 
 04 декабря 2005 23:35:14 
 1.10.2 
 Эдвин
 Удалить информацию об установке из файла Makefile, это автоматически выполняется при определении INFO 
 20 октября 2005 13:20:44 
 1.10.2 
 mnag
 Обновление до 1.10.2

PR: 87592
Прислал: Фил Олесон 
Утверждено: sf (тайм-аут сопровождающего, 2 дня одобрено so @)
Безопасность: CAN-2005-3185, http://secunia.com/advisories/17192/ 
 28 августа 2005 16:31:10 
 1.10.1 
 SF
 обновление до 1.10.1.

PR: 85121
Прислал: Васил Димов  
 09 августа 2005 05:48:32 
 1.10_2 
 SF
 Не освобождать RESPLINE, если ftp_response возвращает статус, отличный от FTPOK.Это исправление было применено в репозитории wget subversion.

PR: 84666
Прислал: Васил Димов 
Утверждено: portmgr (marcus) 
 22 июня 2005 г. 09:37:08 
 1.10_1 
 SF
 исправить путь wgetrc.

PR: 82473 
 10 июня 2005 08:14:48 
 1,10 
 SF
 обновление до 1.10. 
.
Добавить комментарий Отменить ответ
Ваш адрес email не будет опубликован. Обязательные поля помечены *
Комментарий *
Имя * 
Email * 
Сайт