wget | Русскоязычная документация по Ubuntu

Содержание

• wget

  • • Примеры

    • Опции

  • Ссылки

wget — текстовая программа для скачивания файлов.

Если возможностей wget не хватает, то можно использовать curl.

Примеры

Просто скачать файл wget-ом:

wget ftp://vasya.pupkin.com/film.avi

Для продолжения оборвавшейся закачки пишем:

wget -c ftp://vasya.pupkin.com/film.avi

или

wget --continue ftp://vasya.pupkin.com/film.avi

Как и в других программах, ключи имеют короткую и длинную формы, и вместо -с можно написать -continue. Длинные ключи проще запомнить, но дольше писать. Можно легко смешивать различные формы написания.

Чтобы выкачать файлы из списка, содержащего прямые ссылки:

wget -i pupkinlist.txt

или

wget --input-file=pupkinlist.  txt

Здесь указывается только файл, в котором содержатся ссылки. Файл может так же быть HTML-страницей, в которой есть ссылки. Они будут выкачаны указанной выше командой.

Использование а-ля «Teleport Pro for Linux».

При скачивании веб-сайтов возможностей больше, и поэтому требуется больше ключей. Опять-таки, запоминать их все не обязательно, можно сделать скрипт (а лучше несколько — под разные случаи) и вызывать их.

Так вот, если имеется веб-сайт, и хотелось бы иметь его локальную копию на компьютере, чтобы, отключившись от сети, можно было не торопясь его почитать.

Зеркалирование сайтов на локальную машину:

wget -m http://www.vasyapupkin.com/

-m эквивалентно -r -N -l inf -nr, эти опции описаны ниже.

При этом ссылки останутся абсолютными — то есть, будут указывать на Интернет-адреса, и удобно просматривать на локальной машине будет затруднительно.

Копирование сайта для локального просмотра (с заменой интернет-ссылок на локальные адреса скачанных страниц):

wget -r -l0 -k http://www.vasyapupkin.com/

При этом будет включена рекурсивная выгрузка (ключ -r, –recursive),

Опции

В wget имеется большое количество полезных опций — побольше, чем у Teleport’а флажков. Будучи завёрнутым в скрипт, например, teleport и положенным на видное место (указанное в PATH), имеем удобство применения и богатство настроек.

-np, –no-parent — не подниматься выше начального адреса при рекурсивной загрузке.

-r, –recursive — включить рекурсивный просмотр каталогов и подкаталогов на удалённом сервере.

-l <depth>, –level=<depth> — определить максимальную глубину рекурсии равной depth при просмотре каталогов на удалённом сервере. По умолчанию depth=5.

-np, –no-parent — не переходить в родительский каталог во время поиска файлов. Это очень полезное свойство, поскольку оно гарантирует, что будут копироваться только те файлы, которые расположены ниже определённой иерархии.

-A <acclist>, –accept <acclist>, -R <rejlist>, –reject <rejlist> — список имен файлов, разделенных запятыми, которые следует (accept) или не следует (reject) загружать. Разрешается задание имен файлов по маске.

-k, –convert-links — превратить абсолютные ссылки в HTML документе в относительные ссылки. Преобразованию подвергнутся только те ссылки, которые указывают на реально загруженные страницы; остальные не будут преобразовываться. Заметим, что лишь в конце работы wget сможет узнать какие страницы были реально загружены. Следовательно, лишь в конце работы wget будет выполняться окончательное преобразование.

–http-user=<user>, –http-passwd=<password> — указать имя пользователя и пароль на HTTP-сервере.

-H, –span-hosts — разрешает посещать любые сервера, на которые есть ссылка.

-p, –page-requisites — загружать все файлы, которые нужны для отображения страниц HTML. Например: рисунки, звук, каскадные стили (CSS

• Руководство по работе с wget — статья на форуме

• man wget — документация на русском языке

• Программа wget — простое описание возможностей

• GNU Wget: документация и FAQ

сетевые приложения, интернет, консоль, ПО

Команда Wget в Linux с примерами

GNU Wget — это утилита командной строки для загрузки файлов из Интернета. С Wget вы можете загружать файлы, используя протоколы HTTP, HTTPS и FTP. Wget предоставляет ряд параметров, позволяющих загружать несколько файлов, возобновлять загрузки, ограничивать пропускную способность, рекурсивные загрузки, загружать в фоновом режиме, зеркалировать веб-сайт и многое другое.

В этой статье показано, как использовать команду wget на практических примерах и подробных объяснениях наиболее распространенных параметров.

Содержание

Установка Wget

Пакет wget предустановлен на сегодняшний день в большинстве дистрибутивов Linux.

Чтобы проверить, установлен ли пакет Wget в вашей системе, откройте консоль, введите wget и нажмите Enter. Если у вас установлен wget, система напечатает wget: missing URL . В противном случае он напечатает wget command not found .

Если wget не установлен, вы можете легко установить его с помощью диспетчера пакетов вашего дистрибутива.

Установка Wget в Ubuntu и Debian

sudo apt install wget

Установка Wget на CentOS и Fedora

sudo yum install wget

Синтаксис команды Wget

Прежде чем перейти к использованию команды wget , давайте начнем с обзора основного синтаксиса.

Выражения утилиты wget имеют следующую форму:

wget [options] [url]

• options — Параметры Wget
• url — URL-адрес файла или каталога, который вы хотите скачать или синхронизировать.

Как скачать файл с помощью

В простейшей форме, при использовании без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.

В следующем примере мы загружаем tar-архив ядра Linux:

wget https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.2.tar.xz

Как вы можете видеть на изображении выше, wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.

Во время загрузки wget показывает индикатор выполнения, а также имя файла, размер файла, скорость загрузки и приблизительное время завершения загрузки. После завершения загрузки вы можете найти загруженный файл в своем текущем рабочем каталоге .

Чтобы отключить вывод, используйте параметр -q .

Если файл уже существует, wget добавит .N (число) в конец имени файла.

Сохранение загруженного файла под другим именем

Чтобы сохранить загруженный файл под другим именем, передайте параметр -O за которым следует выбранное имя:

wget -O latest-hugo.zip https://github.com/gohugoio/hugo/archive/master.zip

Приведенная выше команда сохранит последний zip-файл hugo с GitHub как latest-hugo.zip вместо его исходного имени.

Загрузка файла в определенный каталог

По умолчанию wget сохраняет загруженный файл в текущем рабочем каталоге. Чтобы сохранить файл в определенном месте, используйте параметр -P :

wget -P /mnt/iso http://mirrors. mit.edu/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

Приведенная выше команда сообщает wget нужно сохранить iso-файл CentOS 7 в каталог /mnt/iso .

Ограничение скорости загрузки

Чтобы ограничить скорость загрузки, используйте параметр --limit-rate . По умолчанию скорость измеряется в байтах в секунду. Добавьте k для килобайт, m для мегабайт и g для гигабайт.

Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 МБ:

wget --limit-rate=1m https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz

Эта опция полезна, если вы не хотите, чтобы wget занимал всю доступную полосу пропускания.

Возобновление загрузки

Вы можете возобновить загрузку с помощью параметра -c . Это полезно, если ваше соединение прерывается во время загрузки большого файла, и вместо того, чтобы начинать загрузку с нуля, вы можете продолжить предыдущую.

В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:

wget -c http://releases.ubuntu.com/18.04/ubuntu-18.04-live-server-amd64.iso

Если удаленный сервер не поддерживает возобновление загрузки, wget начнет загрузку с самого начала и перезапишет существующий файл.

Загрузка в фоновом режиме

Для загрузки в фоновом режиме используйте параметр -b . В следующем примере мы загружаем iso-файл OpenSuse в фоновом режиме:

wget -b https://download.opensuse.org/tumbleweed/iso/openSUSE-Tumbleweed-DVD-x86_64-Current.iso

По умолчанию вывод перенаправляется в файл wget-log в текущем каталоге. Чтобы посмотреть статус загрузки, используйте команду tail :

tail -f wget-log

Смена пользовательского агента Wget

Иногда при загрузке файла удаленный сервер может быть настроен на блокировку агента пользователя Wget. В подобных ситуациях для эмуляции другого браузера передайте параметр -U .

wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0" http://wget-forbidden.com/

Приведенная выше команда wget-forbidden.com Firefox 60, запрашивающий страницу с wget-forbidden.com

Загрузка нескольких файлов

Если вы хотите загрузить несколько файлов одновременно, используйте параметр

В следующем примере показано, как загрузить iso-файлы Arch Linux, Debian и Fedora, используя URL-адреса, указанные в linux-distros.txt :

wget -i linux-distros.txt

linux-distros.txt

http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso
https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
https://download.fedoraproject. org/pub/fedora/linux/releases/28/Server/x86_64/iso/Fedora-Server-dvd-x86_64-28-1.1.iso

Если вы укажете - в качестве имени файла, URL-адреса будут считываться из стандартного ввода.

Скачивание через FTP

Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:

wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gz

Создание зеркала веб-сайта

Чтобы создать зеркало веб-сайта с помощью wget , используйте параметр -m . Это создаст полную локальную копию веб-сайта, следуя и загружая все внутренние ссылки, а также ресурсы веб-сайта (JavaScript, CSS, изображения).

wget -m https://example.com

Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.

wget -m -k -p https://example. com

Параметр -k заставит wget преобразовать ссылки в загруженных документах, чтобы сделать их пригодными для локального просмотра. Параметр -p сообщает wget нужно загрузить все необходимые файлы для отображения HTML-страницы.

Пропуск проверки сертификата

Если вы хотите загрузить файл по HTTPS с хоста с недействительным сертификатом SSL, используйте параметр --no-check-certificate :

wget --no-check-certificate https://domain-with-invalid-ss.com

Загрузка на стандартный вывод

В следующем примере wget незаметно (флаг -q ) загрузит и выведет последнюю версию WordPress на стандартный вывод (флаг -O - ) и направит ее в утилиту tar , которая распакует архив в каталог /var/www .

wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/www

Выводы

С помощью wget вы можете загружать несколько файлов, возобновлять частичные загрузки, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.

Чтобы узнать больше о Wget, посетите страницу руководства GNU wget .

Команда Wget в Linux — Параметры + примеры

Команда wget — это бесплатная утилита, используемая для загрузки файлов из Интернета. Это особенно полезно, когда вы работаете с безголовой системой Linux, которая не предоставляет графический интерфейс. Команда GNU wget позволяет загружать несколько файлов или один файл, используя различные протоколы, такие как протоколы HTTP, HTTPS и FTP.

В этом руководстве мы узнаем о команде wget в Linux и объясним ее параметры на примерах.

Как установить команду wget в Linux

В настоящее время команда GNU wget предустановлена ​​в современных дистрибутивах Linux, поэтому вам не нужно ее устанавливать. Чтобы убедиться, что wget установлен, выполните команду:

 wget --version 

Если по какой-либо причине wget не установлен, вы можете установить его с помощью менеджеров пакетов в различных дистрибутивах Linux следующим образом.

Установите wget в Debian/Ubuntu

В дистрибутивах Debian и Ubuntu выполните команду:

 sudo apt install wget 

Установите wget на Fedora / Rocky Linux / AlmaLinux

Для Fedora и дистрибутивов на основе RHEL, таких как Rocky Linux и AlmaLinux, выполните команду:

 sudo dnf install wget 

Для потоков RHEL и CentOS вы можете использовать тот же менеджер пакетов DNF.

Установите wget в Arch Linux

Для Arch Linux и других дистрибутивов на основе Arch, таких как Manjaro, выполните:

 sudo pacman -Sy wget 

Установите wget в SUSE Linux

В SUSE Linux выполните команду:

 sudo zypper install wget 

Как запустить команду wget в Linux

Основной синтаксис команды wget:

 wget ОПЦИИ URL 

Чтобы запустить wget, просто введите wget следующий вариант и URL из терминала.

Вот некоторые из наиболее часто используемых параметров команды wget.

 wget -m https://example.com 

 wget -m -k -p https://example.com 

 wget https://files.phpmyadmin.net/phpMyAdmin/5.1.1/phpMyAdmin-5.1.1-all-languages.zip 

 лс -л | grep -i phpmyadmin 

 wget -O phpmyadmin.zip  https://files.phpmyadmin.net/phpMyAdmin/5.1.1/phpMyAdmin-5.1.1-all-languages.zip 

 wget -P /tmp/ https://go.dev/dl/go1.17.6.linux-amd64.tar.gz 

 wget --limit-rate=1m https://go.dev/dl/go1.17.6.linux-amd64.tar.gz 

 wget -c https://download.owncloud.org/community/owncloud-complete-latest. tar.bz2 

 wget -b https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.16.1.tar.xz 

 tail -f wget-log 

 wget --user-agent="Mozilla/5.0 (X11; Linux i686; rv:96.0) Gecko/20100101 Firefox/96.0" http://example.com 

 cat download.txt 

 wget -i download.txt 

 wget --ftp-user=FTP_ИМЯ_ПОЛЬЗОВАТЕЛЯ --ftp-password=FTP_ПАРОЛЬ ftp://ftp.example.com/filename.tar.gz 

 wget --no-check-certificate https://site-with-invalid-ssl-certificate. com 

  $ wget [опция][URL]  

  $ wget  

  $ sudo apt-get install wget  

  $ sudo yum install wget  

  $ sudo dnf install wget  

  $ wget [URL]  

  $ wget  9036 3 https: //wordpress.org/latest.zip  

  $ wget –P [каталог_назначения] [URL]  

  $ wget –P /tmp   https://github.com/git/git/archive/master.zip  

  $ wget –i [имя_файла]  

  $ vim  linux.txt  

  $ wget -i linux.txt

  

  $ wget –O [ имя_файла] [URL]  

  $ wget -O tomcat.zip http://apache.cs.utah.edu/tomcat/tomcat-9/v9 .0.20/bin/apache-tomcat-9.0.20.tar.gz  

  $ wget –c [URL]  

  $ wget –c   https://releases. ubuntu.com/20.04/ubuntu-20.04-desktop-amd64 .iso  

  $ wget --limit-rate [wanted_speed] [URL]  

  $ wget --limit-rate 500k https://releases.hashicorp.com/terraform/0.12.2/terraform_0.12.2_linux_amd64.zip  

  $ wget –m [URL]  

  $ wget –m   https:   //sample.
Добавить комментарий Отменить ответ
Ваш адрес email не будет опубликован. Обязательные поля помечены *
Комментарий *
Имя * 
Email * 
Сайт