Как пользоваться wget: Wget для Windows. Установка и использование.

Содержание

Wget для Windows. Установка и использование.

В данной статье я хочу поговорить о установке и использовании консольной утилиты GNU Wget в операционной системе Windows.

Возможности Wget не ограничиваются одной лишь загрузкой архивов, утилита умеет создавать локальные копии web-сайтов с полным сохранением структуры каталогов и файлов. Помимо этого возможна конвертация сохраненных html-файлов для просмотра сайта в автономном режиме. Считывая заголовки файлов и сравнивая их с ранее загруженными файлами, Wget может загружать новые версии файлов, благодаря чему можно создавать обновляемые зеркала сайтов.

Wget может работать по протоколам HTTP, HTTPS, FTP, а также поддерживает работу через HTTP-прокси сервера. Утилита разрабатывалась для медленных соединений, точнее в те времена соединения были медленными и нестабильными, поэтому она поддерживает докачку файлов при обрыве соединения. Если сервер с которого загружался файл тоже поддерживает докачку, то Wget продолжит загружать файл именно с того места, где оборвалась загрузка.

Для того чтобы установить Wget, перейдите по ссылке и скачайте установочный exe-файл. Запустите exe-файл и установите Wget как обычную программу, по умолчанию утилита устанавливается C:\Program Files (x86)\GnuWin32.

Для запуска утилиты нужна командная строка Windows, запускаем ее через меню пуск или сочетанием клавиш Win+R, в открывшемся окне ввести «cmd» и нажать Enter. После запуска командной строки сразу пользоваться Wget, как это происходит в ОС Linux, не получится, сначала нужно указать местоположение файла wget.exe.

Файл wget.exe находится в каталоге bin, внутри установочной директории. Для указания файла используется команда path.

path C:\Program Files (x86)\GnuWin32\bin

Теперь можно запустить Wget, для начала можно просмотреть вывод команды help со списком дополнительных опций.

wget -h

Список дополнительных опций утилиты Wget под спойлером.

Вывод wget -h

GNU Wget 1. 11.4, программа для загрузки файлов из сети в автономном режиме.
Использование: wget [ОПЦИЯ]... [URL]...
Обязательные аргументы для длинных опций также являются обязательными и для коро
тких опций.
Запуск:
  -V,  --version           вывод версии Wget и выход.
  -h,  --help              вывод этой справки.
  -b,  --background        после запуска перейти в фоновый режим.
  -e,  --execute=КОМАНДА   выполнить команду в стиле `.wgetrc'.-
Журналирование и входной файл:
  -o,  --output-file=ФАЙЛ    записывать сообщения в ФАЙЛ.
  -a,  --append-output=ФАЙЛ  дописывать сообщения в конец ФАЙЛА.
  -d,  --debug               вывод большого количества отладочной информации.
  -q,  --quiet               молча (без выходных данных).
  -v,  --verbose             подробный вывод (по умолчанию).
  -nv, --no-verbose          отключение подробного режима, но не полностью.
  -i,  --input-file=ФАЙЛ     загрузка URL'ов, найденных в ФАЙЛЕ.
  -F,  --force-html          считать, что входной файл - HTML.
  -B,  --base=URL            добавление URL в начало относительных ссылок в файл
е -F -i.
Загрузка: -t, --tries=ЧИСЛО установить ЧИСЛО повторных попыток (0 без огран ичения). --retry-connrefused повторять, даже если в подключении отказано. -O, --output-document=ФАЙЛ записывать документы в ФАЙЛ. -nc, --no-clobber пропускать загрузки, которые приведут к загрузке уже существующих файлов. -c, --continue возобновить загрузку частично загруженного файл а. --progress=ТИП выбрать тип индикатора выполнения. -N, --timestamping не загружать повторно файлы, только если они не новее, чем локальные. -S, --server-response вывод ответа сервера. --spider ничего не загружать. -T, --timeout=СЕКУНДЫ установка значений всех тайм-аутов в СЕКУНДЫ. --dns-timeout=СЕК установка тайм-аута поиска в DNS в СЕК. --connect-timeout=СЕК установка тайм-аута подключения в СЕК.
--read-timeout=СЕК установка тайм-аута чтения в СЕК. -w, --wait=СЕКУНДЫ пауза в СЕКУНДАХ между загрузками. --waitretry=СЕКУНДЫ пауза в 1..СЕКУНДЫ между повторными попытками з агрузки. --random-wait пауза в 0...2*WAIT секунд между загрузками. --no-proxy явно выключить прокси. -Q, --quota=ЧИСЛО установить величину квоты загрузки в ЧИСЛО. --bind-address=АДРЕС привязка к АДРЕСУ (имя хоста или IP) локального хоста. --limit-rate=СКОРОСТЬ ограничение СКОРОСТИ загрузки. --no-dns-cache отключение кэширования поисковых DNS-запросов. --restrict-file-names=ОС ограничение на символы в именах файлов, использ ование которых допускает ОС. --ignore-case игнорировать регистр при сопоставлении файлов и/или каталогов. -4, --inet4-only подключаться только к адресам IPv4. -6, --inet6-only подключаться только к адресам IPv6.
--prefer-family=СЕМЕЙСТВО подключаться сначала к адресам указанного семей ства, может быть IPv6, IPv4 или ничего. --user=ПОЛЬЗОВАТЕЛЬ установить и ftp- и http-пользователя в ПОЛЬЗОВ АТЕЛЬ. --password=ПАРОЛЬ установить и ftp- и http-пароль в ПАРОЛЬ. Каталоги: -nd, --no-directories не создавать каталоги. -x, --force-directories принудительно создавать каталоги. -nH, --no-host-directories не создавать каталоги как на хосте. --protocol-directories использовать имя протокола в каталогах. -P, --directory-prefix=ПРЕФИКС сохранять файлы в ПРЕФИКС/... --cut-dirs=ЧИСЛО игнорировать ЧИСЛО компонентов удалённого ката лога. Опции HTTP: --http-user=ПОЛЬЗОВАТЕЛЬ установить http-пользователя в ПОЛЬЗОВАТЕЛЬ. --http-password=ПАРОЛЬ установить http-пароль в ПАРОЛЬ. --no-cache отвергать кэшированные сервером данные. -E, --html-extension сохранять HTML-документы с расширением `.
html'. --ignore-length игнорировать поле заголовка `Content-Length'. --header=СТРОКА вставить СТРОКУ между заголовками. --max-redirect максимально допустимое число перенаправлений на страницу. --proxy-user=ПОЛЬЗОВАТЕЛЬ установить ПОЛЬЗОВАТЕЛЯ в качестве имени пользо вателя для прокси. --proxy-password=ПАРОЛЬ установить ПАРОЛЬ в качестве пароля для прокси. --referer=URL включить в HTTP-запрос заголовок `Referer: URL'. --save-headers сохранять HTTP-заголовки в файл. -U, --user-agent=АГЕНТ идентифицировать себя как АГЕНТ вместо Wget/ВЕРСИ Я. --no-http-keep-alive отключить поддержание активности HTTP (постоянные подключения). --no-cookies не использовать кукисы. --load-cookies=ФАЙЛ загрузить кукисы из ФАЙЛА перед сеансом. --save-cookies=ФАЙЛ сохранить кукисы в ФАЙЛ после сеанса. --keep-session-cookies загрузить и сохранить кукисы сеанса (непостоянные ).
--post-data=СТРОКА использовать метод POST; отправка СТРОКИ в качест ве данных. --post-file=ФАЙЛ использовать метод POST; отправка содержимого ФАЙ ЛА. --content-disposition Учитывать заголовок Content-Disposition при выборе имён для локальных файлов (ЭКСПЕРИМЕНТАЛЬНЫЙ). --auth-no-challenge Отправить базовые данные аутентификации HTTP не дожидаясь ответа от сервера. Опции HTTPS (SSL/TLS): --secure-protocol=ПР выбор безопасного протокола: auto, SSLv2, SSLv3 или TLSv1. --no-check-certificate не проверять сертификат сервера. --certificate=FILE файл сертификата пользователя. --certificate-type=ТИП тип сертификата пользователя: PEM или DER. --private-key=ФАЙЛ файл секретного ключа. --private-key-type=ТИП тип секретного ключа: PEM или DER. --ca-certificate=ФАЙЛ файл с набором CA.
--ca-directory=КАТ каталог, в котором хранится список CA. --random-file=ФАЙЛ файл со случайными данными для SSL PRNG. --egd-file=ФАЙЛ файл, определяющий сокет EGD со случайными данны ми. Опции FTP: --ftp-user=ПОЛЬЗОВАТЕЛЬ установить ftp-пользователя в ПОЛЬЗОВАТЕЛЬ. --ftp-password=ПАРОЛЬ установить ftp-пароль в ПАРОЛЬ. --no-remove-listing не удалять файлы файлы `.listing'. --no-glob выключить маски для имён файлов FTP. --no-passive-ftp отключить "пассивный" режим передачи. --retr-symlinks при рекурсии загружать файлы по ссылкам (не катал оги). --preserve-permissions сохранять права доступа удалённых файлов. Рекурсивная загрузка: -r, --recursive включение рекурсивной загрузки. -l, --level=ЧИСЛО глубина рекурсии (inf и 0 - бесконечность). --delete-after удалять локальные файлы после загрузки. -k, --convert-links делать ссылки локальными в загруженном HTML.
-K, --backup-converted перед преобразованием файла X делать резервную копию X.orig. -m, --mirror короткая опция, эквивалентная -N -r -l inf --no-remove-listing. -p, --page-requisites загрузить все изображения и проч., необходимые для о тображения HTML-страницы. --strict-comments включить строгую (SGML) обработку комментариев HTML. Разрешения/запреты при рекурсии: -A, --accept=СПИСОК список разрешённых расширений, разделённых за пятыми. -R, --reject=СПИСОК список запрещённых расширений, разделённых за пятыми. -D, --domains=СПИСОК список разрешённых доменов, разделённых запят ыми. --exclude-domains=СПИСОК список запрещённых доменов, разделённых запят ыми. --follow-ftp следовать по ссылкам FTP в HTML-документах. --follow-tags=СПИСОК список используемых тегов HTML, разделённых з апятыми. --ignore-tags=СПИСОК список игнорируемых тегов HTML, разделённых з апятыми.
-H, --span-hosts заходить на чужие хосты при рекурсии. -L, --relative следовать только по относительным ссылкам. -I, --include-directories=СПИСОК список разрешённых каталогов. -X, --exclude-directories=СПИСОК список исключаемых каталогов. -np, --no-parent не подниматься в родительский каталог.

Обычные копирование и вставка (Ctrl+C, Ctrl+V) в командной строке Windows не работают. Чтобы скопировать текст из командной строки Windows, нужно просто выделить нужный фрагмент текста и нажать Enter.

Для вставки текста в командную строку, нужно кликнуть правой кнопкой мыши по окну командной строки, выбрать подменю «Изменить» и дальше выполнить требуемую команду. Копирование и вставка существенно облегчают работу с командной строкой Windows.

Давайте рассмотрим несколько примеров использования утилиты Wget.

Допустим что нам нужно скачать какой нибудь файл, пусть это будет титульное изображение для этой статьи. Для этого нужно просто указать URL (ссылку) нужного файла, например так.

wget https://techlist.top/wp-content/uploads/2017/05/wget.jpg

Иногда Wget может ругаться на «самоподписанные сертификаты» при использовании HTTPS-ссылок, хотя с самими сертификатами все в порядке, в таком случае нужно использовать дополнительную опцию «—no-check-certificate».

wget https://techlist.top/wp-content/uploads/2017/05/wget.jpg --no-check-certificate

При обычном вызове командной строки Windows сохранение файла будет происходить в пользовательский каталог C:\Users\Username. Если файл требуется сохранить в какой-либо определенный каталог, то его необходимо указать при помощи дополнительного ключа «-P», пусть это будет каталог test на диске C (C:\test).

wget -P C:\test https://techlist.top/wp-content/uploads/2017/05/wget.jpg --no-check-certificate

Если файл должен быть сохранен в определенном каталоге, то существует более простой способ сохранения файла, без указания дополнительных опций. Зайдите в нужный каталог через проводник Windows, зажмите клавишу Shift и кликните по области каталога правой кнопкой мыши, в открывшемся меню выберите «Открыть окно команд».

Открывшаяся командная строка станет выглядеть следующим образом.

Выполните команду path, для указания местоположения wget.exe.

path C:\Program Files (x86)\GnuWin32\bin

Теперь все будет сохраняться именно в эту папку.

Давайте представим что у нас есть некий файл со списком ссылок, которые необходимо скачать. Пусть это будет файл test.txt расположенный в пользовательском каталоге C:\Users\Username, со следующим содержанием.

https://techlist.top/wp-content/uploads/2017/03/nginx_.jpg
https://techlist.top/wp-content/uploads/2017/04/wp.jpg
https://techlist.top/wp-content/uploads/2017/01/php7.jpg
https://techlist.top/wp-content/uploads/2017/03/MariaDB.jpg
https://techlist.top/wp-content/uploads/2016/09/netfilter-logo. jpg

Дополнительный ключ «-i» будет указывать на расположение файла — C:\Users\Username\test.txt и все файлы из списка будут сохранены.

wget -i C:\Users\Username\test.txt --no-check-certificate

Чтобы скачать сайт целиком достаточно просто указать его адрес c минимально необходимым набором опций, например.

wget -r -l 10 -k -p -t 5 https://techlist.top --no-check-certificate
-r,  --recursive       включение рекурсивной загрузки.
-l,  --level=ЧИСЛО     глубина рекурсии (inf и 0 - бесконечность).
-k,  --convert-links   делать ссылки локальными в загруженном HTML.
-p,  --page-requisites загрузить все изображения и проч., 
необходимые для отображения HTML-страницы.
-t,  --tries=ЧИСЛО     установить ЧИСЛО повторных попыток (0 без ограничения).

В результате получим готовое зеркало сайта, которое будет автономно работать на компьютере, благодаря конвертации ссылок для локального использования сайта.

Но допустим что нам не нужен весь сайт, а только вот эта статья https://techlist.top/install-wordpress/. В таком случае команда для загрузки станет выглядеть так.

wget -r -l 10 -t 5 -k -p -np https://techlist.top/install-wordpress/ --no-check-certificate
Добавляем к предыдущей команде доп. опцию -np
-np, --no-parent       не подниматься в родительский каталог
в нашем случае выше указанной директории https://techlist.top/install-wordpress/ скачивание не пойдет.

Комбинируя набор доп. опций в командах Wget можно добиться разных результатов. Так что пробуйте все самостоятельно и изучайте возможности утилиты.

Как использовать команду Wget

VPS SSH

Дек 10, 2020

Elena B.

4хв. читання

В этом руководстве расскажем вам о команде ОС Linux wget. Покажем вам 12 полезных примеров её использования. К концу руководства вы будете достаточно знать об этой команде и сможете легко качать файлы из всемирной сети интернет.

Прокачайте ваш проект, воспользовавшись скидками на VPS-хостинг в Hostinger! Большой выбор планов, как для учебных, так и для крупных коммерческих проектов.

К предложению

Оглавление

Что такое команда Wget?

Wget – это инструмент от GNU Project. Его можно использовать для скачивания контента и файлов с различных веб-серверов. Название состоит из комбинации World Wide Web и get. Инструмент поддерживает скачивание по FTP, SFTP, HTTP и HTTPS.

Wget создан на языке программирования C и используется на любой Unix-системе. Его также можно внедрить на Mac OS X, Microsoft Windows, AmigaOS и других популярных платформах.

Как установить Wget?

Для демонстрации работы команды wget мы будем использовать ОС Ubuntu 16.04. Но синтаксис будет одинаков и для других дистрибутивов Linux.

Прежде, зайдите на свой сервер по SSH. Выполните команду для установки wget в вашей системе:

apt-get install wget

Как только закончится установка, командой можно пользоваться. Конечно же знание базовых команд SSH облегчит вам задачу.

Примеры использования команды

Для ознакомления мы предлагаем 12 примеров использования команды wget, которые пригодятся вам для ежедневных задач. Помните также, что вы можете использовать эти команды в виде скрипта и задач cron!

Как командой Wget скачать один файл

Наиболее распространенным примером использования команды является скачивание одного файла для сохранения его в вашей текущем рабочем каталоге. Например, вам нужно скачать последнюю версию WordPress, для этого:

wget https://wordpress.org/latest.zip

После запуска команды вы увидите:

--2018-02-23 12:53:10-- https://wordpress.org/latest.zip
Resolving wordpress.org (wordpress.org)... 198.143.164.252
Connecting to wordpress.org (wordpress.org)|198.143.164.252|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 9332728 (8,9M) [application/zip]
Saving to: 'latest.zip'

latest. zip 100%[===================>] 8,90M 6,88MB/s in 1,3s

2018-02-23 12:53:14 (6,88 MB/s) - 'latest.zip' saved [9332728/9332728]

В этом примере файл под названием latest.zip будет скачан в текущий рабочий каталог. Вам также предоставляется дополнительная информация, такая как прогресс скачивания, скорость, размер, время и дата.

Как командой Wget скачать несколько файлов

Мы можем взять предыдущий пример и скачать несколько файлов за один раз. Для этого нам потребуется создать текстовый документ и поместить туда URL для скачивания. В этом примере мы запросим последние версии WordPress, Joomla и Drupal. Введите следующее:

nano example.txt

Это создаст файл example.txt и откроет интерфейс текстового редактора. Вставьте этот текст туда:

https://wordpress.org/latest.zip
https://downloads.joomla.org/cms/joomla3/3-8-5/Joomla_3-8-5-Stable-Full_Package.zip
https://ftp.drupal.org/files/projects/drupal-8.4.5.zip

Как только сделаете это, вы можете использовать -i для получения всех файлов, ссылки на которые есть в текстовом файле example:

wget -i example. txt

Дождитесь завершения процесса и у вас будут установочные файлы трёх наиболее популярных систем управления контентом.

Как командой Wget скачать файлы под другими названиями

В этом примере мы сохраним файл, используя другое имя при помощи опции -O:

wget -O wordpress-install.zip https://wordpress.org/latest.zip

В этом случае скачанный ресурс будет сохранён под названием wordpress-install.zip вместо оригинального имени.

Как командой Wget скачать файл и сохранить его в специальный каталог

Вы можете скачать файл и поместить его в другом каталоге, используя опцию -P:

wget -P documents/archives/ https://wordpress.org/latest.zip

Файл, который вы хотите получить появится в каталоге documents/archives/.

Как в команде Wget ограничить скорость скачивания

Вы можете ещё и устанавливать, скорость скачивания. Это полезно, когда вы запрашиваете большие файлы и предотвращает от полного занимания канала. Данный пример применения wget устанавливает лимит в 500k:

wget --limit-rate=500k https://wordpress.org/latest.zip

Как в команде установить количество повторных попыток

Проблемы подключения к интернету могут привести к прерыванию загрузки. Чтобы этого избежать мы можем повысить количество повторных попыток с опцией -tries:

wget -tries=100 https://wordpress.org/latest.zip

Как командой Wget скачивать в фоновом режиме

Для файлов особо большого размера может оказаться полезной опция -b. Она установит скачивание в фоновом режиме.

wget -b http://example.com/beefy-file.tar.gz

В рабочем каталоге появится wget-log, который может быть использован для проверки прогресса и статуса вашего скачивания. Эта команда тоже будет полезной:

tail -f wget-log

Как командой Wget скачивать по FTP

Команда также применима для работы по FTP. Вам всего лишь нужно указать имя пользователя и пароль, как в примере ниже:

wget --ftp-user=YOUR_USERNAME --ftp-password=YOUR_PASSWORD ftp://example. com/something.tar

Как продолжить прерванное скачивание

Ваше скачивание прервётся, если потеряется связь с интернетом или произойдёт отключение энергоснабжения. Это достаточно распространённые случаи, когда вы скачиваете что-то большое по размеру. Вместо того, чтобы заново начинать, можно продолжить процесс скачивания используя ключ -c:

wget -c https://example/very-big-file.zip

Если вы запустите процесс без ключа -c, к новому файлу в конце будет добавлено .1, так как файл с таким названием уже существует.

Как командой Wget скачать сайт

Команду можно использовать для скачивания всего сайта. Это позволит просматривать сайт локально без подключения к интернету. Вот пример:

wget --mirror --convert-links --page-requisites --no-parent -P documents/websites/ https://some-website.com

Давайте разберём пример подробнее:

–mirror Этот ключ делает ваше скачивание рекурсивным.
–convert-links Все ссылки будут преобразованы для офлайн использования.
–page-requisites Этим мы включим для скачивания все необходимые файлы, такие как CSS, JS и картинки.
–no-parent Это гарантирует, что каталоги по иерархии выше не будут загружены.
-P documents/websites/ Эта опция гарантирует, что весь контент будет направлен в указанный каталог.

Как только процесс закончится, вы сможете открыть скачанный сайт локально и найти все файлы в каталоге documents/websites/.

Как использовать команду Wget для поиска битых ссылок

Давайте попробуем кое-что более сложное. Мы может применять команду для нахождения битых URL-ссылок, которые выдают ошибку 404 на конкретном сайте. Начнём с выполнения следующего:

wget -o wget-log -r -l 5 --spider http://example. com
-o Собирает вывод в файл для использования позже.
-l Задаёт уровень рекурсии.
-r Делает скачивание рекурсивным.
–spider Устанавливает команду в режим работы «паука».

Теперь мы можем изучить файл wget-log для поиска списка битых ссылок. Вот команда для этого:

grep -B 2 '404' wget-log | grep "http" | cut -d " " -f 4 | sort -u

Как командой Wget скачать пронумерованный файлы

Если у вас есть список файлов или изображений пронумерованные в определённом порядке, вы можете легко скачать их все, используя следующий синтаксис:

wget http://example.com/images/{1..50}.jpg

Заключение

Поздравляем! Теперь, после проработки этого руководства, вы знакомы с различными вариантами использования команды. Вы можете пользоваться ею для получения одного или нескольких файлов. К тому же, вы ознакомились с некоторыми более сложными вариантами использования этой команды, такими как: скачивание сайта целиком или нахождения битых URL-ссылок. Для более подробной информации обратитесь к официальной документации(англ.).

Может быть у вас есть какие-то советы или уловки, которыми вы бы хотели поделиться? Пишите их в комментариях ниже!

Елена имеет профессиональное техническое образование в области информационных технологий и опыт программирования на разных языках под разные платформы и системы. Более 10 лет посвятила сфере веб, работая с разными CMS, такими как: Drupal, Joomla, Magento и конечно же наиболее популярной в наши дни системой управления контентом – WordPress. Её статьи всегда технически выверены и точны, будь то обзор для WordPress или инструкции по настройке вашего VPS сервера.

Більше статей від Elena B.

Как использовать wget, лучший инструмент для загрузки из командной строки

Новое не всегда лучше, и wget команда является доказательством. Впервые выпущенное в 1996 году, это приложение до сих пор остается одним из лучших менеджеров загрузок на планете. Если вы хотите загрузить один файл, целую папку или даже зеркальное отображение всего веб-сайта, wget позволяет сделать это всего несколькими нажатиями клавиш.

Конечно, есть причина, по которой не все используют wget: это приложение командной строки, и поэтому новичкам требуется немного времени для изучения. Вот основы, чтобы вы могли начать.

Как установить wget

Прежде чем вы сможете использовать wget, вам необходимо его установить. Как это сделать, зависит от вашего компьютера:

  • Большинство (если не все) дистрибутивы Linux по умолчанию поставляются с wget. Таким образом, пользователям Linux не нужно ничего делать!
  • Системы macOS не поставляются с wget, но вы можете установить инструменты командной строки с помощью Homebrew . После настройки Homebrew просто запустите варить установить wget в Терминале.
  • Однако пользователям Windows нелегко получить доступ к wget из традиционной командной строки. Cygwin предоставляет wget и другие утилиты GNU , а также Оболочка Bash в Ubuntu в Windows 10 также поставляется с wget.

После того, как вы установили wget, вы можете сразу начать использовать его из командной строки. Давай скачаем файлы!

Скачать один файл

Начнем с простого. Скопируйте URL-адрес файла, который хотите загрузить, в свой браузер.

Теперь вернитесь в Терминал и введите wget за которым следует вставленный URL. Файл будет загружен, и вы увидите прогресс в реальном времени.

СВЯЗАННЫЕ С: Как управлять файлами из терминала Linux: 11 команд, которые вам нужно знать

Обратите внимание, что файл будет загружен в текущую папку вашего Терминала, поэтому вы захотите CD в другую папку, если вы хотите сохранить его в другом месте. Если вы не знаете, что это значит, посмотрите наше руководство по управлению файлами из командной строки . В статье упоминается Linux, но концепции одинаковы в системах MacOS и Windows, работающих под управлением Bash.

Продолжить незавершенную загрузку

Если по какой-либо причине вы остановили загрузку до ее завершения, не волнуйтесь: wget может продолжить работу с того места, где она была остановлена. Просто используйте эту команду:

wget -c файл

Ключ здесь -c , который на языке командной строки является «опцией». Эта конкретная опция сообщает wget, что вы хотите продолжить существующую загрузку.

Зеркальное отражение всего веб-сайта

Если вы хотите скачать весь сайт , wget может выполнить эту работу.

wget -m http://example.com

По умолчанию все будет загружено на сайт example. com, но вы, вероятно, захотите использовать еще несколько вариантов для использования зеркала.

  • --convert-links изменяет ссылки внутри каждой загруженной страницы так, чтобы они указывали друг на друга, а не на Интернет.
  • --page-реквизиты загружает такие вещи, как таблицы стилей, поэтому страницы будут правильно выглядеть в автономном режиме.
  • - нет родителей останавливает загрузку родительских сайтов wget. Итак, если вы хотите скачать хттп://эксампле.ком/собесампле , у вас не будет родительской страницы.

Комбинируйте эти варианты по своему вкусу, и вы получите копию любого веб-сайта, который вы сможете просматривать на своем компьютере.

Обратите внимание, что зеркалирование всего веб-сайта в современном Интернете займет много места, поэтому ограничьте это небольшими сайтами, если у вас нет почти неограниченного хранилища.

Скачать весь каталог

Если вы просматриваете FTP-сервер и находите целую папку, которую хотите загрузить, просто запустите:

wget -r ftp://example.com/folder

В р в этом случае wget сообщает, что вам нужна рекурсивная загрузка. Вы также можете включить - родитель если вы хотите избежать загрузки папок и файлов выше текущего уровня.

Загрузить список файлов сразу

Если вы не можете найти всю папку с нужными загрузками, wget все равно может помочь. Просто поместите все URL-адреса загрузки в один файл TXT.

затем укажите wget на этот документ с помощью вариант. Нравится:

wget -i download.txt

Сделайте это, и ваш компьютер загрузит все файлы, перечисленные в текстовом документе, что очень удобно, если вы хотите оставить несколько загрузок на ночь.

Еще несколько приемов

Мы могли бы продолжить: wget предлагает множество вариантов. Но это руководство предназначено только для того, чтобы дать вам отправную точку. Чтобы узнать больше о возможностях wget, введите человек wget в терминале и прочтите, что появится. Вы многому научитесь.

Сказав это, вот несколько других вариантов, которые я считаю изящными:

  • Если вы хотите, чтобы загрузка выполнялась в фоновом режиме, просто включите параметр -b .
  • Если вы хотите, чтобы wget продолжал попытки загрузки даже в случае ошибки 404, используйте опцию -t 10 . То будет пытаться скачать 10 раз; вы можете использовать любой номер, который вам нравится.
  • Если вы хотите управлять своей пропускной способностью, опция --limit-rate = 200 тыс. ограничит вашу скорость загрузки 200 КБ / с. Измените номер, чтобы изменить скорость.

Здесь есть чему поучиться. Вы можете заглянуть в загрузка исходного кода PHP , или настройка автоматического загрузчика , если вы хотите стать более продвинутым.

Как использовать Wget для загрузки чего-либо из Интернета

Wget — это утилита командной строки, которую можно использовать для загрузки практически всего, что доступно в Интернете. Суть в том, что он должен быть доступен по протоколам HTTP, HTTPS или FTP; в противном случае Wget не сможет его скачать. Существует несколько способов использования Wget, например, вы можете использовать Wget для загрузки каждого изображения на веб-сайте, или вы также можете скачать один файл. Wget даже способен возобновить загрузку, когда это возможно. Итак, если вам интересно, как работает Wget и что он может для вас сделать, вот как использовать Wget :

Установка Wget

1.

Установка Wget на MacOS Sierra

Прежде чем мы начнем использовать Wget, нам нужно установить его в нашей системе. К счастью, большинство дистрибутивов Linux поставляются с предустановленным Wget, так что вам не придется выполнять дополнительную работу. Однако, если вы работаете на Mac, вам придется установить Wget. Это можно легко сделать с помощью Homebrew (скачать). Если вам нужна помощь, вот шаги, которые вы должны будете выполнить:

  • Во-первых, вам нужно будет установить Homebrew на ваш Mac, чтобы иметь возможность загрузить Wget. Для этого просто запустите терминал и введите следующую команду:
 / usr / bin / ruby ​​-e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)" 
  • После завершения команды Homebrew будет установлен в вашей системе. Теперь вы можете использовать Homebrew для установки пакетов, таких как Wget. В Терминале просто запустите следующую команду:
 заваривать установить Wget 
  • Homebrew автоматически начнет загрузку, распаковку и установку Wget в вашей системе. Этот шаг может занять некоторое время, в зависимости от скорости вашей сети, поэтому наберитесь терпения. После завершения команды вы сможете использовать Wget на своем Mac. Чтобы проверить, установлен ли он, просто используйте команду:
 Wget -V 

2. Установка Wget на Windows

Установка Wget на Windows занимает немного больше усилий, но это легко сделать. Если вы хотите установить Wget на ПК с Windows, просто выполните следующие действия:

  • Сначала загрузите Cygwin, а затем запустите загруженный установочный файл .
  • Когда он запрашивает источник загрузки по умолчанию, выберите параметр « Установить из Интернета » и нажмите «Далее».
  • Выберите каталог для установки Cygwin, а также каталог, в котором он будет сохранять файлы пакетов для установки утилит.
  • На следующем экране вам необходимо выбрать подключение к Интернету. Если вы используете прокси-сервер, выберите тип прокси-сервера и заполните данные. Тем не менее, для большинства пользователей выбор будет « Прямое подключение ».
  • Затем вам будет показан список зеркал, выберите любое из них для загрузки Cygwin. Если загрузка не удалась, вы можете попробовать еще раз с другим зеркалом.
  • В следующем окне найдите «wget» и нажмите на плюс рядом с «web» в появившемся списке. Здесь флажок рядом с « wget » будет установлен автоматически. Просто нажмите «Далее».
  • На следующем экране будут показаны пакеты, которые необходимо загрузить. Просто нажмите «Далее».
  • После завершения установки вам будет предложено создать значок на рабочем столе и / или добавить запись в меню «Пуск» . Это полностью вопрос личных предпочтений, но я бы посоветовал вам хотя бы добавить его в меню «Пуск», чтобы вы могли легко его найти.

Вот и все. Wget теперь установлен на вашем ПК с Windows. Однако вы не сможете запустить его из командной строки. Вместо этого вам придется запустить терминал Cygwin и использовать Wget оттуда .

Как использовать Wget

Теперь, когда мы установили и запустили Wget в нашей системе, давайте рассмотрим все интересные способы использования Wget для загрузки файлов, папок и даже целых веб-сайтов из Интернета. Вот несколько интересных вещей, которые вы можете сделать с помощью Wget в своей системе.

Примечание : я использую Wget на MacBook Air с бета-версией macOS Sierra 10.12.3. Однако, поскольку используемая нами утилита одинакова (Wget), команды будут одинаковыми в любой операционной системе, в которой вы можете использовать Wget.

1. Используйте Wget для загрузки файлов

Вы можете использовать Wget для загрузки файлов из Интернета с легкостью. Просто используйте следующую команду

 Wget 
  • Загрузите файл и сохраните его с определенным именем файла

Файлы на серверах иногда имеют самые странные имена, и вы можете захотеть загрузить файл, и Wget автоматически переименует его в нечто более подходящее для вас. Для этого просто используйте следующую команду

 Wget -o 
  • Загрузить только определенные типы файлов

Веб-сервер может содержать несколько разных файлов. Итак, что, если вы хотите загрузить все PDF-файлы на сервер или, возможно, все GIF-файлы? Просто используйте следующую команду:

 wget -r -A pdf 

Эта конкретная команда была введена Марком Цукербергом в его комнату в общежитии Гарварда, чтобы загрузить все изображения одной командой и создать печально известный веб-сайт facemash.com.

 wget -r -A jpg, jpeg, png, bmp 

2. Скачивайте файлы с нескольких URL с помощью Wget

Скажем, вам нужно скачивать файлы из разных мест в Интернете. Может быть PDF-файл на url1, важный ZIP-файл на url2 и что-то еще в url3 . Если вы использовали Wget традиционным способом, вам придется запустить его три раза. Тем не менее, есть гораздо более простой способ сделать это.

  • Сначала создайте файл со всеми URL-адресами, с которых необходимо загрузить данные. Убедитесь, что вы держите каждый URL в отдельной строке . Сохраните файл и убедитесь, что вы помните имя.
  • В терминале используйте следующую команду для загрузки файлов со всех URL-адресов:
 Wget -i 

где « имя_файла » — это имя файла, который вы создали со всеми URL, необходимыми для загрузки материалов.

3. Скачать весь сайт с Wget

Да, вы правильно прочитали. Вы также можете использовать Wget для загрузки содержимого всего сайта. Очевидно, что если веб-сайт слишком большой, выполнение этой команды займет много времени, не говоря уже о том, что оно будет занимать много места в вашей системе. Тем не менее, если вы хотите использовать Wget для загрузки всего сайта, просто используйте следующую команду:

 wget --mirror -p -P ./LOCAL-DIR ВЕБ-САЙТ-URL 

Это позволит загрузить весь веб-сайт в папку « LOCAL-DIR » внутри вашего рабочего каталога. Файлы сайта будут храниться в папке с тем же именем, что и сайт, благодаря « WEBSITE-URL ».

4. Используйте Wget в качестве веб-паука

Вы также можете заставить Wget действовать как веб-сканер (или веб-паук). Это полезно, если вы хотите подтвердить, что URL-адрес файла, который вы хотите загрузить, действителен . Чтобы использовать Wget в качестве веб-паука и проверить правильность URL-адресов, просто используйте следующую команду:

 wget --spider 

Это проверит, существует ли упомянутый вами URL, и вы получите ответ, сообщающий вам результаты проверки.

  • Положительный ответ:
  • Отрицательный ответ:

5.

Продолжить незавершенные загрузки

Это еще одна крутая вещь, которую может сделать Wget. Скажем, вы скачивали файл с помощью Wget, но по какой-то причине вам пришлось выключить ноутбук. В следующий раз, когда вы захотите загрузить этот же файл, Wget сможет продолжить загрузку для вас. Вам просто нужно убедиться, что вы находитесь в той же папке, куда вы загружали файл в прошлый раз, а затем использовать следующую команду:

 wget -c 

Когда Wget обнаружит, что часть файла уже присутствует в вашей системе, он автоматически продолжит загрузку.

Примечание . Если файл на сервере был изменен с момента последней попытки его загрузки, вам не следует использовать эту команду, так как это приведет к повреждению файла, который вы не сможете прочитать.

Кроме того, если сервер не позволяет продолжить загрузку, то Wget откажется начинать загрузку с нуля. Если вы хотите начать загрузку с нуля, сначала вам придется удалить частично загруженный файл из вашей системы .

Есть еще несколько условий использования этого аргумента, и вы можете прочитать больше об этом на странице руководства Wget.

6. Ограничить скорость загрузки

Если вы используете Wget для загрузки файлов и просматриваете интернет вместе с ним, вы, вероятно, не захотите, чтобы вся ваша пропускная способность использовалась Wget. К счастью, в Wget есть аргумент, который вы можете использовать для ограничения пропускной способности, которую Wget может использовать для загрузки файлов в вашей системе:

 wget --limit-rate = 

Примечание : имейте в виду, что скорость указана в байтах, а не в битах. Итак, если вы используете Wget –limit-rate = 20k, это ограничит использование полосы пропускания 20 кБ, а не 20 кБ.

7. Используйте Wget для загрузки файлов с FTP-серверов.

Если вам нужно загрузить файл с FTP-сервера, вы можете сделать это и с помощью Wget. Просто используйте следующую команду для загрузки файлов с FTP-серверов:

 Wget 
  • Скачать файлы с FTP-серверов с логином

Если вашему FTP-серверу требуется логин для загрузки файлов, вы также можете просто передать учетные данные с помощью Wget. Просто используйте следующую команду:

 wget --ftp-username = ИМЯ ПОЛЬЗОВАТЕЛЯ --ftp-пароль = ПАРОЛЬ 

Легко используйте Wget для загрузки файлов из Интернета

Вы можете использовать Wget для загрузки файлов из любого места в Интернете. Однако, хотя Wget почти всегда работает, существуют определенные серверы, которые запрещают доступ к Wget, и в этом случае вы можете попробовать изменить параметр –user-agent для своей команды Wget. Однако это не рекомендуемый курс действий, если вы не знаете, что делаете. По большей части, Wget позволит вам скачать любой файл из Интернета, если у вас есть доступ к нему и его URL.

Итак, вы когда-нибудь использовали Wget для загрузки файлов из Интернета? Сообщите нам о своем опыте использования Wget для загрузки файлов по протоколам HTTP, HTTPS и FTP. Кроме того, если вы знаете о некоторых других применениях Wget, которые, по вашему мнению, заслуживают того, чтобы быть в этом списке, сообщите нам о них в разделе комментариев ниже.

toadmin.ru — toAdmin.ru

21 часто задаваемый вопрос об ООП-интервью и ответы на них, которые нужно знать сегодня

Вопросы для интервью по объектно-ориентированному программированию могут помочь программистам и разработчикам улучшить свои знания ключевых концепций мира программирования. ООП — одна из самых необходимых и нужных парадигм программирования, фокусирующаяся на…

Android

Исправить ошибку Wyze 07 на Android

Приложение Wyze предоставляет вам более простой и удобный доступ к вашей личной и домашней безопасности. Это приложение позволяет пользователям получать доступ к своим камерам безопасности, чтобы контролировать все свои вещи…

Исправить Samsung TV Plus не работает

Samsung TV Plus — это служба потокового телевидения, предоставляющая более 200 каналов без какой-либо подписки и поддерживаемая рекламой. В настоящее время Samsung TV Plus доступен только пользователям Samsung Android Smart…

Windows

Как получить iMessage на ПК с Windows

iMessage довольно популярен среди пользователей Apple по многим причинам, и справедливо сказать, что эти причины действительно оправданы. Еще в 2013 году ходили разговоры о переносе iMessage на Android. Но позже…

Как создать свой первый NFT (и выставить его на продажу!)

Время от времени появляется тенденция, которая полностью меняет то, как мы взаимодействуем с вещами. И к настоящему времени вы, вероятно, хорошо знакомы с термином Web3, NFT или децентрализованной сетью. На…

Как использовать режим энергосбережения Apple Watch

У Apple Watch никогда не было большого времени автономной работы. Несмотря на то, что Apple заявляет о «полном рабочем дне», они по-прежнему указывают только 18 часов автономной работы недавно выпущенных…

Minecraft

Как получить соты в Minecraft

Вы можете легко получить соты в Minecraft, заметив улей. Давайте поможем вам сделать это шаг за шагом. Поиск сот не является жестким. Сложность заключается в том, чтобы найти улей. В…

Исправить ошибку при получении информации с сервера RPC

Google PlayStore — это интернет-магазин для скачивания приложений и игр для Android. Аналогично Microsoft Store для Windows и AppStore для iOS. Магазин Google Play используется для загрузки игр с Android.…

Discord

Как установить и использовать Discord на Xbox

Спустя несколько месяцев после официального анонса и бета-тестирования любимая геймерами платформа голосового чата Discord была выпущена на консолях Xbox. Microsoft и Discord недавно объявили, что все пользователи Xbox Series X/S…

Все, что вам нужно знать о Data Fabric для цифрового бизнеса

Цифровизация вашего бизнеса не может быть завершена до тех пор, пока вы не объедините разрозненные бизнес-данные в единую структуру данных, которая поможет вам соблюдать политику управления рисками, управления и конфиденциальности…

Список промокодов RBX Demon для Robux

Бесплатный онлайн-ресурс под названием RBX Demon позволяет вам получить бесплатные Robux, внутриигровые деньги, используемые в Roblox, а также множество других бесплатных вещей. Вы должны загрузить или сыграть в одну из…

13 веб-сайтов по страхованию домашних животных, чтобы сэкономить на этих дорогих счетах за услуги ветеринара

Всегда хорошо иметь кого-то рядом с собой, когда мы возвращаемся домой после долгого утомительного рабочего дня, — кого-то, кто всегда будет любить тебя, не осуждая, независимо от того, как ты…

Как найти человека бесплатно по номеру телефона

Найти кого-то в Интернете не так просто, как кажется; так как у них могут быть разные имена в социальных сетях, так как люди довольно часто меняют свои имена. Помимо числа,…

13 лучших бесплатных и платных приложений для камеры iPhone

iPhone зарекомендовал себя на рынке, особенно благодаря одной из лучших камер. Многие люди стремятся купить iPhone исключительно из-за преимуществ камеры. Хотя это может показаться глупым, это не самое худшее решение…

Windows

Как удалить предупреждение о безопасности Защитника Windows из Chrome и Safari

Не дайте себя обмануть законным предупреждением системы безопасности защитника Windows. Позвольте нам помочь вам выбраться из него. Выманить у кого-то деньги никогда не бывает легко. И некоторые мошенники, кажется, знали…

Как отключить метаданные AWS EC2?

Эта статья расскажет вам о метаданных EC2 и о том, почему это важно. Вы также узнаете, как отключить метаданные, чтобы защитить себя от таких атак, как SSRF. Amazon Web Services…

Биткойн против Биткойн Кэш: в чем разница?

Биткойн (BTC) и Биткойн Кэш (BCH), хотя и похожи по смыслу, отличаются в первую очередь с точки зрения масштабируемости и транзакционных издержек. В этой статье более подробно рассматривается биткойн и…

Windows

Исправить ошибку 0xc0aa0301 в Windows 10

Запись диска обычно означает запись записываемого компакт-диска с помощью лазера с использованием специального устройства, известного как устройство для записи дисков. Устройство записи дисков записывает информацию на компакт-диски. Windows также включает…

Как разделить экран на Chromebook (методы 5)

Chrome OS получила свое сотое обновление в начале этого года, и Google не упустила возможность выпустить свежие новые функции для своей настольной ОС. Среди них были представлены новый лаунчер Chrome…

Превратите изучение языков в увлекательное занятие для детей с Mondly

Используйте мозг вашего ребенка с пользой, позволив ему выучить несколько языков на ранней стадии развития и роста. Социальные, когнитивные и академические навыки детей становятся более острыми, когда вы позволяете им…

wget, как использовать команду Linux wget

Wget — это командный инструмент для загрузки файлов в системах Linux. Это незаменимый инструмент для пользователей, которые часто хотят загрузить какое-либо программное обеспечение или восстановить резервные копии с удаленного сервера на локальный сервер. wget поддерживает протоколы HTTP, HTTPS и FTP, может использовать HTTP-прокси, может загружать автоматически, поддерживает возобновляемую загрузку и очень стабилен. Итак, как использовать wget? Подробные инструкции описаны ниже.

Инструменты / Материалы

2. Введите wget —help, чтобы просмотреть файл справки для wget с подробным описанием каждого параметра.

3. Существует множество параметров, соответствующих wget, которые в соответствии с классификацией вводятся следующим образом.Параметры запуска:

-V, —version После отображения версии wget

-h, —help Вывести справку по синтаксису

-b, —background Переключиться на фоновое выполнение после запуска

-e, —execute = КОМАНДА Выполнять команды в формате `.wgetrc ‘, см. / etc / wgetrc или ~ / .wgetrc для формата wgetrc

4. Параметры записи и входного файла:

-o, —output-file = ФАЙЛ записывать записи в ФАЙЛ файл

-a, —append-output = ФАЙЛ Добавить запись в файл ФАЙЛ

-d, —debug Выводить отладочную информацию

-q, —quiet Тихий режим (без вывода)

-v, —verbose Подробный режим (это значение по умолчанию)

-nv, —non-verbose Отключить подробный режим, но не тихий режим

-i, —input-file = ФАЙЛ Загрузить URL-адреса, которые появляются в файле ФАЙЛ

-F, —force-html Обрабатывать входной файл как файл в формате HTML.

-B, —base = URL Использовать URL как префикс относительных ссылок, которые появляются в файле, указанном параметром -F -i

—Sslcertfile = FILE Необязательный сертификат клиента

—Sslcertkey = KEYFILE KEYFILE необязательного сертификата клиента

—Egd-file = ФАЙЛ Укажите имя файла сокета EGD

5.Параметры загрузки:

—Bind-address = АДРЕС Укажите локальный адрес (имя хоста или IP-адрес, используется при наличии нескольких IP-адресов или имен локально)

-t, —tries = ЧИСЛО Установить максимальное количество попыток связи (0 означает неограниченное количество).

-O —output-document = FILE записать документ в файл FILE

-nc, —no-clobber Не перезаписывать существующие файлы и не использовать префикс. #

-c, —continue затем загрузить незавершенные файлы

—Progress = TYPE Установить отметку индикатора выполнения

-N, —timestamping Не загружать файл снова, если он не новее локального файла

-S, —server-response Ответ сервера печати

— Паук ничего не скачивай

-T, —timeout = СЕКУНДЫ Установить время ожидания ответа в секундах

-w, —wait = SECONDS SECONDS секунд между попытками

—Waitretry = СЕКУНДЫ Ждать 1 … СЕКУНД между переподключениями

—Random-wait Подождите 0 … 2 * WAIT секунд между загрузками

-Y, —proxy = on / off Включить или выключить прокси

-Q, —quota = ЧИСЛО Установить лимит загрузки

—Limit-rate = RATE Ограничение скорости загрузки

6.Параметры каталога:

-nd —no-directoryies Не создавать каталоги

-x, —force-directoryies Принудительно создать каталог

-nH, —no-host-каталогов Не создавать каталоги хоста

-P, —directory-prefix = PREFIX Сохранить файл в каталоге PREFIX / . ..

—Cut-dirs = ЧИСЛО Игнорировать удаленные каталоги уровня ЧИСЛО

7.Параметры опции HTTP:

—Http-user = ПОЛЬЗОВАТЕЛЬ Установить имя пользователя HTTP как ПОЛЬЗОВАТЕЛЬ.

—Http-passwd = PASS Установить пароль http на PASS

-C, —cache = on / off Разрешить / запретить кэширование данных на стороне сервера (обычно разрешено)

-E, —html-extension Сохранить все текстовые / html-документы с расширением .html

—Ignore-length Игнорировать поле заголовка Content-Length

—Header = STRING вставить строку в заголовки STRING

—Proxy-user = USER Установить имя пользователя прокси как ПОЛЬЗОВАТЕЛЬ

—Proxy-passwd = PASS Установить пароль прокси на PASS

—Referer = URL Включить заголовок `Referer: URL ‘в HTTP-запрос

-s, —save-headers Сохранить заголовки HTTP в файл

-U, —user-agent = АГЕНТ Установить имя агента в АГЕНТ вместо Wget / ВЕРСИЯ

—No-http-keep-alive Закрыть активную ссылку HTTP (всегда ссылка)

—Cookies = off Не использовать файлы cookie

—Load-cookies = ФАЙЛ Загружать куки из файла ФАЙЛ перед началом сеанса

—Save-cookies = FILE Сохранять файлы cookie в файл FILE после завершения сеанса

8. Параметры опции FTP:

-nr, –dont-remove -isting Не удалять файл `.listing ‘

-g, —glob = on / off Включение или отключение механизма подстановки имен файлов

—Passive-ftp Использовать пассивный режим передачи (значение по умолчанию).

—Active-ftp Использовать активный режим передачи

—Retr-symlinks При рекурсии укажите ссылку на файл (а не на каталог)

9.Параметры рекурсивной загрузки:

-r, —recursive рекурсивная загрузка

-l, —level = ЧИСЛО Максимальная глубина рекурсии (inf или 0 означает бесконечность)

—Delete-after Частичное удаление файлов после этого

-k, —convert-links Преобразование не относительных ссылок в относительные ссылки

-K, —backup-convert Перед преобразованием файла X создайте его резервную копию как X.orig

-m, —mirror эквивалентно -r -N -l inf -nr

-p, —page-Requisites Загрузить все картинки, показывающие файлы HTML

10. Команда для загрузки файлов напрямую с помощью wget выглядит следующим образом:

wget https://www. python.org/ftp/python/2.7.2/Python-2.7.2.tar.bz2

Процесс загрузки, вы можете видеть индикатор выполнения, скорость и т. Д.

11. Используйте wget, чтобы загрузить и сохранить команду с новым именем файла:

wget -O new.tar https://www.python.org/ftp/python/2.7.2/Python-2.7.2.tar.bz2

Загруженный файл будет повторно сохранен как new.tar.

12. Для более подробного использования вы можете просмотреть справку по параметрам и настроить ее в соответствии с вашими потребностями.

Что такое команда Wget и как ее использовать (включая 12 примеров)

Другое

15 марта 2022 г.

Домантас Г.

4 мин Чтение

Это руководство покажет вам, как использовать команду wget в Linux. Мы также предоставим 12 полезных примеров команд wget. К концу вы будете знать все о команде wget и сможете использовать ее для загрузки файлов из всемирной паутины.

Загрузить электронную книгу: Ускорьте свой веб-сайт. 8 практических советов, которые работают

Что такое команда Wget?

Wget — компьютерный инструмент, созданный в рамках проекта GNU. Вы можете использовать его для извлечения содержимого и файлов с различных веб-серверов. Название представляет собой комбинацию World Wide Web и слова get . Он поддерживает загрузку через FTP, SFTP, HTTP и HTTPS.

Wget создан на переносимом языке C и может использоваться в любой системе Unix. Его также можно реализовать на Mac OS X, Microsoft Windows, AmigaOS и других популярных платформах.

Как установить Wget?

Для этой демонстрации команды wget мы будем использовать Ubuntu 16.04. Но синтаксис будет работать и в любом другом дистрибутиве Linux.

Во-первых, получите доступ к вашему серверу через SSH:

 ssh [email protected]_server_ip -port 

Чтобы установить wget на Ubuntu 18.04 или аналогичный, выполните следующую команду: CentOS 7 или предыдущие дистрибутивы, используйте:

 sudo yum install wget 

После завершения установки вы будете готовы к ее использованию. Кроме того, знание основных команд SSH может упростить задачу.

Примеры команд Wget

Для начала мы предоставим вам 12 примеров команд wget, которые вы можете использовать для повседневных задач. Имейте в виду, что вы также можете вызывать эту функцию из сценариев и заданий cron!

Использование команды Wget для загрузки отдельных файлов

Одним из самых простых примеров использования команды wget является загрузка одного файла и сохранение его в текущем рабочем каталоге. Например, вы можете получить последнюю версию WordPress, используя следующее:

 wget https://wordpress.org/latest.zip 

Вот результат, который вы увидите:

 --2018-02-23 12:53:10-- https://wordpress.org/latest .zip
Разрешение wordpress.org (wordpress.org)... 198.143.164.252
Подключение к wordpress.org (wordpress.org)|198.143.164.252|:443... подключено.
HTTP-запрос отправлен, ожидается ответ... 200 OK
Длина: 9332728 (8,9M) [application/zip]
Сохранение в: 'latest. zip'
последний.zip 100%[===================>] 8,90M 6,88MB/s за 1,3s
2018-02-23 12:53:14 (6,88 МБ/с) - 'latest.zip' сохранен [9332728/9332728] 

В этом примере файл с именем last.zip будет загружен в текущий рабочий каталог. Вы также увидите дополнительную информацию, такую ​​как ход загрузки, скорость, размер, время и дата.

Использование команды Wget для загрузки нескольких файлов

Мы можем сделать еще один шаг в использовании wget и загрузить несколько файлов одновременно. Для этого нам нужно создать текстовый документ и поместить туда URL-адреса для загрузки. В этом примере мы получим последние версии WordPress, Joomla и Drupal с помощью wget. Введите следующее:

 nano example.txt 

Это создаст файл example.txt и откроет интерфейс текстового редактора. Вставьте эти ссылки туда:

 https://wordpress.org/latest.zip
https://downloads.joomla.org/cms/joomla3/3-8-5/Joomla_3-8-5-Stable-Full_Package.zip
https://ftp.drupal. org/files/projects/drupal-8.4.5.zip 

После этого вы можете использовать -i  , чтобы получить все файлы, хранящиеся в текстовом файле примера:

 wget -i example.txt 

Дождитесь завершения процесса, и вы получите установки трех самых популярных систем управления контентом.

Использование команды Wget для получения файлов под разными именами

В этом примере wget мы сохраним файл под другим именем с помощью параметра -O :

 wget -O wordpress-install.zip https:/ /wordpress.org/latest.zip 

В этом случае загруженный ресурс будет сохранен как wordpress-install.zip вместо исходного имени.

Использование команды Wget для сохранения файлов в указанном каталоге

Вы можете использовать wget для помещения файла в другой каталог с помощью -P функция:

 wget -P документы/архивы/ https://wordpress.org/latest.zip 

Файл, который вы извлекаете с помощью этого синтаксиса, появится в папке документов/архивов/ .

Использование команды Wget для ограничения скорости загрузки

С помощью wget вы также можете ограничить скорость загрузки. Это полезно при извлечении огромных файлов и предотвратит использование всей вашей пропускной способности. Этот пример wget установит ограничение на 500k:

 wget --limit-rate=500k https://wordpress.org/latest.zip 

Использование команды Wget для установки повторных попыток

Проблемы с подключением к Интернету могут привести к прерыванию загрузки. Чтобы решить эту проблему, мы можем увеличить количество повторных попыток с помощью функции -tries :

 wget -tries=100 https://wordpress.org/latest.zip 

Использование команды Wget для загрузки в фоновом режиме

Для очень больших файлы, вы можете воспользоваться функцией -b  . Он будет загружать ваш контент в фоновом режиме.

 wget -b http://example.com/beefy-file.tar.gz 

В вашем рабочем каталоге появится файл wget-log , который можно использовать для проверки хода и состояния загрузки. Эта команда также поможет:

 tail -f wget-log 

Использование команды Wget для загрузки через FTP

Эту команду также можно использовать с FTP. Вам нужно будет указать только имя пользователя и пароль, как в этом примере wget:

 wget --ftp-user=ВАШЕ_ИМЯ_ПОЛЬЗОВАТЕЛЯ --ftp-password=ВАШ_ПАРОЛЬ ftp://example.com/something.tar 

Использование команды Wget для продолжения прерванных загрузок

Загрузка может быть прервана, если вы потеряете подключение к Интернету или отключите электричество. Это довольно частое явление при получении огромных файлов. Вместо того, чтобы начинать заново, можно продолжить загрузку с помощью функции -c :

 wget -c https://example/very-big-file.zip 

новый файл будет иметь .1  , добавленное в конце, так как он уже существует.

Использование команды Wget для получения целых веб-сайтов

Также можно использовать команду wget для загрузки содержимого всего сайта. Это позволит вам просматривать его локально без подключения к Интернету. Вот пример:

 wget --mirror --convert-links --page-requisites --no-parent -P documents/websites/ https://some-website.com 

Давайте проанализируем ингредиенты этого wget команда:

–mirror Это делает вашу загрузку рекурсивной.
– конвертировать ссылки Все ссылки будут преобразованы для правильного использования в автономном режиме.
—page-requisites Следующее будет включать все необходимые файлы, такие как CSS, JS и изображения.
–no-parent Это гарантирует, что каталоги выше иерархии не будут получены.
-P документы/веб-сайты/ Это гарантирует, что весь контент попадает в указанный нами каталог.

После завершения процесса вы сможете открыть загруженный веб-сайт локально и найти все файлы в папке документов/веб-сайтов/.

Использование команды Wget для поиска неработающих ссылок

Давайте попробуем что-нибудь более сложное. Мы можем использовать команду wget, чтобы найти все неработающие URL-адреса, которые отображают ошибку 404 на определенном веб-сайте. Начните с выполнения следующего:

 wget -o wget-log -r -l 5 --spider http://example.com 
-o Собирает выходные данные в файл для последующего использования.
-l Указывает уровень рекурсии.
-r Делает загрузку рекурсивной.
–spider Устанавливает wget в режим паука.

Теперь мы можем исследовать файл wget-log , чтобы найти список неработающих ссылок. Вот команда для этого:

 grep -B 2 '404' wget-log | grep "http" | вырезать -d " " -f 4 | sort -u 

Использование команды Wget для загрузки пронумерованных файлов

Если у вас есть файлы или изображения, пронумерованные в определенном списке, вы можете легко загрузить их все, используя следующий синтаксис:

 wget http://example. com/images /{1..50}.jpg 

Заключение

Поздравляем! Выполнив это руководство, вы узнали о различных способах использования команды wget. Теперь вы можете использовать его для получения одного или нескольких файлов. Кроме того, вы узнали о некоторых дополнительных способах использования, таких как загрузка всего веб-сайта или поиск неработающих URL-адресов. Для получения дополнительной информации вы также можете проверить официальную документацию.

Есть ли какие-нибудь скрытые советы или хитрости, которыми вы хотите поделиться? Не стесняйтесь делать это в комментариях ниже!

Домантас возглавляет группы по контенту и SEO, предлагая свежие идеи и нестандартные подходы. Обладая обширными знаниями в области SEO и маркетинга, он стремится распространить информацию о Hostinger во всех уголках мира. В свободное время Домантас любит оттачивать навыки веб-разработки и путешествовать по экзотическим местам.

Еще от Domantas G.

Установка, команды и примеры (Mac и Windows)

Поделиться этой публикацией

WGET — это бесплатный инструмент для сканирования веб-сайтов и загрузки файлов через командную строку.

В этом руководстве по wget мы узнаем, как установить и использовать wget.

Что такое Wget?

Wget — это бесплатный инструмент командной строки, созданный проектом GNU, который используется для загрузки файлов из Интернета.

  • Позволяет загружать файлы из Интернета через FTP, HTTP или HTTPS (веб-страницы, pdf, карты сайта xml и т. д.).
  • Обеспечивает рекурсивные загрузки , что означает, что Wget загружает запрошенный документ, затем документы, связанные с этим документом, затем следующий и т. д.
  • Он следует ссылкам и структуре каталогов.
  • Позволяет перезаписывать ссылки правильным доменом, помогая создавать зеркала веб-сайтов.

Как установить Wget

Проверить, установлен ли Wget

Откройте терминал и введите:

 $ wget -V
 

Если он установлен, он вернет версию.

Если нет, выполните следующие шаги, чтобы загрузить wget на Mac или Windows.

Загрузка Wget на Mac

Рекомендуемый способ установки wget на Mac — Homebrew.

Сначала установите Homebrew.

 $ ruby ​​-e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
 

Затем установите wget.

 $ варить установить wget
 

Загрузите Wget для Windows

Чтобы установить и настроить wget для Windows:

  1. Загрузите wget для Windows и установите пакет.
  2. Скопируйте файл wget.exe в папку C:\Windows\System32 .
  3. Откройте командную строку (cmd.exe) и запустите wget , чтобы проверить, установлена ​​ли она.

Вот короткое видео, показывающее, как загрузить wget на Windows 10.

Основы Wget

Давайте рассмотрим синтаксис wget, рассмотрим базовую структуру команд и разберемся с наиболее важными параметрами.

Wget Синтаксис

Wget имеет два аргумента: [OPTION] и [URL] .

 wget [ВАРИАНТ]... [URL]...
 
  • [ОПЦИЯ] сообщает, что делать с аргументом [URL] , представленным после. Он имеет короткую и полную форму (например, -V и --версия делают одно и то же).
  • [URL] — это файл или каталог, который вы хотите загрузить.
  • Вы можете вызывать сразу несколько OPTIONS или URL-адресов.

Просмотр команд WGET

Чтобы просмотреть доступные команды wget, используйте wget -h . 14 команд Wget для извлечения веб-страниц Агент

  • Извлечь как Googlebot
  • Извлечь Robots.txt при его изменении
  • Преобразовать ссылки на странице
  • Mirror a single page
  • Extract Multiple URLs from a list
  • Limit Speed ​​
  • Number of attempts
  • Use Proxies
  • Continue Interrupted Downloads
  • Extract Entire Website
  • Download a single file with Wget

     $ wget https://example. com/robots.txt
     

    Загрузка файла в определенный выходной каталог

    Здесь замените <ВАШ-ПУТЬ> на расположение выходного каталога, в котором вы хотите сохранить файл.

     $ wget -P <ВАШ-ПУТЬ> https://example.com/sitemap.xml
     

    Переименовать загруженный файл при извлечении с помощью Wget

    Чтобы вывести файл с другим именем:

     $ wget -O <ВАШЕ-ИМЯ-ФАЙЛА.html> https://example.com/file.html
     

    Определить агента пользователя в WGET

    Идентифицировать себя. Определите свой пользовательский агент.

     $ wget --user-agent=Chrome https://example.com/file.html
     

    Извлечь как Googlebot с помощью Wget

     $ wget --user-agent="Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/86.0.4240.198 Mobile Safari/537.36 (совместимо; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com /дорожка
     

    Используйте Wget для извлечения robots.

    txt при его изменении

    Давайте извлечем robots.txt, только если последняя версия на сервере более новая, чем локальная копия.

    При первом извлечении используйте -S , чтобы сохранить временные метки файла.

     $ wget -S https://example.com/robots.txt
     

    Позже, чтобы проверить, не изменился ли файл robots.txt, и загрузить его, если он изменился.

     $ wget -N https://example.com/robots.txt
     

    Команда Wget для преобразования ссылок на странице

    Преобразование ссылок в HTML, чтобы они по-прежнему работали в вашей локальной версии. (например: example.com/path от до localhost:8000/path )

     $ wget --convert-links https://example.com/path
     

    Зеркальное отображение одной веб-страницы в Wget

    Чтобы отразить одну веб-страницу, чтобы она могла работать на вашем локальном компьютере.

     $ wget -E -H -k -K -p --convert-links https://example. com/path
     

    Извлечение нескольких URL-адресов с помощью Wget

    Добавьте все URL-адреса в файл urls.txt .

     https://example.com/1
    https://example.com/2
    https://example.com/3
     
     $ wget -i URL.txt
     

    Ограничение скорости извлечения в Wget

    Чтобы быть хорошим гражданином Интернета, важно не сканировать слишком быстро, используя --wait и --limit-rate .

    • --wait=1 : Подождите 1 секунду между извлечениями.
    • --limit-rate=10K : Ограничить скорость загрузки (байт в секунду)

    Определить количество повторных попыток в Wget

    Иногда происходит сбой подключения к Интернету, иногда попытки блокируются, иногда сервер не реагировать. Определите количество попыток с помощью функции -tries .

     $ wget -tries=10 https://example.com
     

    Как использовать прокси с Wget?

    Чтобы использовать прокси с Wget, нам нужно обновить файл ~/. wgetrc , расположенный по адресу /etc/wgetrc .

    Вы можете изменить ~/.wgetrc в своем любимом текстовом редакторе

     $ vi ~/.wgetrc # VI
    $ код ~/.wgetrc # VSCode
     

    И добавьте эти строки:

     use_proxy = on
    http_proxy = http://имя пользователя:[электронная почта защищена]:порт/
    https_proxy = http://имя пользователя:[электронная почта защищена]:порт/
     

    Затем, выполнив любую команду wget, вы будете использовать прокси.

    Кроме того, вы можете использовать команду -e для запуска wget с прокси без изменения переменных среды.

     wget -e use_proxy=yes -e http_proxy=http://proxy.server.address:port/ https://example.com
     

    Как удалить прокси Wget?

    Если вы больше не хотите использовать прокси, обновите файл ~/.wgetrc , чтобы удалить добавленные вами строки, или просто используйте команду ниже, чтобы переопределить их:

     $ wget --noproxy
     

    Продолжить прерванную загрузку с помощью Wget

    Если процесс извлечения прерван, продолжите загрузку, перезапустив все извлечение с помощью команды -c .

     $ wget -c https://example.com
     

    Использование Wget для извлечения всего сайта (Действовать с осторожностью)

    Рекурсивный режим извлечения страницы и перехода по ссылкам на страницах для их извлечения.

    При этом извлекается весь ваш сайт, что может привести к дополнительной нагрузке на ваш сервер. Убедитесь, что вы знаете, что делаете, или что вы привлекаете разработчиков.

     $ wget --recursive --page-requisites --adjust-extension --span-hosts --wait=1 --limit-rate=10K --convert-links --restrict-file-names=windows -- no-clobber --domains example.com --no-parent example.com
     
    Команда Что она делает
    – рекурсивная Следуйте ссылкам в документе. Максимальная глубина 5.
    —page-requisites Получить все активы (CSS/JS/изображения)
    –adjust-extension Сохраняйте файлы с расширением . html в конце.
    —span-hosts Включите также необходимые активы из сторонних ресурсов.
    –wait=1 Подождите 1 секунду между извлечениями.
    —limit-rate=10K Ограничение скорости загрузки (байт в секунду)
    —convert-links Конвертируйте ссылки в локальной версии HTML, чтобы они по-прежнему работали.
    –restrict-file-names=windows Измените имена файлов для работы в Windows.
    –no-clobber Перезаписать существующие файлы.
    –домены example.com Не переходить по ссылкам за пределами этого домена.
    –no-parent Никогда не подниматься в родительский каталог при рекурсивном извлечении
    – уровень (Дополнительно) Запустить режим паука
     $ wget --spider -r https://example.com -o wget.log
     

    Wget VS Curl

    Сильной стороной Wget по сравнению с curl является его способность рекурсивно загружать . Это означает, что он загрузит документ, затем перейдет по ссылкам, а затем также загрузит эти документы.

    Используйте Wget с Python

    Wget — это строго командная строка, но есть пакет, который вы можете импортировать из пакета wget , который имитирует wget.

     импорт wget
    url = 'http://www.jcchouinard.com/robots.txt'
    имя файла = wget.download(url)
    имя файла
     

    Debug Wget Command Not Found

    Если вы получаете ошибку -bash: wget: command not found на Mac, Linux или Windows, это означает, что wget GNU либо не установлен, либо не работает должным образом.

    Вернитесь назад и убедитесь, что вы правильно установили wget.

    О WGET

    👑 WGET был разработан по HRVOJE NIKШич
    🏠 WGET.
    🛎️ Wget Supported Protocols HTTP(S), FTP(S)
    👛 Wget was Created In January 1996
    🍀 Installing Wget brew install wget
    📙 Wget Command wget [ option ]…[ URL ]…
    Detail table about WGET

    Wget FAQs

    What is Wget Used За?

    Wget используется для загрузки файлов из Интернета без использования браузера. Он поддерживает протоколы HTTP, HTTPS и FTP, а также поиск через HTTP-прокси.

    Как работает Wget?

    Wget не интерактивен и позволяет загружать файлы из Интернета в фоновом режиме без использования браузера или пользовательского интерфейса. Он работает, переходя по ссылкам для создания локальных версий удаленных веб-сайтов, соблюдая при этом robots.txt.

    В чем разница между Wget и cURL?

    И Wget, и cURL — это утилиты командной строки, позволяющие передавать файлы из Интернета. Хотя Curl обычно предлагает больше функций, чем Wget, wget предоставляет такие функции, как рекурсивная загрузка.

    Можно ли использовать Wget с Python?

    Да, вы можете запустить wget get в Python, установив библиотеку wget с помощью $pip install wget

    Уважает ли Wget Robots.txt?

    Да, Wget соблюдает Стандарт исключения роботов ( /robots.txt )

    Является ли Wget бесплатным?

    Да, GNU Wget — это бесплатное программное обеспечение, которое каждый может использовать, распространять и/или изменять в соответствии с условиями Стандартной общественной лицензии GNU

    Что такое рекурсивная загрузка?

    Рекурсивная загрузка или рекурсивный поиск — это возможность загрузки документов, перехода по ссылкам внутри них и, наконец, загрузки этих документов до тех пор, пока не будут загружены все связанные документы или не будет достигнута максимальная заданная глубина.

    Как указать место загрузки в Wget?

    Используйте -P или –directory-prefix=PREFIX. Пример: $ wget -P /path

    Заключение

    Вот и все.

    Теперь вы знаете, как установить и использовать Wget в командной строке.

    Жан-Кристоф Шуинар

    SEO-стратег Tripadvisor, бывший Seek (Мельбурн, Австралия). Специализируется на техническом SEO. В поисках программного SEO для крупных организаций за счет использования Python, R и машинного обучения.

    Установка, команды и примеры (Mac и Windows)

    Поделиться этой публикацией

    WGET — это бесплатный инструмент для сканирования веб-сайтов и загрузки файлов через командную строку.

    В этом руководстве по wget мы узнаем, как установить и использовать wget.

    Что такое Wget?

    Wget — это бесплатный инструмент командной строки, созданный проектом GNU, который используется для загрузки файлов из Интернета.

    • Позволяет загружать файлы из Интернета через FTP, HTTP или HTTPS (веб-страницы, pdf, карты сайта xml и т. д.).
    • Он обеспечивает рекурсивных загрузок , что означает, что Wget загружает запрошенный документ, затем документы, связанные с этим документом, затем следующий и т. д.
    • Он следует за ссылками и структурой каталогов.
    • Позволяет перезаписывать ссылки правильным доменом, помогая создавать зеркала веб-сайтов.

    Как установить Wget

    Проверить, установлен ли Wget

    Откройте терминал и введите:

     $ wget -V
     

    Если он установлен, он вернет версию.

    Если нет, выполните следующие шаги, чтобы загрузить wget на Mac или Windows.

    Загрузка Wget на Mac

    Рекомендуемый способ установки wget на Mac — Homebrew.

    Сначала установите Homebrew.

     $ ruby ​​-e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
     

    Затем установите wget.

     $ варить установить wget
     

    Загрузите Wget для Windows

    Чтобы установить и настроить wget для Windows:

    1. Загрузите wget для Windows и установите пакет.
    2. Скопируйте файл wget.exe в папку C:\Windows\System32 .
    3. Откройте командная строка  (cmd.exe) и запустите wget , чтобы проверить, установлена ​​ли она.

    Вот короткое видео, показывающее, как загрузить wget на Windows 10.

    Основы Wget

    Давайте рассмотрим синтаксис wget, рассмотрим базовую структуру команд и разберемся с наиболее важными параметрами.

    Wget Синтаксис

    Wget имеет два аргумента: [OPTION] и [URL] .

     wget [ВАРИАНТ]... [URL]...
     
    • [ОПЦИЯ] указывает, что делать с аргументом [URL] , представленным после. Он имеет короткую и полную форму (например, -V и --версия делают одно и то же).
    • [URL] — это файл или каталог, который вы хотите загрузить.
    • Вы можете вызывать сразу несколько OPTIONS или URL-адресов.

    Просмотр команд WGET

    Чтобы просмотреть доступные команды wget, используйте wget -h .

    14 команд Wget для извлечения веб-страниц

    Вот 11 лучших вещей, которые вы можете сделать с помощью Wget:

    1. Загрузить один файл
    2. Загрузить файлы в определенный каталог
    3. Переименовать загруженные файлы
    4. Определить агент пользователя
    5. Извлечь как Googlebot Robots.txt при его изменении
    6. Преобразование ссылок на странице
    7. Зеркальное отображение одной страницы
    8. Извлечение нескольких URL-адресов из списка
    9. Ограничение скорости
    10. Количество попыток
    11. Использовать прокси
    12. Продолжить прерванные загрузки
    13. Извлечь весь веб-сайт

    Загрузить один файл с помощью Wget

     $ wget https://example. com/robots.txt
     

    Загрузка файла в определенный выходной каталог

    Здесь замените <ВАШ-ПУТЬ> на расположение выходного каталога, в котором вы хотите сохранить файл.

     $ wget -P <ВАШ-ПУТЬ> https://example.com/sitemap.xml
     

    Переименовать загруженный файл при извлечении с помощью Wget

    Чтобы вывести файл с другим именем:

     $ wget -O <ВАШЕ-ИМЯ-ФАЙЛА.html> https://example.com/file.html
     

    Определить агента пользователя в WGET

    Идентифицировать себя. Определите свой пользовательский агент.

     $ wget --user-agent=Chrome https://example.com/file.html
     

    Извлечь как Googlebot с помощью Wget

     $ wget --user-agent="Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/86.0.4240.198 Mobile Safari/537.36 (совместимый; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/path
     

    Используйте Wget для извлечения robots.

    txt при его изменении

    Давайте извлечем robots.txt, только если последняя версия на сервере более новая, чем локальная копия.

    При первом извлечении используйте -S , чтобы сохранить временные метки файла.

     $ wget -S https://example.com/robots.txt
     

    Позже, чтобы проверить, не изменился ли файл robots.txt, и загрузить его, если он изменился.

     $ wget -N https://example.com/robots.txt
     

    Команда Wget для преобразования ссылок на странице

    Преобразуйте ссылки в HTML, чтобы они по-прежнему работали в вашей локальной версии. (например: example.com/path от до localhost:8000/path )

     $ wget --convert-links https://example.com/path
     

    Зеркальное отображение одной веб-страницы в Wget

    Чтобы отразить одну веб-страницу, чтобы она могла работать на вашем локальном компьютере.

     $ wget -E -H -k -K -p --convert-links https://example. com/path
     

    Извлечение нескольких URL-адресов с помощью Wget

    Добавление всех URL-адресов в urls.txt 9файл 0337.

     https://example.com/1
    https://example.com/2
    https://example.com/3
     
     $ wget -i URL.txt
     

    Ограничение скорости извлечения в Wget

    Чтобы быть хорошим гражданином Интернета, важно не сканировать слишком быстро, используя --wait и --limit-rate .

    • --wait=1 : Подождите 1 секунду между извлечениями.
    • --limit-rate=10K : Ограничить скорость загрузки (байт в секунду)

    Определить количество повторных попыток в Wget

    Иногда происходит сбой интернет-соединения, иногда попытки его блокируются, иногда сервер не отвечает. Определите количество попыток с помощью функции -tries .

     $ wget -tries=10 https://example.com
     

    Как использовать прокси с Wget?

    Чтобы использовать прокси с Wget, нам нужно обновить файл ~/. wgetrc , расположенный по адресу /etc/wgetrc .

    Вы можете изменить ~/.wgetrc в вашем любимом текстовом редакторе

     $ vi ~/.wgetrc # VI
    $ код ~/.wgetrc # VSCode
     

    И добавьте эти строки:

     use_proxy = on
    http_proxy = http://имя пользователя:[электронная почта защищена]:порт/
    https_proxy = http://имя пользователя:[электронная почта защищена]:порт/
     

    Затем, выполнив любую команду wget, вы будете использовать прокси.

    Кроме того, вы можете использовать команду -e для запуска wget с прокси без изменения переменных среды.

     wget -e use_proxy=yes -e http_proxy=http://proxy.server.address:port/ https://example.com
     

    Как удалить прокси Wget?

    Если вы больше не хотите использовать прокси, обновите файл ~/.wgetrc , чтобы удалить добавленные вами строки, или просто используйте команду ниже, чтобы переопределить их:

     $ wget --noproxy
     

    Продолжить прерванную загрузку с помощью Wget

    Если процесс извлечения прерван, продолжите загрузку, перезапустив все извлечение с помощью команды -c .

     $ wget -c https://example.com
     

    Использование Wget для извлечения всего сайта (Действовать с осторожностью)

    Рекурсивный режим извлечения страницы и перехода по ссылкам на страницах для их извлечения.

    При этом извлекается весь ваш сайт, что может привести к дополнительной нагрузке на ваш сервер. Убедитесь, что вы знаете, что делаете, или что вы привлекаете разработчиков.

     $ wget --recursive --page-requisites --adjust-extension --span-hosts --wait=1 --limit-rate=10K --convert-links --restrict-file-names=windows -- no-clobber --domains example.com --no-parent example.com
     
    90 в конце файлов . html с расширением .html.
    Команда Что она делает
    – рекурсивная Следуйте ссылкам в документе. Максимальная глубина 5.
    --page-requisites Получить все активы (CSS/JS/images)
    --adjust-extension --adjust-extension
    --span-hosts Включите также необходимые активы из сторонних ресурсов.
    --wait=1 Подождите 1 секунду между извлечениями.
    --limit-rate=10K Ограничение скорости загрузки (байт в секунду)
    --convert-links Конвертируйте ссылки в локальной версии HTML, чтобы они по-прежнему работали.
    –restrict-file-names=windows Измените имена файлов для работы в Windows.
    – без затирания Перезаписать существующие файлы.
    –домены example.com Не переходить по ссылкам за пределами этого домена.
    –no-parent Никогда не подниматься в родительский каталог при рекурсивном извлечении inf используется для бесконечности.

    (Дополнительно) Запуск в режиме паука

     $ wget --spider -r https://example.com -o wget.log
     

    Wget VS Curl

    Сильной стороной Wget по сравнению с curl является его способность рекурсивно загружать . Это означает, что он загрузит документ, затем перейдет по ссылкам, а затем также загрузит эти документы.

    Используйте Wget с Python

    Wget — это строго командная строка, но есть пакет, который вы можете импортировать из пакета wget , который имитирует wget.

     импорт wget
    url = 'http://www.jcchouinard.com/robots.txt'
    имя файла = wget.download(url)
    имя файла
     

    Debug Wget Command Not Found

    Если вы получаете ошибку -bash: wget: command not found на Mac, Linux или Windows, это означает, что wget GNU либо не установлен, либо не работает должным образом.

    Вернитесь назад и убедитесь, что вы правильно установили wget.

    О WGET

    👑 WGET был разработан по HRVOJE NIKШич
    🏠 WGET.
    🛎️ Wget Supported Protocols HTTP(S), FTP(S)
    👛 Wget was Created In January 1996
    🍀 Installing Wget brew install wget
    📙 Команда WGET WGET [ Опция ]… [ URL ]…
    Detail Tailo Облизости WGET 5
    .

    Wget используется для загрузки файлов из Интернета без использования браузера. Он поддерживает протоколы HTTP, HTTPS и FTP, а также поиск через HTTP-прокси.

    Как работает Wget?

    Wget не интерактивен и позволяет загружать файлы из Интернета в фоновом режиме без использования браузера или пользовательского интерфейса. Он работает, переходя по ссылкам для создания локальных версий удаленных веб-сайтов, соблюдая при этом robots.txt.

    В чем разница между Wget и cURL?

    И Wget, и cURL — это утилиты командной строки, позволяющие передавать файлы из Интернета. Хотя Curl обычно предлагает больше функций, чем Wget, wget предоставляет такие функции, как рекурсивная загрузка.

    Можно ли использовать Wget с Python?

    Да, вы можете запустить wget get в Python, установив библиотеку wget с помощью $pip install wget

    Уважает ли Wget Robots.txt?

    Да, Wget соблюдает Стандарт исключения роботов ( /robots.txt )

    Является ли Wget бесплатным?

    Да, GNU Wget — это бесплатное программное обеспечение, которое каждый может использовать, распространять и/или изменять в соответствии с условиями Стандартной общественной лицензии GNU

    Что такое рекурсивная загрузка?

    Рекурсивная загрузка или рекурсивный поиск — это возможность загрузки документов, перехода по ссылкам внутри них и, наконец, загрузки этих документов до тех пор, пока не будут загружены все связанные документы или не будет достигнута максимальная заданная глубина.

    Как указать место загрузки в Wget?

    Используйте -P или –directory-prefix=PREFIX. Пример: $ wget -P /path

    Заключение

    Вот и все.

    Теперь вы знаете, как установить и использовать Wget в командной строке.

    Жан-Кристоф Шуинар

    SEO-стратег Tripadvisor, бывший Seek (Мельбурн, Австралия). Специализируется на техническом SEO. В поисках программного SEO для крупных организаций за счет использования Python, R и машинного обучения.

    Как использовать команду wget с примерами

    Что такое wget?

    Wget — это бесплатная утилита командной строки GNU, используемая для загрузки файлов из Интернета. Он извлекает файлы, используя протоколы HTTP, HTTPS и FTP.

    Служит для поддержки нестабильных и медленных сетевых подключений. Если во время загрузки возникает проблема с сетью, это полезное программное обеспечение может возобновить получение файлов, не начиная с нуля.

    Другим важным аспектом является его способность рекурсивных загрузок , с которыми он зеркалирует веб-сайты . Он передает части веб-сайта по ссылкам и структуре каталогов, создавая таким образом локальные версии веб-страниц.

    Команда wget также отличается высокой гибкостью и может использоваться в терминалах, сценариях и заданиях cron. Во время загрузки пользователю не нужно быть активным или входить в систему. Поскольку wget не интерактивен, он может работать независимо в фоновом режиме.

    Прочитать эту статью до узнайте, как использовать некоторые из наиболее распространенных команд wget .

    Как проверить, установлен ли wget?

    Скорее всего, пакет wget уже установлен в вашей системе, так как теперь он предустановлен в большинстве дистрибутивов Linux.

    Для проверки откройте окно терминала и введите:

     wget 

    Если у вас есть программное обеспечение wget, в выводе будет указано, что в команде wget отсутствует URL-адрес, как показано на рисунке ниже:

    Команда wget не найдена

    Если в выводе отображается Команда wget не найдена , вам необходимо загрузить и установить инструмент вручную. Ниже вы найдете инструкции по установке для Ubuntu/Debian, CentOS и Windows.

    Как установить wget на Ubuntu/Debian?

    Чтобы установить wget в выпусках Ubuntu или Debian, используйте команду:

     sudo apt-get install wget 

    Как установить wget в CentOS/Fedora?

    Чтобы установить wget на CentOS или Fedora, введите следующую команду:

     sudo yum install wget 

    Как установить wget в Windows?

    Чтобы установить и настроить wget для Windows:

    1. Загрузите wget для Windows и установите пакет.
    2. Добавьте путь к корзине wget в переменные среды (необязательно). Эта настройка устраняет необходимость указывать полные пути и значительно упрощает запуск wget из командной строки:
      • Откройте меню «Пуск» и найдите «среда».
      • Выберите Изменить системные переменные среды .
      • Выберите вкладку Advanced и нажмите кнопку Environment Variables .
      • Выберите переменную Path в разделе System Variables .
      • Нажмите Редактировать .
      • В поле Variable value добавьте путь к каталогу wget bin , которому предшествует точка с запятой (;) . Если он установлен по пути по умолчанию, добавьте C:Program Files (x86)GnuWin32bin .
    3. Откройте командную строку (cmd.exe) и начните выполнение команд wget .

    Введение в синтаксис wget

    Синтаксис wget имеет следующий шаблон:

     wget [опция][URL] 

    Каждый [опция] имеет свою длинную и короткую формы, которые удобно взаимозаменяемы. Этот атрибут указывает, что делать с следующим URL-адресом.

    [URL] — это адрес файла или каталога, который вы хотите загрузить.

    Примеры команд wget

    Загрузка файла из Интернета

    Чтобы загрузить файл из Интернета, используйте:

     wget [URL] 

    Например, для установки Tomcat 9 сначала необходимо загрузить пакет с wget с помощью команды:

     wget http://apache. cs.utah.edu/tomcat/tomcat-9/v9.0.20/bin/apache-tomcat-9.0.20.tar.gz 

    Загрузите файл и сохраните в Определенное имя

    Чтобы загрузить файл и сохранить его под указанным именем, выполните:

     wget -O [имя_файла] [URL] 

    Команда wget позволяет переименовывать файлы перед их загрузкой на компьютер.

    Например, вы можете установить Terraform. Чтобы загрузить пакет и переименовать его terraform.zip в , используйте следующую команду:

     wget -O terraform.zip https://releases.hashicorp.com/terraform/0.12.2/terraform_0.12.2_linux_amd64.zip 

    Скачать Файл в определенный каталог

    По умолчанию wget загружает файл в каталог, в котором находится пользователь. Чтобы сохранить файл в другом месте, добавьте -P опция:

     wget -P [нужный_каталог] [URL] 

    Например, при установке Git на Ubuntu вы можете загрузить пакет в каталог /temp с помощью команды:

     wget - P /temp https://github. com/git/git/archive/master.zip 

    Установить скорость загрузки

    Вы можете установить скорость загрузки при загрузке большого файла, чтобы он не использовал всю доступную полосу пропускания. Скорость загрузки определяется в килобайтах ( к ) и мегабайт ( м ). Используйте команду:

     wget --limit-rate [wanted_speed] [URL] 

    Например, если вы устанавливаете драйверы NVIDIA TESLA в Linux и хотите ограничить скорость загрузки до 1 мегабайта, используйте команду:

     wget --limit-rate 1m http://us.download.nvidia.com/tesla/396.37/nvidia-diag-driver-local-repo-ubuntu1710-396.37_1.0-1_amd64.deb 

    Продолжить загрузку после прерывания

    Вместо того, чтобы начинать с нуля, wget может возобновить загрузку с того места, где она была остановлена ​​до прерывания. Это полезная функция, если при загрузке файла происходит потеря связи.

     wget -c [URL] 

    Например, вы можете захотеть установить Mumble Server в Linux и внезапно потерять подключение к Интернету во время загрузки установочного файла. Чтобы продолжить загрузку, введите команду:

     wget -c https://github.com/mumble-voip/mumble/releases/download/1.2.19/murmur-static_x86-1.2.19.tar.bz2 

    Загрузка нескольких файлов

    wget позволяет загружать несколько файлов одновременно с помощью команды:

     wget -i [имя_файла] 

    Для этого выполните следующие действия:

    3

    1. Сначала создайте и откройте файл с именем MultipleDownloads.txt (или именем по вашему выбору) с помощью текстового редактора. В данном случае мы использовали Nano:

     nano MultipleDownloads.txt 

    2. В редакторе добавьте URL-адреса пакетов, которые вы хотите загрузить, по одному на строку.

    3. Сохранить и выйти из файла.

    4. Запустите следующую команду wget в окне терминала:

     wget -i MultipleDownloads.txt 

    Это предложит wget загрузить с каждого URL-адреса в текстовом файле.

    Загрузить веб-страницу (зеркало веб-страницы)

    С помощью wget вы можете загрузить из Интернета весь веб-сайт, используя параметр -m . Он предлагает wget создать зеркало указанной веб-страницы. Основная команда для этого:

     wget -m [URL] 

    Например:

     wget -m https://phoenixnap. com 

    Загрузка через FTP

    Для загрузки через FTP введите имя пользователя и пароль FTP-сервера, а затем ftp-адрес :

     wget --ftp-user=[ ftp_username] --ftp-password=[ftp_password] ftp://... 

    Например:

     wget --ftp-user=sofiftp --ftp-password=TopSecretPassword ftp://123.456.7890 

    Загрузить в фоновом режиме

    Вы можете загружать в фоновом режиме, полезная функция при работе с большими файлами:

     wget -b [URL] 

    Вы можете проверить статус загрузки с помощью команды:

     tail -f wget -log 

    Чтобы загрузить менеджер пакетов RPM в фоновом режиме, введите:

     wget -b http://some_website/sample_file. rpm 

    Увеличить количество повторных попыток

    Вы можете установить количество попыток wget загрузить файл после прерывания из-за плохой сети с помощью:

     wget --tries=[number_of_tries] [URL] 

    По умолчанию количество повторных попыток равно 20 .

    Вы также можете установить число в бесконечность со значениями 0 или inf , как в следующем примере:

     wget --tries=inf http://download.virtualbox.org/virtualbox/rpm/rhel /virtualbox.repo 

    Пропустить проверку сертификата

    По умолчанию wget проверяет наличие у сервера действительного сертификата SSL/TLS. Если он не идентифицирует подлинный сертификат, он отказывается от загрузки.

    Параметр --no-check-certificate используется, чтобы центры сертификации не проверяли сертификат сервера. Однако используйте его только в том случае, если вы уверены в надежности веб-сайта или не беспокоитесь о проблемах безопасности, которые он может вызвать.

     wget --no-check-certificate [URL] 

    Если http://enteratonerisk.com имеет ненадежный сертификат, но не нанесет вреда системе, вы можете загрузить его с помощью:

     wget --no- чек-сертификат http://enteratonerisk.com 

    Изменить агент пользователя

    При загрузке веб-страницы wget по существу эмулирует браузер. В некоторых случаях в выводе может быть указано , что у вас нет разрешения на доступ к серверу, или что соединение запрещено . Это может быть связано с тем, что веб-сайт блокирует клиентские браузеры с определенным «User-Agent».

    «User-Agent» — это поле заголовка, которое браузер отправляет на сервер, к которому он хочет получить доступ. Поэтому для загрузки с сервера, который отказывается подключаться, попробуйте модифицировать пользовательский агент.

    Найдите в сети базу данных всех пользовательских агентов, найдите нужный и выполните команду:

     wget --user-agent="User Agent Here" "[URL]" 

    или

     wget -U " User Agent Here" "[URL]" 

    Например, чтобы эмулировать Chrome (версия 74), вы должны изменить пользовательский агент с помощью команды:

     wget --user-agent=" Mozilla/5. 0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/74.0.3729.169 Safari/537.36" "https://phoenixnap.com" 

    Примечание: Убедитесь, что вы всегда загружаете из надежного источника, потому что wget может указывать на загрузку скрипта из вредоносного источника. Мы описываем эту и многие другие опасные команды в нашей статье 14 опасных команд терминала Linux.

    Заключение

    В этой статье рассказывается, почему wget является таким мощным инструментом для загрузки файлов через Интернет. Он также служит хорошим справочником для начинающих со списком из 12 основных 9 упражнений.0011 wget команды и примеры.

    Как загрузить, установить и использовать WGET в Windows 10

    Что делает WGET?

    После установки команда WGET позволяет загружать файлы по протоколам TCP/IP: FTP, HTTP и HTTPS.

    Если вы пользователь Linux или Mac, WGET либо уже включен в пакет, который вы используете, либо это тривиальный случай установки из любого репозитория, который вы предпочитаете, с помощью одной команды.

    К сожалению, в Windows все не так просто (хотя все равно очень просто!).

    Для запуска WGET необходимо скачать, разархивировать и установить вручную.

    Установите WGET в Windows 10

    Загрузите классическую 32-разрядную версию 1.14 здесь или перейдите к этой коллекции двоичных файлов Windows на Eternally Bored здесь, чтобы получить более поздние версии и более быстрые 64-разрядные сборки.

    Вот загружаемый zip-файл для 64-битной версии 1.2.

    Если вы хотите иметь возможность запускать WGET из любого каталога внутри командного терминала, вам необходимо узнать о переменных пути в Windows, чтобы решить, куда скопировать новый исполняемый файл. Если вы выполните следующие действия, вы сможете сделать WGET командой, которую можно запускать из любого каталога в командной строке.

    Запускать WGET откуда угодно

    Во-первых, нам нужно определить, куда копировать WGET.exe.

    После того, как вы загрузили wget.exe (или распаковали связанные zip-файлы с дистрибутивом), откройте командный терминал, введя «cmd» в меню поиска:

    Мы собираемся переместить wget. exe в каталог Windows, который будет разрешить запуск WGET из любого места.

    Во-первых, нам нужно выяснить, какой это должен быть каталог. Тип:

    путь

    Вы должны увидеть что-то вроде этого:

    Благодаря переменной среды «Путь» мы знаем, что нам нужно скопировать wget.exe в папку c:\Windows\System32 .

    Скопируйте WGET.exe в каталог System32 и перезапустите командную строку.

    Перезапустите командный терминал и проверьте WGET

    Если вы хотите проверить правильность работы WGET, перезапустите терминал и введите: появится файл справки со всеми доступными командами.

    Итак, вы должны увидеть что-то вроде этого:

    Теперь пора начинать.

    Начало работы с WGET

    Поскольку мы будем работать в командной строке, давайте создадим каталог загрузки только для загрузок WGET.

    Чтобы создать каталог, мы будем использовать команду md («создать каталог»).

    Перейдите в приглашение c:/ и введите:

    md wgetdown

    Затем перейдите в новый каталог и введите «dir», чтобы увидеть (пустое) содержимое.

    Теперь вы готовы к загрузке.

    Примеры команд

    После того, как вы установили WGET и создали новый каталог, все, что вам нужно сделать, это изучить некоторые тонкости аргументов WGET, чтобы убедиться, что вы получаете то, что вам нужно.

    Руководство Gnu.org WGET — особенно полезный ресурс для тех, кто хочет действительно изучить детали.

    Если вам нужны быстрые команды, читайте дальше. Я перечислил набор инструкций для WGET, чтобы рекурсивно отразить ваш сайт, загрузить все изображения, CSS и JavaScript, локализовать все URL-адреса (чтобы сайт работал на вашем локальном компьютере) и сохранить все страницы как .html. файл.

    Чтобы отразить ваш сайт, выполните эту команду:

    wget -r https://www.yoursite.com

    Чтобы отразить сайт и локализовать все URL-адреса:

    wget --convert -links -r https://www.yoursite.com

    Чтобы сделать полное автономное зеркало сайта:

    wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://www. yoursite.com

    Чтобы отразить сайт и сохранить файлы как .html:

    wget --html-extension -r https://www.yoursite.com

    Чтобы скачать все jpg изображения с сайта:

    wget -A "*.jpg" -r https: //www.yoursite.com

    Дополнительные сведения об операциях, связанных с типами файлов, см. в этой полезной теме на Stack.

    Установите другой пользовательский агент:

    Некоторые веб-серверы настроены на отказ в использовании пользовательского агента WGET по умолчанию — по очевидным причинам экономии полосы пропускания. Вы можете попробовать изменить свой пользовательский агент, чтобы обойти это. Например, выдавая себя за Googlebot:

    wget --user-agent="Googlebot/2.1 (+https://www.googlebot.com/bot.html)" -r https://www.yoursite.com

    Wget "паук" mode:

    Wget может извлекать страницы без их сохранения, что может быть полезно, если вы ищете неработающие ссылки на веб-сайте. Не забудьте включить рекурсивный режим, который позволяет wget сканировать документ и искать ссылки для перехода.

    wget --spider -r https://www.yoursite.com

    Вы также можете сохранить это в файл журнала, добавив эту опцию:

    wget --spider -r https://www.yoursite.com -o wget.log

    Наслаждайтесь использованием этого мощного инструмента, и я надеюсь вам понравился мой урок. Комментарии приветствуются!

    Как использовать Wget для загрузки файлов в Linux

    GNU/Linux имеет множество практических применений. Вы можете легко обрабатывать все свои транзакции через терминал. Если вы читали инструкции по Linux или смотрели видео, вы наверняка встречали команду wget. Он очень прост в использовании и работает, принимая параметры.

    Например, если вы знаете прямую ссылку на скачивание файла, который хотите скачать, то можно скачать этот файл из консоли с помощью команды wget без использования каких-либо дополнительных программ и браузера.

    Вот все, что вам нужно знать о команде wget, включая несколько практических примеров.

    Это одно из основных применений команды wget. Цель здесь — загрузить один файл в систему, используя известную целевую ссылку. Для этого используется команда wget:

     wget https://download.aircrack-ng.org/aircrack-ng-1.7.tar.gz 

    Как видно на изображении, вы можете скачать файл с помощью команды wget и найти, где он загружен с помощью ls -l .

    Пакетная загрузка файлов

    Можно одновременно загрузить несколько файлов по ссылкам, сохраненным в текстовом документе, с помощью параметра -i команды wget.

    Например, вы хотите загрузить все PDF-файлы по определенному адресу одновременно. Для этого вам необходимо сохранить ссылки для скачивания этих PDF-файлов в текстовом документе. Вы можете сделать это, создав файл с именем my_pdfs с помощью команды vim my_pdfs и добавив в нее необходимые ссылки.

    В качестве примера загрузим документацию Google Cloud в формате PDF. Сохраните ссылки на PDF-файлы в файл и используйте следующую команду для их загрузки:

     wget -i my_pdfs 

    После этого шага вы можете увидеть загруженные файлы, выполнив:

     лс -л 

    Загрузка с указанием пользовательского местоположения

    Если вы хотите, чтобы файл загружался в специальное место в вашей системе, вам нужно использовать -P флаг с командой:

     wget -P /path/to/dir ссылка на файл 

    Вы можете увидеть это в примере ниже. Точно так же попробуйте скачать файл aircrack-ng и на этот раз укажите адрес. Например, вы можете создать каталог Myfile для хранения загруженного файла.

     wget -P Мой файл https://download.aircrack-ng.org/aircrack-ng-1.7.tar.gz 

    Чтобы загрузить файл в нужное место, необходимо указать полный путь к каталогу. Вы также можете запустить ls -l команда позже, чтобы убедиться, что ваш файл действительно находится там, где вы хотите.

    Загрузка с указанием пользовательского имени файла

    С помощью параметра wget -O вы можете назвать файл, который хотите загрузить, и загрузить его в любое место. Чтобы избежать путаницы, создайте новую папку oParameter и попробуйте загрузить файл aircrack-ng в этот каталог, дав ему нужное имя, в данном случае aircrack .

     wget -O oParameter/aircrack https://download.aircrack-ng.org/aircrack-ng-1.7.tar.gz 

    После того, как Wget завершит загрузку файла с именем «aircrack» и сохранит его в каталоге /oParameter , вы можете подтвердить это с помощью команды ls -l .

    Кроме того, если вы хотите изменить имя загруженного файла без изменения его местоположения, достаточно указать новое имя файла без указания местоположения. Например, вы можете изменить имя загружаемого файла с помощью команды wget new_name file_link 9.Команда 0012. Поскольку вы не укажете какое-либо местоположение, он автоматически попадет в ваш текущий рабочий каталог.

     wget мое имя файла https://download.aircrack-ng.org/aircrack-ng-1.7.tar.gz 

    Возобновление прерванных загрузок с помощью Wget

    Неудачная загрузка — одна из самых распространенных проблем при загрузке больших файлов. В таких случаях есть возможность возобновить загрузку и получить остаток файла.

    Вы можете использовать параметр -c с командой wget для повторной загрузки прерванного файла. Таким образом, в результате использования wget -c download_link , если файл загружен не полностью, у вас есть возможность продолжить с того места, где он был остановлен, вместо загрузки файла с самого начала. Это очень удобно, особенно для больших файлов.

    Чтобы лучше понять это, сначала создайте папку с именем Resume на рабочем столе. Получите доступ к этой папке с помощью терминала с помощью команды cd и попробуйте загрузить файл aircrack, который вы использовали в других примерах здесь. Затем прервите эту загрузку с помощью Ctrl + Z Комбинация клавиш.

    Как видите, загружено 19 процентов файла, что составляет 1645946 байт. Теперь аналогичным образом используйте параметр -c и попробуйте продолжить загрузку.

    Как видите, загрузка завершена. Таким образом, нет необходимости удалять файл и загружать его заново с самого начала. Это был всего лишь небольшой файл для примера. Но для очень больших файлов вы можете сэкономить время, используя Wget.

    Ограничение скорости загрузки Wget

    Если хотите, вы можете ограничить скорость скачивания файла, который собираетесь скачивать. Для этого ограничения вы можете использовать следующую команду:

     wget --limit-rate 300K https://download.aircrack-ng.org/aircrack-ng-1.7.tar.gz 

    Эта команда ограничит скорость загрузки до 300 КБ в секунду.

    Вы можете попробовать разные скорости, изменив значение 300K.

    Загрузка файлов в фоновом режиме

    Вы можете загрузить файл в фоновом режиме с помощью -b параметр.

    Добавить комментарий

    Ваш адрес email не будет опубликован.