Куда wget сохраняет по умолчанию – Я использовал wget для загрузки html-файлов, где хранятся изображения в сохраненном файле? Ubuntu Linux

Содержание

Утилита wget на windows — Установка и настройка! » BORDYSHEV.RU

Приветствую тебя на моем блоге bordyshev.ru! В этой статье мы разберем как установить программу wget на windows и настроить ее. Итак садись поудобнее, мы начинаем)

Содержание статьи

Скачиваем wget для windows

Для начала чтобы установить wget на виндовс нам нужно его скачать, не так ли? Переходим по этой ссылке и видим что все написано по анг. кто незнает куда жать специально для вас я сделал скриншот.

Download setup wgetDownload setup wget

Установка wget на windows

После загрузки утилиты wget запустите exe-шник. В самом установщике жмите всегда далее, думаю не промахнетесь:) По умолчанию путь установки программы будет такой — C:\Program Files (x86)\GnuWin32

Запуск утилиты wget

Самое время запускать и тестить ее!) Для этого нам понадобится консоль, вызвать ее можно нажав кнопки на клавиатуре «Win+R» и ввести в окошечке команду «cmd» и перед вами должно открыться нужная нам консоль. В ней мы прописываем вот эту строчку:

path C:\Program Files (x86)\GnuWin32\bin и жмем «Enter»

Или же находим на своем windows саму утилиту wget по этому же адресу и мышкой переносим этот файлик в консоль и жмем «Enter»

Команды wget для windows

Давайте откроем небольшую инструкцию под названием — как скачать сайт целиком на windows!

Я уже писал ранее статью о командах wget и повторю здесь самые основные:

wget -r -k -l 7 -p -E -nc http://site.com/ — скачивает сайт целиком и полностью

-rуказывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы.
-kиспользуется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить на локальном компьютере (в автономном режиме).
-pуказывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.).
-lопределяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5, в примере мы установили 7). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться», скачивая новые страницы. Чтобы этого не произошло можно использовать параметр -l.
-Eдобавлять к загруженным файлам расширение .html.
-ncпри использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз.

Да кстати, иногда wget может ругаться на некоторые сертификаты(самоподписанные например) для этого существует команда:
—no-check-certificate

Куда wget сохраняет файлы в windows

Стандартный путь до скаченных файлов такой — C:\Users\Username\site.com

Ну что же, про мощь и возможности утилиты wget можно рассказывать долго и упорно. Это действительно отличная программа для скачивания файлов и даже полностью сайтов. Сам ей регулярно пользуюсь, и вам советую в ней разобраться!) На этом моя небольшая статья заканчивается, если возникнут вопросы задавайте, буду рад на них ответить! До следующей статьи.

лев охраняет мои записи

Команда wget Linux | Losst

Работая в консоли, нам достаточно часто приходится взаимодействовать с сетью, например скачивать файлы или целые интернет страницы. Если интернет страницы мы скачиваем довольно редко, то с файлами дело обстоит совсем по другому. Это могут быть различные скрипты, установочные пакеты, программы, ключи, списки пакетов и многое другое. Скачать файл в консоли Linux можно с помощью утилиты wget. Ее мы и рассмотрим в этой статье.

Это очень мощная утилита, способная работать по протоколам HTTP, HTTPS и FTP. Кроме того поддерживается работа через прокси. Команда wget linux, может выполнять загрузку файлов даже в фоновом режиме — без участия пользователя, в отличии от большинства веб браузеров.

Кроме скачивания файлов, есть возможность сохранять веб страницы или даже целые веб-сайты, благодаря функции открытия ссылок на страницах. Такую возможность еще называют рекурсивной загрузкой. Это все мы и рассмотрим в сегодняшней статье, но начнем, как всегда, с синтаксиса и основных опций утилиты.

Содержание статьи:

Синтаксис Wget

Команда wget linux имеет очень простой синтаксис:

$ wget опции аддресс_ссылки

Можно указать не один URL для загрузки, а сразу несколько. Опции указывать не обязательно, но в большинстве случаев они используются для настройки параметров загрузки.

Опции

Синтаксис опций очень свободный. У каждой опции, как правило есть как длинное, так и короткое имя. Их можно записывать как до URL, так и после. Между опцией и ее значением не обязательно ставить пробел, например вы можете написать -o log или -olog. Эти значения эквивалентны. Также если у опций нет параметров, не обязательно начинать каждую с дефиса, можно записать их все вместе: -drc и -d -r -c. Эти параметры wget тоже эквивалентны.

А теперь давайте перейдем к списку опций. У wget слишком много опций, мы разберем только основные.

  • -V (—version) — вывести версию программы
  • -h (—help) — вывести справку
  • -b (—background) — работать в фоновом режиме
  • -o файл (—out-file) — указать лог файл
  • -d (—debug) — включить режим отладки
  • -v (—verbose) — выводить максимум информации о работе утилиты
  • -q (—quiet) — выводить минимум информации о работе
  • -i файл (—input-file) — прочитать URL из файла
  • —force-html — читать файл указанный в предыдущем параметре как html
  • -t (—tries) — количество попыток подключения к серверу
  • -O файл (—output-document) — файл в который будут сохранены полученные данные
  • -с (—continue) — продолжить ранее прерванную загрузку
  • -S (—server-response) — вывести ответ сервера
  • —spider — проверить работоспособность URL
  • -T время (—timeout) — таймаут подключения к серверу
  • —limit-rate — ограничить скорость загрузки
  • -w (—wait) — интервал между запросами
  • -Q (—quota) — максимальный размер загрузки
  • -4 (—inet4only) — использовать протокол ipv4
  • -6 (—inet6only) — использовать протокол ipv6
  • -U (—user-agent)— строка USER AGENT отправляемая серверу
  • -r (—recursive)- рекурсивная работа утилиты
  • -l (—level) — глубина при рекурсивном сканировании
  • -k (—convert-links) — конвертировать ссылки в локальные при загрузке страниц
  • -P (—directory-prefix) — каталог, в который будут загружаться файлы
  • -m (—mirror) — скачать сайт на локальную машину
  • -p (—page-requisites) — во время загрузки сайта скачивать все необходимые ресурсы

Кончено это не все ключи wget, но здесь и так слишком много теории, теперь давайте перейдем к практике. Примеры wget намного интереснее.

Использование wget Linux

Команда wget linux, обычно поставляется по умолчанию в большинстве дистрибутивов, но если нет, ее можно очень просто установить. Например установка с помощью yum будет выглядеть следующим образом:

yum -y install wget

А в дистрибутивах основанных на Debian:

sudo apt install wget

Теперь перейдем непосредственно к примерам:

1. Загрузка файла

Команда wget linux скачает один файл и сохранит его в текущей директории. Во время загрузки мы увидим прогресс, размер файла, дату его последнего изменения, а также скорость загрузки:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

wget1

2. Сохранить файл с другим именем

Опция -О позволяет задать имя сохраняемому файлу, например, скачать файл wget с именем wget.zip:

wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

wget2

3. Скачать несколько файлов

Вы можете скачать несколько файлов одной командой даже по разным протоколам, просто указав их URL:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig

wget3

4. Взять URL из файла

Вы можете сохранить несколько URL в файл, а затем загрузить их все, передав файл опции -i. Например создадим файл tmp.txt, со ссылками для загрузки wget, а затем скачаем его:

wget -i /wget/tmp.txt

wget4

5. Продолжить загрузку

Утилита wget linux рассчитана на работу в медленных и нестабильных сетях. Поэтому если вы загружали большой файл, и во время загрузки было потеряно соединение, то вы можете скачать файл wget с помощью опции -c.

wget -c http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

wget5

6. Загрузка файлов в фоне

Опция -b заставляет программу работать в фоновом режиме, весь вывод будет записан в лог файл, для настройки лог файла используются специальные ключи wget:

wget -b -o ~/wget.log http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

wget6

7. Ограничение скорости загрузки

Команда wget linux позволяет не только продолжать загрузку файлов, но и ограничивать скорость загрузки. Для этого есть опция —limit-rate. Например ограничим скорость до 100 килобит:

wget --limit-rate=100k ftp://ftp.iinet.net.au/debian/debian-cd/8.4.0/amd64/iso-dvd/debian-8.4.0-amd64-DVD-1.iso

wget7

Здесь доступны, как и в других подобных командах индексы для указания скорости — k — килобит, m — мегабит, g — гигабит, и так далее.

8. Подключение по логину и паролю

Некоторые ресурсы требуют аутентификации, для загрузки их файлов. С помощью опций —http-user=username, –http-password=password и —ftp-user=username, —ftp-password=password вы можете задать имя пользователя и пароль для HTTP или FTP ресурсов.

wget --http-user=narad --http-password=password http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso

Или:

wget --ftp-user=narad --ftp-password=password ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386-DVD-1.iso

9. Загрузить и выполнить

Вы, наверное, уже видели такие команды. wget позволяет сразу же выполнять скачанные скрипты:

wget -O - http://сайт/скрипт.sh | bash

Если опции -O не передать аргументов, то скачанный файл будет выведен в стандартный вывод, затем мы его можем перенаправить с интерпретатор bash, как показано выше.

10. Сохранить файл в папке

По умолчанию wget сохраняет файл в текущую папку, но это поведение очень легко изменить с помощью опции -P:

wget -P ~/Downloads/ http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

wget8

11. Передать информацию о браузере

Некоторые сайты фильтруют ботов, но мы можем передать фальшивую информацию о нашем браузере (user-agent) и страницу с которой мы пришли (http-referer).

wget ‐‐refer=http://google.com ‐‐user-agent=”Mozilla/5.0 Firefox/4.0.1″ //losst.ru

wget7

12. Количество попыток загрузки

По умолчанию wget пытается повторить загрузку 20 раз, перед тем как завершить работу с ошибкой. Количество раз можно изменить с помощью опции —tries:

wget --tries=75 http://mirror.nbrc.ac.in/centos/7.0.1406/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso

13. Квота загрузки

Если вам доступно только ограниченное количество трафика, вы можете указать утилите, какое количество информации можно скачивать, например разрешим скачать файлов из списка только на десять мегабайт:

wget -Q10m -i download-list.txt

Здесь работают те же индексы для указания размера — k, m, g, и т д.

14. Скачать сайт

Wget позволяет не только скачивать одиночные файлы, но и целые сайты, чтобы вы могли их потом просматривать в офлайне. Использование wget, чтобы скачать сайт в linux выглядит вот так:

wget --mirror -p --convert-links -P ./<Local-Folder> аддресс_сайт

Выводы

Вот и все, теперь использование wget не будет для вас таким непонятным. Если я упустил что-то важное о команде или у вас остались вопросы, спрашивайте в комментариях!

Оцените статью:

wget7 Загрузка…

Куда wget сохраняет файлы?

Вопрос знатокам: как wget указать путь, куда скачать файлы && выключить компьютер

С уважением, gmail .ru

Лучшие ответы

Александр Рыбин:

Я бы написал скрипт в 3 строки

#!/bin/bash
cd /путь/куда/качать
wget [ссылка заблокирована по решению администрации проекта]
shutdown -P now

И запустил бы его с правами root-пользователя.

sudo sh имя-скрипта. sh

Новгородов:

используйте опцию -Р или —directory-prefix

Видео-ответ

Это видео поможет разобраться

Ответы знатоков

Анти Советчик:

.opennet /man.shtml?topic=wget&category=1&russian=0

Николай Колосов:

Если набор ссылок хранится в виде html, то wget идеально подойдет, за раз все скачает

Звёздный Лорд:

Открываешь страницу по ссылке. Жмёшь Ctrl+S или заходишь «Файл — Сохранить как…». Жмёшь «Сохранить»

Аркадий Филатов:

Был синий экран потом черный и попросил запус3 средства востановления или обычная загрузка выбрал обычную и энтер

Андрей Беседин:

Филиппов Александр:

Попробуй через DownloadMaster

Игорь Федун:

Открываешь страницу по ссылке. Жмёшь Ctrl+S или заходишь «Файл — Сохранить как…». Жмёшь «Сохранить»

Izquedra Derecha:

teleport pro лучшее решение для выкачки страниц и целых сайтов.

Александр Knopochnik:

Deko Neror:

DownloadMaster в помощь

BIG BRO:

esox:

Полный «фарш» для сохранения и просмотра web-страниц и сайтов offline—>
soft.mydiv /win/cname7/cname10/

Deportivo:

Здравствуйте.
gnuwin32.sourceforge /packages/wget записываешь адреса страниц в обычный текстовый файл. Например, sites.txt
Запускаешь в консоли
wget -i sites.txt -p -P c:/путь_к_папке_сохранения
где -i — команда для указания файла с которого будут браться ссылки (sites.txt)
-p — команда указывающая закачать все файлы, которые необходимы для показа страницы (таблицы стилей, рисунки, музыка, видео и т. п. — можно не применять)
-P — команда указания в какую папку загружать файлы (например, c:/user/Сергей/Desktop — файлы будут загружены на рабочий стол пользователя Сергей.

-:

Флешка-ключ.
Тыц: pctoall /zashhita-i-bezopasnost/zashhita-informacii/fleshka-klyuch-blokirovka-kompyutera-fleshkoj

Ixofi:

Если набор ссылок хранится в виде html, то wget идеально подойдет, за раз все скачает

Никита Толмачев:

егор веретенников:

Открываешь страницу по ссылке. Жмёшь Ctrl+S или заходишь «Файл — Сохранить как…». Жмёшь «Сохранить. или SiteSputnik Pro

Vyacheslav Lykashonok:

Василий Колисецкий:

Да, тоже так считаю

Также спрашивают:

Как пользоваться Wget в Ubuntu 18.04 и других Linux-системах

В этой статье будет рассмотрен процесс использования консольной утилиты wget с наиболее распространенными опциями.

Что такое Wget

Wget – консольная программа для загрузки файлов из интернета, позволяющая скачивать файлы по протоколам HTTP, HTTPS и FTP.

Большое количество опций этой утилиты позволяет скачивать несколько файлов одновременно, возобновлять загрузки, ограничивать скорость скачивания, загружать файлы в фоновом режиме, делать оффлайновое зеркало страниц какого-либо сайта и многое другое.

Установка Wget

В большинстве дистрибутивов Linux пакет wget предустановлен по умолчанию.

Но если wget отсутствует в системе, то его можно загрузить при помощи менеджера пакетов.

Установка Wget в Ubuntu и Debian

sudo apt-get install wget

Установка Wget в CentOS и Fedora

sudo yum install wget

Синтаксис команд для Wget

Перед началом использования консольной утилиты wget стоит ознакомиться с используемым ей форматом команд.

В общем случае синтаксис команд для wget выглядит так:

wget [options] [url]

где “options” – дополнительные опции, а “url” – ссылка на файл или директорию, которую вы хотите скачать.

Как скачать файл при помощи Wget

Простейший вариант использования wget – скачивание файла в текущую директорию без всяких опций.

В качестве примера рассмотрим команду для скачивания архива с ядром Linux:

wget https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.2.tar.xz

При ее использовании wget определяет сопоставляет домен с IP-адресом сервера, подключается к этому серверу и начинает загрузку данных.

В процессе загрузки в консоли будет отображаться строка состояния с именем файла и его размером, скоростью скачивания и примерным подсчетом времени до окончания загрузки. После окончания загрузки скачанный файл можно будет найти в той директории, которая была активна на момент ввода команды.

Чтобы не выводить всю эту информацию в консоль можно запустить wget с опцией -q:

wget -q https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.2.tar.xz

А если файл с таким именем уже существует, то wget сохранит его копию, добавив после оригинального названия цифровой номер.

Как сохранить скачиваемый файл под другим именем

Для того, чтобы автоматически сохранить скачиваемый файл под другим названием можно воспользоваться опцией -O, указав после нее желаемое имя файла:

wget -O latest-hugo.zip https://github.com/gohugoio/hugo/archive/master.zip

В данном примере с GitHub скачивается архив с движком Hugo (master.zip) и сохраняется на компьютере под названием latest-hugo.zip

Как скачать файл в определенную директорию

По умолчанию wget сохраняет скачиваемый файл в текущую активную директорию. Чтобы сохранить файл по другому пути можно воспользоваться опцией -P, указав после нее место для сохранения:

wget -P /mnt/iso http://mirrors.mit.edu/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

В данном примере файл с образом дистрибутива CentOS 7 будет скачан в директорию /mnt/iso/.

Как ограничить скорость скачивания

Для ограничения скорости загрузки можно воспользоваться опцией –limit-rate (обратите внимание: два дефиса в начале), указав предел допустимой скорости в байтах, килобайтах (суффикс k) или мегабайтах (суффикс m):

wget --limit-rate=1m https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz
wget --limit-rate=1024k https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz

В вышеприведенных примерах скорость загрузки будет ограничена до 1 мегабайта или 1024 килобайт в секунду.

Как возобновить загрузку

Если при помощи wget загружался крупный файл, но соединение прервалось, то можно продолжить его загрузку при помощи опции -c вместо того, чтобы начинать загружать с самого начала:

wget -c http://releases.ubuntu.com/18.04/ubuntu-18.04-live-server-amd64.iso

Однако, при этом необходимо чтобы сам сервер поддерживал возможность возобновления загрузки. В ином случае wget начнет загрузку с начала и перезапишет имеющийся файл.

Как скачивать файлы в фоне

Чтобы загрузить файл в фоновом режиме можно воспользоваться опцией -b:

wget -b https://download.opensuse.org/tumbleweed/iso/openSUSE-Tumbleweed-DVD-x86_64-Current.iso

Это полезно если вы загружаете какой-то крупный файл и во время его загрузки хотите продолжать пользоваться консолью.

Как изменить User-Agent при скачивании

В некоторых случаях удаленный сервер может блокировать доступ для нестандартных User-Agent, используемых ботами или утилитами вроде wget.

Как быть в таких ситуациях? Эмулировать User-Agent какого-нибудь распространенного браузера при помощи опции -U:

wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0" http://wget-forbidden.com/

В примере выше wget будет скачивать содержимое сайта http://wget-forbidden.com/, эмулируя браузер Firefox 60.

Как скачивать сразу несколько файлов

Для одновременной загрузки нескольких файлов можно воспользоваться опцией -i и задать путь к текстовому файлу со списку URL для загрузки:

wget -i linux-distros.txt

Содержимое файла linux-distros.txt может выглядеть следующим образом:

http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso
https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
https://download.fedoraproject.org/pub/fedora/linux/releases/28/Server/x86_64/iso/Fedora-Server-dvd-x86_64-28-1.1.iso

Каждый URL в списке должен начинаться с новой строки.

Как скачивать файлы по FTP

Для скачивания файлов с требующего авторизации FTP-сервера нужно указать свой логин и пароль:

wget --ftp-user=ВАШ_ЛОГИН --ftp-password=ВАШ_ПАРОЛЬ ftp://ftp.example.com/filename.tar.gz

Как скачать сайт при помощи Wget

Для создания зеркала веб-сайта можно использовать wget с опцией -m. При этом будет создана локальная копия вебсайта со всем его содержимым, включая картинки:

wget -m https://example.com

Если скачиваемый веб-сайт планируется использовать для локального просмотра, то стоит добавить несколько дополнительных аргументов:

wget -m -k -p https://example.com

Опция -k нужна для того, чтобы wget автоматически сконвертировал все гиперссылки в загружаемых HTML-файлах для их работоспособности оффлайн. А опция -p включает в список объектов для скачивания необходимые для правильного отображения сайта ресурсы, вроде скриптов (JavaScript) и таблиц стилей CSS.

Как пропустить проверку SSL-сертификата

Если нужно скачать файл по HTTPS-протоколу с ресурса, обладающего некорректным SSL-сертификатом (распространенный пример – владелец поставил вручную бесплатный сертификат от Let’s Encrypt и забыл продлить его спустя три месяца), то можно воспользоваться опцией –no-check-certificate (опять-таки, два дефиса в начале):

wget --no-check-certificate https://invalid-ssl-website.com

Заключение

Несмотря на кажущуюся незамысловатость, wget – довольно навороченная утилита.

В данной статье были рассмотрены наиболее распространенные сценарии ее использования для скачивания нескольких файлов одновременно, возобновления сбойных загрузок и созданий локальных зеркал веб-сайтов.

Если этого недостаточно – можно ознакомиться с официальным руководством по Wget.

Изучаем команду wget на 12 примерах / RUVDS.com corporate blog / Habr

Все мы иногда качаем файлы из интернета. Если для этого использовать программы с графическим интерфейсом, то всё оказывается предельно просто. Однако, при работе в командной строке Linux дело несколько усложняется. Особенно — для тех, кто не знаком с подходящими инструментами. Один из таких инструментов — чрезвычайно мощная утилита wget, которая подходит для выполнения всех видов загрузок. Предлагаем вашему вниманию двенадцать примеров, разобрав которые, можно освоить основные возможности wget.



1. Загрузка одного файла


Если всё, что нужно — это загрузка одного файла, нам подойдёт следующая конструкция:
$ wget https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

После ввода такой команды начнётся скачивание Nagios Core. В ходе этого процесса можно будет видеть данные о загрузке, например — сведения о том, какой объём данных уже загружен, текущую скорость, и то, сколько времени осталось до конца загрузки.

2. Загрузка файла и сохранение его с новым именем


Если мы хотим сохранить загруженный файл под именем, отличающимся от его исходного имени, нам пригодится команда wget с параметром -O:
$ wget -O nagios_latest https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

При таком подходе загруженный файл будет сохранён под именем nagios_latest.

3. Ограничение скорости загрузки файлов


При необходимости скорость загрузки файлов с помощью wget можно ограничить. В результате эта операция не будет занимать весь доступный канал передачи данных и не повлияет на другие процессы, связанные с сетью. Сделать это можно, используя параметр --limit-rate и указав ограничение скорости, выраженное в байтах (в виде обычного числа), килобайтах (добавив после числа K) или мегабайтах (M) в секунду:
$ wget ––limit-rate=500K https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

Здесь задано ограничение скорости загрузки, равное 500 Кб/с.

4. Завершение прерванной загрузки


Если в ходе загрузки файлов эта операция была прервана, можно возобновить загрузку с помощью параметра -c команды wget:
$ wget –c https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

Если этот параметр не использовать, то загрузка недокачанного файла начнётся сначала.

5. Фоновая загрузка файла


Если вы загружаете файл огромного размера и хотите выполнять эту операцию в фоне, сделать это можно, используя параметр -b:
$ wget –b https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

6. Загрузка нескольких файлов


Если имеется список URL файлов, которые надо загрузить, но вам не хочется вручную запускать загрузки этих файлов, можно использовать параметр -I. Однако, перед тем, как начинать загрузку, нужно создать файл, содержащий все адреса. Например, сделать это можно такой командой:
$ vi url.txt

В этот файл нужно поместить адреса — по одному в каждой строке. Далее, осталось лишь запустить wget, передав этой утилите только что созданный файл со списком загрузок:
$ wget –I url.txt

Выполнение этой команды приведёт к поочерёдной загрузке всех файлов из списка.

7. Увеличение общего числа попыток загрузки файла


Для того, чтобы настроить число повторных попыток загрузки файла, можно использовать параметр --tries:
wget ––tries=100 https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

8. Загрузка файлов с FTP-сервера


Команда загрузки файла с анонимного FTP-сервера с помощью wget выглядит так:
$ wget FTP-URL

Если для доступа к файлу требуются имя пользователя и пароль, то команда примет такой вид:
$ wget –-ftp-user=dan ––ftp-password=********* FTP-URL

9. Создание локальной копии веб-сайта


Если нужно загрузить содержимое целого веб-сайта, сделать это можно, воспользовавшись параметром --mirror:
$ wget --mirror -p --convert-links -P /home/dan xyz.com

Обратите внимание на дополнительные параметры командной строки:
  • -p: производится загрузка всех файлов, необходимых для корректного отображения HTML-страниц.
  • --convert-links: ссылки в документах будут преобразованы для целей локального просмотра сайта.
  • -P /home/dan: материалы будут сохранены в папку /home/dan.

10. Загрузка с сайта только файлов определённого типа


Для того, чтобы загрузить с сайта только файлы определённого типа, можно воспользоваться параметрами -r -A:
$ wget -r -A.txt Website_url

11. Пропуск файлов определённого типа


Если вы хотите скопировать целый веб-сайт, но при этом вам не нужны файлы определённого типа, отключить их загрузку можно с помощью параметра --reject:
$ wget --reject=png Website_url

12. Загрузка с использованием собственного .log-файла


Для того, чтобы загрузить файл и использовать при этом собственный .log-файл, воспользуйтесь параметром -o и укажите имя файла журнала:
$ wget -o wgetfile.log https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

Итоги


Wget — довольно простая в использовании, но весьма полезная утилита Linux. И, на самом деле то, о чём мы рассказали — лишь малая часть того, что она умеет. Надеемся, этот обзор поможет тем, кто не был знаком с wget, оценить эту программу, и, возможно, включить её в свой повседневный арсенал инструментов командной строки.

Уважаемые читатели! Пользуетесь ли вы инструментами командной строки Linux для загрузки файлов? Если да — просим о них рассказать.

Где на моем компьютере Wget загрузил это изображение?

Я использую Windows XP. Я только что загрузил wget и поместил его в папку C:\Windows .

Затем я запустил эту командную строку (пытаясь загрузить изображение с веб-сайта):

wget -r -A ".jpg,.gif,.png" http://somesite'sURL/lang2.JPG

В течение нескольких секунд появилось черное DOS-окно, показывающее, что происходит какой-то процесс. Я предполагаю, что это был процесс загрузки. Я видел, как растут процентные числа. Как только он достиг 100%, черное окно исчезло, и теперь я не могу найти, где скачано изображение. Я просмотрел папку C:\Windows , но не нашел lang2.JPG . Где это должно быть? Р>

Я обнаружил, что создана папка , и загружается файл , но затем он удаляется, так как он должен быть отклонен. Почему это должно быть отклонено, я не знаю. Как вы думаете, есть способ «поймать» его на моем компьютере, прежде чем он будет отклонен? И почему он все еще загружается первым, если его нужно отклонить?

Вот содержимое командного окна:

C:\Documents and Settings\Administrator> wget -r -A".jpg,.gif,.png" http://sitename.URL
--2009-12-01 22:33:18-- http://sitename.URL 
Resolving sitename.URL…xx.xx.xx.xx 
Connecting to sitename.URL¦xx.xx.xx.xx¦ :80…
connected. HTTP request sent, awaiting response… 403 Forbidden
--2009-12-01 22:33:22 ERROR 403: Forbidden.  

C:\Documents and Settings\Administrator> wget -r -A ".jpg,.gif,.png" http://sitename.URL/lang2.JPG
--2009-12-01 22:35:51--  http://<the site’s name>/lang2.JPG 
Resolving sitename.URL…xx.xx.xx.xx
Connecting to sitename.URL¦xx.xx.xx.xx¦ :80… connected. 
HTTP request sent, awaiting response… 200 OK 
Length: 39249 <38K> [image/jpeg] 
Saving to: ‘sitename.URL/lang2.JPG’  

100%[======================================>] 39,249      6.36 KB/sec      in 6.0 s

2009-12-01 22:35:58 <6.36 KB/s> - ‘sitename.URL’ saved [39249/39249]

Removing sitename.URL/lang2.JPG since it should be rejected.

FINISHED --2009-12-01 22:35:58—
Downloaded: 1 files, 38K in 6.0s <6.36 KB/s> 
C:\Documents and Settings\Administrator>
    

Загрузка файлов с помощью Wget

Wget

Wget –это в основном инструмент командной строки, который позволяет неинтерактивную загрузку файлов из Интернета. Неинтерактивный- это значит то, что программа может работать в фоновом режиме, пока пользователь не вошел в систему. Поддерживаемые протоколы включают HTTP, HTTPS и FTP.

Wget также поддерживает извлечение через http-прокси, и «вы можете перейти по ссылкам с HTML, XHTML и CSS на страницы, создавать там локальные версии удаленных веб-узлов, полностью воссоздав структуру каталогов оригинального сайта.»

Как работает Wget?

В следующих разделах описываются основы использования инструмента Wget, а также его особенности.

1. Как скачать файл с помощью wget ?

Файл- инструмент загрузки будет сохранен в текущем рабочем каталоге пользователя. Вот как вы можете использовать wget при скачивании файла:

 wget [URL] 

Вот пример скриншота:

2. Как возобновить загрузки с помощью Wget?

В случае, если ваши текущие загрузки прервались из-за плохого интернет-соединения или по какой-либо другой причине, вы можете возобновить их, повторив ту же команду еще раз, но с использованием командной строки -с:

 wget -c [URL] 

Вот пример скриншота (см. вторая команда):

Таким образом, вы можете увидеть, что, когда команда Wget была запущена во второй раз с опцией -c, загрузка началась с того же места, где была остановлена. Эта опция также будет работать, если вы захотите закончить загрузку, начатую в других программах, Wget.

3. Как скачать файл имеющий другое имя?

По умолчанию, Wget сохраняет файл с тем же именем, которое он несет в Интернете. Но если вы хотите, вы также можете сохранить загруженный файл с другим именем. Эта функция осуществляется с помощью команды -O (верхний регистр) параметра командной строки.

 $ wget -O [file-name] [URL]

Вот пример скриншота:

4. Как перенаправить wget-вывод в файл журнала?

Если вы хотите, вы также можете перенаправить сообщения/информацию через wget, который выдает вывод на стандартный файл журнала. Это можно сделать с помощью -о (строчной) параметра командной строки.

 $ wget -o [log-filename] [URL] 

Вот пример снимка:

Как вы можете видеть на скриншоте выше, нет вывода или сообщения отображающихся на стандартный вывод. Это потому, что все сообщения перенаправляются на файл журнала с именем «abc.log».

Вы можете просмотреть лог-файл с помощью команды Cat.

 $ cat abc.log 

Вот что пишет лог-файл в нашем случае:

5. Как скачать файлы в фоновом режиме с помощью wget

Используя этот инструмент, вы можете качать файлы в фоновом режиме. Загруженный файл будет сохранен с именем ‘wget-log.’. Эта функция доступна с помощью -б параметра командной строки.

 $ wget -b [URL] 

Вот пример:

Обратите внимание, что вы можете изменить имя файла с помощью-o (в Нижнем регистре) как это сделать мы объяснили ранее.

6. Как ограничить скорость загрузки при использовании Wget?

При использовании Wget, вы также можете ограничить скорость загрузки. Это можно сделать с помощью опции -limit-rate, которая требует значения в байтах в секунду. Сумма может быть в байтах, килобайтах с суффиксом«K» или мегабайтах с суффиксом «M».

 $ wget –limit-rate=[amount] [URL]

Вот пример, как ограничить скорость загрузки до 50к:

7. Как изменить время чтения команды wget ?

Тайм-аут чтения-это количество времени (в секундах), за которое проверяются данные с использованием wget (в случае не получения данных), прежде чем возобновить загрузку. По умолчанию тайм-аута чтения длится 900 секунд, но вы можете изменить время с помощью чтения-тайм-аут.

 $ wget –read-timeout=[time in seconds] [URL]

Вот пример:

8. Как изменить количество повторных попыток?

Если загрузка прерывается из — за плохого подключения к Интернету или из-за любой другой ошибки, инструмент пытается возобновить загрузку. По умолчанию, утилит пытается это сделать 20 раз , а затем останавливается. Но если вы хотите увеличить или уменьшить число попыток, вам следует воспользоваться опцией -t командной строки.

 $ wget -t [no.-of-retries-you want] [URL]

Вот пример:

Как вы видите на скриншоте выше, wget сдался после двух попыток.

Примечание: Эта функция ,за исключением критических ошибок «отказ в соединении» или «не найдено» (404), не повторяется.

9. Как заставить wget отображать отладочную информацию?

Если вы хотите, вы также можете сделать так,чтобы команда wget отображала дополнительную информацию, относящеюся к процессу загрузки. Эта информация полезна для отладки, если инструмент работает неправильно. Функцию можно получить с помощью –debug или -D параметров.

 $ wget –debug [URL] 

Вот пример:

10. Как изменить индикатор выполнения загрузки Wget ?

Если вы хотите, вы также можете изменить индикатор загрузки файла отображающегося в выходных данных. Существует два типа показателей: bar (который по умолчанию) и dot. Тем не менее, если выход не отображается на терминале (TTY), то точка индикатора используется по умолчанию.

Опция —progress позволяет выбрать тип индикатора ,если вы хотите переопределить поведение по умолчанию. Например:

 $ wget --progress=dot [URL] 

Вот пример:

Двигаемся дальше, в зависимости от размера файла, который Вы скачиваете, Вы также можете настроить путь загрузки отображающийся на индикаторе прогресса.

 $ wget -–progress=[type]:[parameter] 

«type» может быть bar или dot в то время как «параметр» может определятся по умолчанию, двоичный, мега или гига.

Например, если вы хотите установить «type» в качестве dot и двоичный «parameter», то вы можете использовать следующую команду:

 $ wget -–progress=dot:binary [URL] 

Вот пример:

Обратите внимание на то,какой параметр вы выбираете ( двоичный, мега или гига), как правило,это зависит от размера загружаемого файла. Вот что на Man-странице говорит об этих стилях:

В стиле «по умолчанию» каждая точка соответствует 1к, то есть десять точек в кластере и 50 точек в линии. «Бинарный» стиль более компьютезированный как ориентация—8к dots, 16-dots кластеров и 48 dots в строке (для 384 тыс. строк). «Мега» стиль подходит для скачивания больших файлов—каждая точка представляет 64К, существует восемь dots на кластер и 48 dots в каждой строке (так что каждая строка содержит 3М). Если «мега» не достаточно, то вы можете использовать «гига» стиль—каждая dots представляет 1М проверено восемь dots в кластере, и 32 dots в каждой строке (так каждая строка содержит 32М).

Заключение

Это совсем немного из тех дополнительных опций командной строки,что предлагает wget. Однако, тех, которые мы здесь обсудили, должно быть достаточно. Попробуйте эти, и в случае каких-либо сомнений или запроса, обратитесь к команде Man.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *