Скачивание файлов с помощью Wget в командной строке Linux - Объяснение и примеры

Вы новичок в Linux? Ищете инструмент командной строки, который поможет вам скачивать файлы из Интернета? Если ваш ответ на оба этих вопроса “да”, то вы попали в нужное место, так как в этом руководстве мы обсудим основные возможности утилиты командной строки WGET.

Обратите внимание, что все примеры и инструкции, упомянутые в этой статье, были протестированы на Ubuntu 18.04 LTS, Debian 10 и CentOS 8.

О wget

Wget - это, по сути, инструмент командной строки, который позволяет неинтерактивно скачивать файлы из Интернета. Под неинтерактивным подразумевается, что утилита может работать в фоновом режиме, пока пользователь не вошел в систему. Поддерживаемые протоколы включают HTTP, HTTPS и FTP.

Wget также позволяет получать данные через HTTP-прокси и “может следовать ссылкам в HTML, XHTML и CSS страницах, чтобы создать локальные версии удаленных веб-сайтов, полностью воссоздавая структуру каталогов оригинального сайта.”

Как работает команда wget?

Следующие разделы объясняют основные возможности инструмента Wget, а также некоторые его функции.

1. Как скачать файл с помощью wget

Файл, который загружает инструмент, сохраняется в текущем рабочем каталоге пользователя. Вот как вы можете использовать Wget для скачивания файла:

wget [URL]

Вот пример скриншота:

2. Как возобновить загрузку с помощью wget

В случае, если ваша текущая загрузка прерывается из-за плохого интернет-соединения или по другой причине, вы можете возобновить ее, снова запустив ту же команду, но с опцией командной строки -c:

wget -c [URL]

Вот пример скриншота (см. вторую команду):

Таким образом, вы можете видеть, что когда команда wget была запущена во второй раз с опцией -c, загрузка началась с того места, где она была прервана. Обратите внимание, что эта опция также работает, когда вы хотите завершить загрузку, начатую программой, отличной от wget.

3. Как скачать файл с другим именем

По умолчанию wget сохраняет файл с тем же именем, которое он имеет в Интернете. Но если вы хотите, вы также можете сохранить загруженный файл с другим именем. Эта функция может быть доступна с помощью опции командной строки -O (заглавная).

$ wget -O [имя-файла] [URL]

Вот пример скриншота:

4. Как перенаправить вывод wget в файл журнала

Если вы хотите, вы также можете перенаправить сообщения/информацию, которые wget производит на stdout, в файл журнала. Это можно сделать с помощью опции командной строки -o (строчная).

$ wget -o [имя-файла-журнала] [URL]

Вот пример снимка экрана:

Как вы можете видеть на приведенном выше скриншоте, никакие выходные данные или сообщения не отображаются на стандартном выводе. Это потому, что все сообщения перенаправляются в файл журнала с именем ‘abc.log’.

Вы можете просмотреть файл журнала с помощью команды cat.

$ cat abc.log

Вот что содержал файл журнала в нашем случае:

5. Как заставить wget скачивать файлы в фоновом режиме

С помощью инструмента вы можете скачивать файлы в фоновом режиме. Загруженный файл будет сохранен с именем ‘wget-log.’ Эта функция может быть доступна с помощью опции командной строки -b.

$ wget -b [URL]

Вот пример:

Обратите внимание, что вы можете изменить имя файла, используя опцию -o (строчная), которую мы объяснили ранее.

6. Как ограничить скорость загрузки при использовании wget

При использовании wget вы также можете ограничить скорость загрузки. Это можно сделать с помощью опции -limit-rate, которая требует значения, обозначающего количество в байтах в секунду. Значение может быть в байтах, килобайтах с суффиксом ‘k’ или мегабайтах с суффиксом ‘m’.

$ wget –limit-rate=[количество] [URL]

Вот пример, который ограничивает скорость загрузки wget до 50k:

7. Как изменить тайм-аут чтения wget

Тайм-аут чтения - это количество времени (в секундах), в течение которого wget проверяет наличие данных (в случае, если данные не поступают) перед перезапуском загрузки. По умолчанию тайм-аут чтения составляет 900 секунд, но вы можете изменить его, используя опцию –read-timeout.

$ wget –read-timeout=[время в секундах] [URL]

Вот пример:

8. Как изменить количество попыток

Каждый раз, когда ваша загрузка прерывается из-за плохого интернет-соединения или другой ошибки, инструмент пытается самостоятельно возобновить загрузку. По умолчанию утилита пытается 20 раз, а затем останавливается. Но если вы хотите увеличить или уменьшить количество попыток, вы можете сделать это, используя опцию командной строки -t.

$ wget -t [количество-попыток-которые-вы-хотите] [URL]

Вот пример:

Как вы можете видеть на приведенном выше скриншоте, wget сдался после двух попыток.

ПРИМЕЧАНИЕ: Эта функция не применяется в случае фатальных ошибок, таких как “соединение отклонено” или “не найдено” (404), которые не повторяются.

9. Как заставить wget отображать отладочную информацию

Если вы хотите, вы также можете заставить команду wget отображать дополнительную информацию, связанную с процессом загрузки. Эта информация полезна для отладки, если инструмент работает неправильно. Функция может быть доступна с помощью опции –debug или -d.

$ wget –debug [URL]

Вот пример:

10. Как изменить индикатор прогресса загрузки wget

Если вы хотите, вы также можете изменить индикатор прогресса загрузки, который wget отображает в выводе. Существует два типа индикаторов прогресса: bar (который является стандартным) и dot. Однако, если вывод не отображается в терминале (TTY), то индикатор dot используется по умолчанию.

Опция –progress позволяет вам выбрать тип индикатора, если вы хотите переопределить стандартное поведение. Например:

$ wget --progress=dot [URL]

Вот пример скриншота:

Далее, в зависимости от размера файла, который вы скачиваете, вы также можете настроить способ отображения индикатора прогресса загрузки.

$ wget -–progress=[тип]:[параметр]

‘тип’ может быть bar или dot, тогда как ‘параметр‘ может быть default, binary, mega или giga.

Например, если вы хотите установить свой ‘тип’ как dot и ‘параметр’ как binary, то вы можете использовать следующую команду:

$ wget -–progress=dot:binary [URL]

Вот пример:

Обратите внимание, что выбранный вами параметр (binary, mega или giga) обычно зависит от размера загружаемого файла. Вот что говорит страница man об этих стилях:

С помощью стиля "по умолчанию" каждая точка представляет 1K, в кластере 10 точек и 50 точек в строке. Стиль "binary" имеет более "компьютерную" ориентацию --- 8K точек, 16 точек в кластере и 48 точек в строке (что составляет 384K строк). Стиль "mega" подходит для загрузки больших файлов --- каждая точка представляет 64K, загруженных, в кластере 8 точек и 48 точек в каждой строке (так что каждая строка содержит 3M). Если "mega" недостаточно, то вы можете использовать стиль "giga" --- каждая точка представляет 1M, загруженных, в кластере 8 точек и 32 точки в каждой строке (так что каждая строка содержит 32M).

Заключение

Мы только коснулись поверхности, так как wget предлагает множество других опций командной строки. Однако те, которые мы обсудили здесь, должны быть достаточными, чтобы начать. Попробуйте их, и в случае любых сомнений или вопросов обратитесь к странице man команды.